봇? 크롤러?
"크롤러"는 로봇, 스파이더 같이 웹 페이지간의 링크들을 따라가면서 사이트를 자동으로 발견하고, 검색하는데 필요한 요소들을 수집하는 데 사용되는 프로그램을 말하는 일반적인 용어입니다. 구글은 "구글 봇", 네이버는 "예티"라는 봇의 이름이 있습니다. 이를 기반으로 하여, "robot.txt"라는 파일로 각 봇의 접근을 제어할 수 있습니다. 봇이 하는 일들은 사이트맵 관리, 콘텐츠 업데이트, 중복 콘텐츠 삭제, 통계 보고서 작성 등등 많은 작업을 합니다. 누가 어떤 일을 하는지 알면, 그에 맞게 적절하게 일을 시킬 수가 있듯이, 이걸 이용해서 오늘 작성한 포스팅을 누구보다 빠르게 노출도 할 수 있습니다.
수동으로 색인 생성
봇은 "일정 주기"마다 웹사이트들을 탐색하면서, 요소를 수집합니다.(시스템상 일정 주기이기에 정확한 값은 아무도 모릅니다.) 봇은 1개만 있는 것이 아니고, 여러 종류의 여러 봇들이 동시에 일합니다. 주기적으로 일하는 봇은 봇대로 일하게 놔두고, 수동으로 페이지를 수집하도록 요청할 수 있습니다. 구글은 구글 서치 콘솔, 네이버는 네이버 웹마스터 도구에서 이와 같은 기능을 이용하면 됩니다.
구글 서치 콘솔
구글 서치 콘솔 메인페이지 화면을 보시면, 왼쪽 메뉴에 "URL 검사"가 있습니다. 상단 돋보기 모양의 텍스트 입력란을 클릭하셔도 됩니다. 입력란을 활성화한 후, 내 사이트 내에서 바로 수집을 원하는 URL을 입력합니다. 여기서는 방금 포스팅한 주소가 됩니다. 해당 URL을 입력하고 엔터키를 누르면 "구글 색인에서 데이터를 가져오는 중"이라는 화면이 나오고, 데이터를 가져오면 아래와 같은 화면이 나옵니다.
해당 화면에서, 색인 생성 요청을 누르면 1~2분 후에 작업이 완료가 됩니다.
처음에 말씀드렸듯이 봇의 종류는 여러가지이고, 주기적으로 사이트를 방문하는 봇의 그다음 작업 우선순위에 내 URL이 등록되어 있다고 나옵니다. 저의 경우에는 수집하고 결과에 반영하는데 6시간 정도 걸렸습니다. 경우에 따라 시간적인 편차는 존재하지만, 일반적으로 하루에서 이틀 걸리는 작업을 반나절만에 완료한 것이 되는 셈입니다.
네이버 웹마스터 도구
이번에는 네이버 웹마스터 도구를 이용해서, 네이버의 검색결과에 빠르게 노출시키는 방법을 알아보겠습니다. (네이버 웹마스터 도구에 사이트를 등록하는 내용은 맨 아래에 추가로 작성하도록 하겠습니다.)
네이버 서치어드바이저 또는 네이버 웹마스터 도구로 검색하시고, 우측 상단의 웹마스터 도구를 클릭합니다. 그다음에 내 티스토리 사이트를 클릭하시고, 왼쪽 메뉴에서 "요청" -> "웹 페이지 수집"을 클릭합니다.
수집을 원하는 페이지들의 "내 티스토리 사이트 뒤에 URL"들을 복사해서 붙여넣으신 후 확인 버튼을 누르시면 됩니다. 수집을 원하는 페이지들마다 요청하시면 됩니다. 일반적으로 저 기능을 사용할 때는 같은 페이지를 요청해도 수집하지 않고, 봇이 판단하기에 전혀 다른 URL일 경우에 수집이 됩니다. 아래 수집 요청 결과에 "수집 완료"로 바뀌면 수집이 된 겁니다. 네이버에서 검색하시면 결과를 확인하실 수 있습니다.
네이버 서치어드바이저 등록하기
네이버 웹마스터도구를 처음 접근하시면 다음과 같은 화면이 나옵니다.
네모 박스에 내 사이트의 URL을 입력하시고 엔터키를 누르시면 "사이트 소유확인" 화면이 나옵니다. 일반적인 웹사이트의 경우 HTML 파일 업로드가 편하겠지만, 여기서는 HTML 태그를 이용하겠습니다. HTML 태그를 선택하시고, 그 안에 내용인 name=""과 content="" 큰따옴표 안의 내용들을 각각 복사해놓습니다. (탭을 닫지 마세요. 작업을 한 개 더 하셔야 합니다.)
티스토리 관리화면에서 플러그인을 선택하시고, "메타 태그 등록"을 클릭해서 위의 내용들을 붙여 넣으시면 됩니다. (다른 메타태그들도 이런 식으로 등록하시면 됩니다)
"이름을 입력하세요" 항목에는 위에서 복사한 name의 내용을, "내용을 입력하세요"에는 content의 내용을 붙여 넣으신 후 적용을 누르시면 됩니다. 그 이후에 아까 닫지 않은 네이버 웹마스터 도구 탭으로 돌아오셔서 "소유확인" 버튼을 클릭하시면 소유확인이 완료되면서 사이트 목록에 추가된 것을 확인할 수 있습니다.
'Issue > 티스토리 TIP' 카테고리의 다른 글
| #4. 티스토리 검색최적화 구글 서치 콘솔, 애널리틱스 한방에 해결하기(티스토리 검색최적화 1편) (0) | 2021.04.25 |
|---|