봇? 크롤러? "크롤러"는 로봇, 스파이더 같이 웹 페이지간의 링크들을 따라가면서 사이트를 자동으로 발견하고, 검색하는데 필요한 요소들을 수집하는 데 사용되는 프로그램을 말하는 일반적인 용어입니다. 구글은 "구글 봇", 네이버는 "예티"라는 봇의 이름이 있습니다. 이를 기반으로 하여, "robot.txt"라는 파일로 각 봇의 접근을 제어할 수 있습니다. 봇이 하는 일들은 사이트맵 관리, 콘텐츠 업데이트, 중복 콘텐츠 삭제, 통계 보고서 작성 등등 많은 작업을 합니다. 누가 어떤 일을 하는지 알면, 그에 맞게 적절하게 일을 시킬 수가 있듯이, 이걸 이용해서 오늘 작성한 포스팅을 누구보다 빠르게 노출도 할 수 있습니다. 수동으로 색인 생성 봇은 "일정 주기"마다 웹사이트들을 탐색하면서, 요소를 수집합니다.(..
