사람처럼 웹 서핑을 하는 로봇 - 검색봇

하루는 트윗을 통해 시리니님의 홈페이지에 한달에 10만명이 넘게 방문한다는 소식을 알게 된 사람들이 존경심을 표하며 너도 나도 물어봤습니다. 시리니님은 겸손하게 웃으시며 우선 자신의 홈페이지를 네이버에서 직접 파워링크로 등록시켜 주셨다는 사실도 자랑하시고는

실제로는 검색봇이 방문자 수를 올려 주기 때문에 실제로는 그렇게까지 많지는 않다고 말씀하셨습니다. 그래서 저는 제 블로그에 방문자수를 올려주고 계실지도 모르는 그 고마운 검색봇에 대해 물어보았지요.

[마이러니티 리포트에 나오는..집집마다 돌아다니며 홍채 검사를 하는 똑똑한 군집로봇]

사람들과 마찬가지로 검색엔진 역시 알고리즘에 따라 이곳저곳을 돌아다니며 필요한 정보 DB를 축적하게 되는데 이러한 자동화된 프로그램을 검색봇이라고 합니다. 우리가 흔히 미니홈피에서 보는 도배성 글도 로봇이 올리는 거라더군요;; 필터링 기능이 잘 구현 되지 않은 일반적인 카운터(동일한 아이피를 가려내는 정도)가 라고 한다면 카운터에 올라간 수 만큼 사람들이 방문했다고 보는 것은 무리가 있다고 하네요. 유입경로를 확인하여 보았다는 분에게 들은 이야기로 방문자가 예를 들어 총 100명이었다고 한다면 하루 20에서 많게는 50정도 까지는 검색봇이었다고 말씀하시더군요. 물론 공개정도(홍보방법이나 태그설정, 소스 인덱스 설정)에 따라 다르겠지만요.
 
당연한 이야기겠지만 구글봇이 최고의 검색율을 자랑한다고 합니다. 하긴.. 구글은.. 무엇이든 가능하시죠..
반면..조금 우스운 이야기지만 많은 블로그 노출을 원하는 블로거 입장에서는 검색봇들이 참 자신의 포스트를 못 찾아주시기 때문에.. 요령도 필요하다고 합니다. 산타클로스 할아버지가 잘 찾아오시기 위해 굴뚝 확장공사도 하고 양말도 바닥에 깔아두는 각고의 노력이겠죠 ㅎ