잊지않겠다, Daum 검색로봇!!
최근 며칠전부터 급격히 카운터와 트래픽이 올라가기에 이거 왜 이러는가 싶었다. 나름대로 스펨 및 검색로봇에 대응하고자 몇 가지 방어구를 마련해놓고 돌리고 있었는데 여지없이 그것이 뚫린 걸로 보였기 때문이었다. 문제는 워낙 방어벽을 강하게 구축했는지 리퍼러에도 통계에도 잡히지 않았다는 것이었는데 결국 보다못하여 구글통계에 가입하여 추적을 시켜봐도 뾰족히 “어디”라는 게 나오지 않아 골치를 썩이고 있었는데….
웹하드의 용량을 확인하고자 계정회사로 들어가 마침 함께 보여지는 접속통계를 보니 특정 ip가 상위랭크를 죄다 차지하고 있기에 ip조회를 해 보게 되었는데 ip의 소유주는 다음커뮤니케이션으로 나온 것
결국 다음의 검색엔진 로봇들이 현재 설치되어있는 “알려진 검색엔진 카운트 제외”플러그인에 등록되어있는 로봇의 이름과 달랐는지 혹은 더 유능하게 바뀌었는지 무작위로 수집을 한 것이라는 말인 것이다
순전히 이넘때문에 20%대를 밑돌던 트래픽이 40% 가까이 오르고, 쓸데없는 카운터가 늘어났으며 난 원인을 찾기 위해 골머리를 썩여야 했다. 결국 인터넷과 태터센터를 뒤져 ip를 막는 법을 찾아내긴 했지만 그다지 사용하고 싶지 않은 최후의 방법을 사용하게 만든 이넘의 검색엔진 로봇에 대한 인상은 여지없이 최악을 달리게 되었다
앞으로도 최적의 계정상황을 유지하려면 얼마나 이런 짓을 더 해야 할까. 차라리 모든 것을 잊고 즐기는 게 나을까?
