对于搜索引擎，极少数先行者对搜索引擎蜘蛛说不，这其中最为大家熟悉的就是“淘宝屏蔽百度蜘蛛”，还有一些交友网站屏蔽搜索引擎蜘蛛，而个人站长，要对搜索引擎说不是艰难的，更多的站长则将之奉为上宾，而我，一个个人站长，IP不到1000IP，为何也如此嚣张，竟然对搜索引擎说不，众位看官，听我慢慢道来。
今天是一个值得高兴的日子，起床第一件事，打开电脑，上51yes.com查看网站流量，一看，不得了。
心里这个爽啊，流量暴涨啊，且慢高兴，流量上涨，我是一定要弄明白流量来自哪里的，不看不知道，一看吓一跳。
当时心下就凉了一截，这可全是垃圾流量啊，对于使用共享空间的我来说，这可不是什么好事，唯一的办法：封!垃圾流量，我要对你说不!
于是立刻改写robot.txt禁止MSN蜘蛛访问
在这里，特别想提醒广大认真做站，口袋里又没有多少银子的站长，一定要认真审视垃圾流量，那些不会给你带来任何的收益，只会给你增加额外的负担，外再阅读数据访问报表时的虚荣心!
附常见搜索引擎蜘蛛名称：
Google的蜘蛛： Googlebot
百度的蜘蛛：baiduspider
Yahoo的蜘蛛：Yahoo Slurp
MSN的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex)
Alltheweb的蜘蛛： FAST-WebCrawler/
INKTOMI的蜘蛛： Slurp
时间： 2024-09-20 05:52:32