这几天，传来2条令业内为之一震消息：
淘宝网正式宣布屏蔽百度蜘蛛了，官方的解释是“防止点击欺诈，保护消费者利益”
搜狐博客也屏蔽了百度的蜘蛛
其实，以本人观察Google及百度公司贪婪地抢夺、吞噬其他一些互联网公司(特别是商业门户)的地盘、遇到其他一些互联网公司采取抵制搜索爬虫策略，是迟早的事：
试想：
1、搜索引擎公司的服务器信息是“读书人偷书不算盗”的无本生意;
2、搜索引擎公司的服务器信息再使用是“版权免责”(法律、判案老偏袒引擎公司);
3、搜索引擎公司可以将不就凡的用户网络搜索链接屏蔽掉、迫用户继续付款使用搜索引擎服务(一副主宰网络世界的黑心眼!);
4、搜索引擎公司可以将商业门户的信息序列重组，从搜索结果清单中先分利益(先下手为强);
5、搜索引擎公司还可以干他们想干的事(包括疯狂人工乱删链接)... ...
而这一切，都是搜索爬虫在做怪，它最终威胁到的是不做搜索引擎的商业门户未来。因此，今天淘宝网屏蔽百度蜘蛛(爬虫)与搜狐博客也屏蔽了百度的蜘蛛(爬虫)，是因为百度迫出来的，因为百度蜘蛛(爬虫)这条“寄生虫”己经想把它的“宿主”也吃掉了，“宿主”们终于明白必须自己也做搜索引擎服务。
因此，抵制百度爬虫是商业门户的上上策，它将派生出更多的搜索引擎服务企业，让用户不仅仅“百度一下”、“Google一下”，还能“Yahoo一下”、“搜狗一下”、“soso一下”。这是一种进步：一种恢复全球互联网信息共享中必须具备：开放、公平、公正几大基本规则的本来面目的进步。
期望更多地商业门户能加入抵制百度爬虫行列中，给中国用户带来更加有用的搜索引擎服务!
大家看好吧，此口一开，百度将面临巨大压力。肯定还有其他的。下一个最可能就是腾讯。因为如果我是腾讯SEO，我为什么要给自己的资源让百度盗窃去呢?再说腾讯有自己的SOSO，它与google联合。还有百度HI对抗QQ，百度C2C对抗拍拍，百度空间对抗QQ空间，，，等等
我们中小站长在这次交锋中，观察一下吧。谁叫百度那么伤站长的心?
附加robots.txt :
http://blog.sohu.com/robots.txt
User-agent: Googlebot
Disallow:
User-agent: baiduspider
Disallow: /
User-agent: Nutch
Disallow:
User-agent: *
Disallow: /
http://www.taobao.com/robots.txt
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
为什么这些站都唯一禁止百度。。。这值得思考呀。百度很不得人心。
进一步预测，由于sina跟google是合作伙伴，会不会也接下一招?腾讯，网易。。。。
淘宝开的这第一枪，很可能是百度坍塌的导火索!
本文来自 http://www.for-myself.cn/