淘宝封百度 原来竟是这样的简单

　　最近火热的事件，淘宝封百度，我在各大新闻里看到的是说淘宝用技术手段封了百度，心里就好奇，难道还有什么特殊的技术吗?robots不是就可以封吗?后来闲着没事，查了查淘宝的robots文件，原来是这样的：

　　http://www.taobao.com/robots.txt

　　User-agent: Baiduspider

　　Disallow: /

　　User-agent: baiduspider

　　Disallow: /

　　真是狠心了，还区分大小写，呵呵~~顺便还听说其他多个SNS网站也封了百度，我也查了一下，都列在这里，有兴趣的自己查查，呵呵还蛮有意思的。

　　搜狐blog: http://blog.sohu.com/robots.txt

　　User-agent: Googlebot

　　Disallow:

　　User-agent: baiduspider

　　Disallow: /

　　User-agent: Nutch

　　Disallow:

　　User-agent: *

　　Disallow: /

　　可是传说中的51.com,校内却找不到：

　　http://www.51.com/robots.txt

　　http://www.xiaonei.com/robots.txt

　　国外那个facebook的:

　　http://www.facebook.com/robots.txt

　　User-agent: *

　　Disallow: /album.php

　　Disallow: /photo.php

　　Disallow: /photos.php

　　Disallow: /photo_comments.php

　　Disallow: /photo_search.php

　　Disallow: /p.php

　　Disallow: /feeds/

　　# E-mail webmaster@facebook.com and alex@facebook.com if you're authorized to access these, but getting denied.

　　Sitemap: http://www.facebook.com/sitemap.php

　　还有新浪blog的：http://blog.sina.com.cn/robots.txt太多了就不复制了。