很多朋友不太注重Robots文件，其实Robots文件在SEO优化里是比较重要的，不仅可以用它来屏蔽死链，还可以用它来引导蜘蛛爬网站地图。参考我的http://www.seo0668.com/robots.txt，不会的照抄我的就行了。
User-
agent: * Disallow: /plus/ad_js.phpDisallow: /plus/advancedsearch.phpDisallow: /plus/car.phpDisallow: /plus/carbuyaction.phpDisallow: /plus/shops_buyaction.phpDisallow: /plus/erraddsave.phpDisallow: /plus/posttocar.phpDisallow: /plus/disdls.phpDisallow: /plus/feedback_js.phpDisallow: /plus/mytag_js.phpDisallow: /plus/rss.phpDisallow: /plus/search.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/count.phpDisallow: /includeDisallow: /templetsDisallow: /WL/Disallow: /plus/Disallow: /plus/guestbookDisallow: /plus/guestbook.phpDisallow: /MMSEO/75.htmlDisallow: /plus/arcmulti.php?mtype=0&pnum=Disallow: /plus/arcmulti.php?mtype=1&pnum=Disallow: /plus/feedback_ajax.phpDisallow: /MMSEO/XYSEO/177.htmlDisallow: /MMSEO/33.htmlSitemap: http://www.seo0668.com/sitemap.htmSitemap: http://www.seo0668.com/sitemap.xml
Robot文件的功能：
搜索引擎抓去页面会叫 蜘蛛(也叫机器人)来爬行我们的网站，在爬行一个网站之前都会访问一下这个网站根目录下的Robots.txt。而这个Robots.txt里面的内容就是告诉蜘蛛，哪些是可以爬行的 哪些是不可以爬行的，可以说Robots.txt是不可忽视的SEO小细节。 能引导蜘蛛正确的爬行我们的网站 这就是Robots的功能,我们可以把一些重要的版块或文件夹屏蔽掉，让蜘蛛爬行不到，保护我们的网站安全
Robot文件的作用：
1、当你删除一个目录时需要使用Robots文件禁止蜘蛛对此问目录的访问，这样可以避免死链接的形成。当然禁止搜索引擎收录的还有你网站的一些图片目录，js目录....，如果蜘蛛读到你网站没用的信息的时候也会给你降低一点权重的。
2、Robots的写法看似简单实际比较严格，建议去网上查看相关资料，就算是一个空格写错了也会造成不必要的后果，建议到网上学习下。
3、Robots的最大用处就在于提交网站地图，提交网站地图可以让搜索引擎知道你每天都在更新，收录你的文章会更多更快。
Robot文件的写法：
1、允许搜索引擎收录本站所有内容：Robots.txt为空就可以，什么都不要写。
2、禁止搜索引擎收录本站某些页面，参照http://www.seo0668.com/robots.txt。
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
3、禁止搜索引擎收录本站所有内容：
我们知道淘宝是封杀百度的，我找到了淘宝网的Robots.txt，浏览器输入：http://www.taobao.com/robots.txt，照抄即可。
google蜘蛛： googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /