什么是robots.txt?
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
robtots.txt必须放置在我这根目录之下，而且，文件名必须全部小写，这两点是做robots.txt优化设置必须注意的。
robots.txt在SEO中起作用
搜索引擎是遵循robots.txt这个搜索蜘蛛遵循协议的。因此，如果我们网站上的某些内容不希望搜索引擎爬取收录，那么，我们就可以利用这个robots.txt来设置一番，设置搜索引擎蜘蛛不要爬取。语法如下：
User-agent： *
Disallow： /禁止抓取的路径/
以上这个语法是禁止所有搜索引擎蜘蛛，如果你指针对百度或者谷歌，那么将User-agent： baiduspider即可。注释：google蜘蛛：googlebot 百度蜘蛛：baiduspider。
robots.txt的一些使用小技巧
网站为什么要使用伪静态?因为url地址是类似静态的，所以，像织梦那样的动态评论，对排名起不了作用，而搜索引擎蜘蛛一旦爬取收录发现是毫无价值的信息之后，是不是的来段收录暴涨，收录大跌的情景，相信站长对这类情况就显得比较抓狂了。那么，Disallow: /*?* 禁止访问网站中所有的动态页面，可以帮你很好的解决这类难题了。
当然，网站的后台文件是不希望暴露在公众视野的，故因此可利用robots.txt中的Disallow： /后台登陆路径/很好的解决这一问题。当然，如果是图片类的站点，希望防止盗链减轻服务器压力的话，那么Disallow： .jpg$就可以很好的解决这一个难题了。
至于网站地图的重要性，相信大伙儿都清楚的指导，那么，搜索引擎蜘蛛爬到一个网站的时候，最先爬取的robots.txt这个协议，想让网站收录更多吗?那么，在Sitemap： 网站地图url，就是个不错的应用技巧了。
本文首发A5，转载时请标明出处。更多关于robots.txt设置的问题，可在http://www.sjqtq118.com了解更多!