在SEO优化网站当中，做好robots.txt至关重要因为每个搜索引擎抓取网站信息第一步就是爬去robots.txt文件来引导搜索引擎爬取;合理的使用robots文件能够更好的集中网站的权重，避免一些不想被搜索引擎查看的文件抓取，是非常必要的一种SEO手段，但是好多做seo的朋友对于robots的文件使用不是特别了解，仅仅知道Disallow是禁止，allow是允许，以及一些常用的搜索引擎的访问禁止写法，对于在复杂的一些不知道如何去写，其实本人开始也对于robots不知道如何着手去写，但是随着做seo时间推移，以及经验的丰富，笔者总结出了一套自己设置robots的方法，首先为大家介绍在robots设置当中需要注意的一些事项：
1、作为搜索引擎最先访问的目录，过长的robots文件也会影响蜘蛛的爬取速度，所以对于禁止搜索引擎的网页，可以适度的去使用noffollow标记，使其不对该网站传递权重。
2、对于Disallow和Allow的设置是有先后顺序之分的，搜索引擎会根据第一个匹配成功的Allow与Disallow来确定首先访问那个url地址。
3、在robots设置当中关于Disallow当中/和//的区别。在robots文件设置当中，Disallow：/abc是禁止访问abc.html和/abc/123.html等文件，而对于disallow:/abc/来说，是允许对于/abc.html进行访问，但是对于/abc/123.html是进行禁止的。
4、在robots设置当中“*”和“$”的设置，其中”$” 匹配行结束符。”*” 匹配0或多个任意字符。
好了掌握了这些知识，你可能会说我还是不知道如何去设置robots文件，那么该怎么办呢?
首先，确定你需要禁止的内容，然后注册谷歌管理员工具，通过搜索引擎查找你想禁止内容的写法，然后登陆百度管理员工具，选择网站配置>抓取工具的权限>测试robots.txt把你想要禁止内容的语法填入文本框当中，然后点击下面进行测试，会出现测试的结果，如果有错误，根据错误提示在进行相应的修改就可以了。