前段时间笔者手上一个网站因为robots.txt文件失误被写错了几个字符，导致网站迟迟不被收录。当时感觉很不对劲，检查来检查去也没有检查出什么问题，后来登录Google">网站管理员中心诊断网站才看到robots文件组织任何搜索引擎蜘蛛访问才发现问题，改过之后，收录正常。
前段时间笔者手上一个网站因为robots.txt文件失误被写错了几个字符，导致网站迟迟不被收录。当时感觉很不对劲，检查来检查去也没有检查出什么问题，后来登录Google网站管理员中心诊断网站才看到robots文件组织任何搜索引擎蜘蛛访问才发现问题，改过之后，收录正常。
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
robots.txt文件的写法你知道多少呢?对比一下下面的例子：
1、禁止所有搜索引擎访问网站的任何部分，也就是是禁止任何搜索引擎收录你的网站。
User-agent: *
Disallow: /
2、允许所有的搜索引擎访问你的网站的任何部分，这是通常的用法。
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
3、仅禁止某一搜索引擎访问你的网站。百度是baiduspider Google是googlebot
User-agent: baiduspider
Disallow: /
或者
User-agent: googlebot
Disallow: /
4、仅仅允许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot
User-agent: baiduspider
Disallow:
或者
User-agent: googlebot
Disallow:
5、如果你网站的某个目录不希望被搜索引擎收录，写法如下：
User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/
注意：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的形式，每个目录要单独另起一行特别说明。
6、禁止搜索引擎访问网站中所有的动态页面(动态页面就是URL中任何带有“?”的页面)
User-agent: *
Disallow: /*?*
7、仅仅允许搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Allow: .后缀形式(如.html、.htm、.php等等)$
Disallow: /
8、限制搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Disallow: /*.后缀形式(如.html、.htm、.php等等)
9、允许搜索引擎访问特定目录中的网页
User-agent: *
Allow: /目录1/目录2(允许访问目录2中的网页)
Allow: /目录3/目录4(允许访问目录4中的网页)
Allow: /目录5/目录6(允许访问目录6中的网页)
Disallow: /目录1/
Disallow: /目录3/
Disallow: /目录5/
10、阻止搜索引擎访问网站中特定某一文件格式的文件(注意不是网页)
User-agent: *
Disallow: /*.(文件格式：如gif、jpg等等)$
以上是一些常用的格式。具体的写法还要以各个网站需求而定。写robots.txt还要注意以下一些问题：