看了很多网站优化的文章，都很少提及如何检查网站的robots.txt，大多就说明一下robots.txt要设置好。对于高手来讲，这是小菜一碟，可以轻松判断robots.txt是否合理，但对于一些菜鸟来讲，根本无法判断自己网站的robots.txt是否合理，一个错误的robots.txt文件会使搜索引擎机器无法挖掘你的网站，其结果是你的新内容无法列举在搜索引擎的索引中。这对网站站长来说是一个巨大的损坏。如果你做错了什么并重新编辑 robots.txt文件的话，它需要两个星期才能看到效果。因此一个正确的robots.txt是很重要的。今天我给大家介绍两个检查网站robots.txt的方法，希望对大家有用。
一、 利用Google网站管理员工具检查
Google网站管理员工具可以在线验证robots文件，分析网站的 robots.txt 文件，方法是：登入Google 网站管理员工具后，在"控制台"中，点击所需网站后，点击工具，然后点击分析 robots.txt。
另外如果你不知道怎么写robots.txt，你可以通过Google 网站管理员工具提供的测试robots.txt文件并试用更改功能来设置一个正确的robots.txt文件，把你想要禁止的文件或目录通过 robots.txt格式制作好后，复制到google提供的robots区，然后你可以在robots.txt文件测网址区测试下你刚才写的 robots.txt文件是否正确。这样你就可以设置出一个正确的robots.txt了。
具体视图如下：
看了上面的图，相信你再菜也能写出一个正确的robots.txt了吧!呵呵
二、 利用国外的http://tool.motoricerca.info/robots-checker.phtml验证首先通过http://tool.motoricerca.info/robots-checker.phtml登入，在如下图的框中输入:你的域名/robots.txt,(例如：http://www.xxx.com/robots.txt)
(提醒：输入之前一定要把你robots.txt中的中文注释删除，否则无法这工具就不认为你所检查的是robots.txt，也就无法检查robots.txt是否合理了。)
点击Check robots.txt后，如果robots.txt没错的话，一般会出现下面的结果
如果出现其他结果的话，那肯定是有问题了，如果看不懂的话，可以用google翻译啊!
文章来源：菜鸟建站网www.zqbest.com 。