问题描述

robots.txt 写法 robots.txt 写法

User-agent: *
Allow:/html/
allow:/index.php$
allow:/index.html$
Disallow:/

以上只收录html和首页，这样写对吗

解决方案

SEO 必备--robots.txt写法
robots.txt的详细写法
实例分析Robots.txt写法

解决方案二：

嗯，应该是对的，具体的写法可以去参考百度开发者网站上的，里面有各种详细的配置

解决方案三：

$表示匹配后面任意字符。
http://jingyan.baidu.com/article/eb9f7b6dab75ca869364e8d2.html

你这么写问题不大，问题是某些国内低端流氓搜索引擎，并不完全按照robots来采集，它们甚至会伪造user agent。