通过适当的屏蔽优化后，尽可能将“蜘蛛”不喜爱的东西和对提升">网站排名不利的一切因素通过ROBOTS.TXT来屏蔽掉，网站的排名自然能得到显著的提升。
“蜘蛛”，多来光顾自己的网站。可是事实上，即使就算“蜘蛛”引来了，而且网站也SEO过了，但是却也不能够获得很好的排名，这是为什么呢? 因为“蜘蛛”也富有感情，也有他喜欢的东西和不愿意看到的东西。适当的屏蔽掉某些目录和文件，让“蜘蛛”爬行不到，那不就OK了!那么怎么屏蔽这些“蜘 蛛”不愿意看到的东西呢?超级p57优化者分析如下：
一、屏蔽危及网站安全的隐私目录
大家可以想象以下，加入你的后台登录目录或登录地址被抓取到，对网站权重不但没有丝毫价值，而且还可能会多一份被攻击的渠道，所以涉及到有关安全的目录，比如数据库目录，网站日志目录以及备份目录都需要进行屏蔽。
二、屏蔽缓存页
“蜘蛛”抓取到网站的缓存目录里面的内容，这势必和网站里面的内容出现了重复，如果出现重复的数量过多，那么百度的算法机制就会认为你的网站在作弊，从而甚至提升你网站的权重，给网站带来极大的影响，所以屏蔽相应的缓存目录是很有必要的。
三、屏蔽CSS目录
CSS目录对于蜘蛛而言是完全无用的，抓取后反而会影响搜索引擎算法的判断，所以可以通过ROBOTS.TXT文件来进行屏蔽。
四、屏蔽动态页面(双页面情况)
网站的静态页面是很容易被搜索引擎收录，通常蜘蛛抓取和收录是两回事，网站除了静态页面之外，大部分网站还存在着动态的页面，比如 “/1.html 与asp?id=1这两个指的是同一个页面，如果不进行屏蔽的话，势必造成两个页面同时被蜘蛛抓取，可是到了搜索引擎算法判断的时候，因为发现了两个一样 的页面，就会认为你网站存在作弊的嫌疑，所以加大对你网站的考察力度，从而影响到网站的排名，所以正确的做法是优先屏蔽网站的动态页面!
由超级p57(http://www.iajianfei.com)发布。