做网站也做了这么长时间，站长们能遇到的事情都遇到过了，最常见无非就是网站被降权，网站快照不更新网站主要关键字排名下降，，外链数量减少等等，这些问题往往就是由于网站初期准备工作没准备好就上线的结果，导致后期更换网站板块或者频繁修改其它蜘蛛经常爬行的文件所引起的，今天小编和大家探讨一下修改robots文件后对网站的影响及一些搜索引擎的反应。
第一次修改robots文件后百度百度谷歌反应
快照更新了，发现了是4天一周期，每天流量很大，但是用户都在我屏蔽的/user/文件里，蜘蛛无法抓取，最大的流量就是用户中心，我就试着把robots文件修改下，让蜘蛛可以访问那个文件。 以前谷歌收录12万，记得很深刻的一次是修改robots.txt文件后，谷歌当时是收录已经超过12万，第二天没事继续以每天1000多收录的速度抓取，再看百度这方面，也没事。但不幸的事情还是发生了... 快照更新后再一次的site:域名发现，谷歌收录6万(原来是12万多)，百度这方面也是变了，原来的3万5千600到更新快照后的4万9千整的收录，当时修改的是把robots文件写入屏蔽团购的页面(那个是调用的)，当时感觉不知道是什么原因导致谷歌收录大减，百度收录大增的，但继续测试，才发现致命的原因...
二次修改robots文件惹怒蜘蛛，谷歌直接K站
刚开始站不是建立很久总是喜欢修改这修改那的，把首页都动起来了，我的站的保安robots也是被我“装饰”得极其丰富，事情发生在年底，把robots文件屏蔽了百度谷歌搜搜以外的蜘蛛(当时搜狗流氓抓取得导致网站流量不够)，修改后的第三天，从谷歌收录本一路下跌的淘宝广东站直到那天的6万多到1200条收录，看了心都当时凉了一截了，至今谷歌都不大抓取网站了，收录在1000上下徘徊。
小编还有一个秒收的博客站也是因为修改了robots文件，谷歌直接K站，当时那个站修改robots文件太过频繁，导致适得其反的效果，百度也持续一周没更新快照，蜘蛛对robots文件极度敏感，这是新站不能碰的优化地雷区。
建站初期应当全面设置好robots文件，防止后期更改
后期对robots的修改是对各大搜索引擎的一种不友好的表现，特别是谷歌，随着引擎的人性化，搜索引擎也是有“脾气”的，当在你的网站产生了一种习惯时，你网站的稍微改动很有可能会引起搜索引擎的反感，就像修改了robots一样，robots的修改不仅对内容的收录有影响，对网站的权重也有不可忽视的影响。修改robots会引起网站快照不更新，收录减少，外链数目降低，网站主要关键字下降甚至前几百名找不到关键字排名。
蜘蛛来你站首先就是看网站根目录的robots文件，蜘蛛的时间也是很紧迫的，像谷歌这样的全球搜索引擎公司每天要去成千上万的站点抓取网页内容，频繁地修改robots文件就是修改了你网站与蜘蛛之间的协议，为了网站安全，一般的蜘蛛都会遵守robots协议，根据你制定的规则来抓取允许的网页文件及内容。
经过小编几个月的实战结果我建议：robots文件是在建站初期应该制定好，不要在网站收录很多或权重上来了的时候想修改就去修改，除非你不在乎从搜索引擎来的那些流量。
开店省钱网叶蔚卿原创文章 http://www.yeweiqing.com/ 本文版权归叶蔚卿@开店省钱网所有，欢迎转载，转载请注明作者和出处。谢谢