昨天拿IIS日志分析了下,值得高兴的是baidu、google、yahoo的蜘蛛都来爬了,看来优化成功了,以前没爬到过的页面在做了一些外链引导后顺利被google抓取到并收录,但也发现了些问题,google的蜘蛛爬行记录里有很多404页面返回记录,这个可不是好事情啊,说明代码我都没整理干净,大量出现死链。随即我登陆google用网站管理工具一分析,天啊,210个死链,估计对google来说我的页面质量是不咋地了,可这么多404页面我查起来都费劲更别说改,这个时候便想到了robots.txt。
因为我这里的404页面基本都是asp结尾的,对于这样大的404页面我们可以这么设置:
User-Agent:Googlebot
Disallow:/*.asp$
今早过来一分析日志昨晚的google爬行记录,果然不再理会这些asp结尾的页面。
如果出现的大量死链不是呈现有规律的页面的话,就不适合用robots.txt了,所以还有个办法就是手动设置404页面,一般的主机商所提供的后台里应该会有提供404页面的操作,如果是.net做的程序,可以在web.config里设置error页面,我是直接登陆服务器修改IIS所处理的404代码返回页面,总归一句话,把404页面改成有利于引导客户跳到其他有用的页面来抓住客户。
此文章由口水鱼网页教程网(http://www.koushuiyu.cn)发布,转载请注明,谢谢!
时间: 2024-11-06 07:06:56