个人对于内部死链的一些措施

  昨天拿IIS日志分析了下,值得高兴的是baidu、google、yahoo的蜘蛛都来爬了,看来优化成功了,以前没爬到过的页面在做了一些外链引导后顺利被google抓取到并收录,但也发现了些问题,google的蜘蛛爬行记录里有很多404页面返回记录,这个可不是好事情啊,说明代码我都没整理干净,大量出现死链。随即我登陆google用网站管理工具一分析,天啊,210个死链,估计对google来说我的页面质量是不咋地了,可这么多404页面我查起来都费劲更别说改,这个时候便想到了robots.txt。

  因为我这里的404页面基本都是asp结尾的,对于这样大的404页面我们可以这么设置:

  User-Agent:Googlebot

  Disallow:/*.asp$

  今早过来一分析日志昨晚的google爬行记录,果然不再理会这些asp结尾的页面。

  如果出现的大量死链不是呈现有规律的页面的话,就不适合用robots.txt了,所以还有个办法就是手动设置404页面,一般的主机商所提供的后台里应该会有提供404页面的操作,如果是.net做的程序,可以在web.config里设置error页面,我是直接登陆服务器修改IIS所处理的404代码返回页面,总归一句话,把404页面改成有利于引导客户跳到其他有用的页面来抓住客户。

  此文章由口水鱼网页教程网(http://www.koushuiyu.cn)发布,转载请注明,谢谢!

时间: 2024-11-06 07:06:56

个人对于内部死链的一些措施的相关文章

手把手教你如何使用Xenu处理网站死链

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 今天教大家如何使用Xenu查链接工具对网站死链接进行处理,有图有真相,轻松四步教你熟练使用Xenu工具对网站死链进行彻底处理,保持网站内部链接的畅通,让网站排名更"给力". 第一,打开软件,点击"文件",选择"检查网址". 第二,输入网址,点"确定". 第三,选择

5款死链检查工具

死链,也就是坏链,无效链接,Broken Links, Dead Links.网站中如果死链过多,是影响SEO的.这时你需要使用一些死链检测工具检查出来死链在哪里,然后进行修复. 1. Xenu Xune 是一个免费的桌面软件,会检测您整个网站的所有链接,并告诉您哪些是好的.哪些是死的.哪些是超时的以及哪些是暂时无法连接上的,然后还会生成一份详细的报告给您,不过那些报告我还从未看完过--因为链接太多了. 2.Dead Links (www.dead-links.com) Dead Links 是

浅析资讯类网站如何规避网站死链风险

资讯类网站因为内容量过多,特别是很多资讯新闻需要通过采集,这就很容易导致网站死链过多的问题!其实除了采集容易造成死链之外,那些在资讯类网站上发布广告的文章,在删除的过程中,也很容易产生死链,如果不进行及时的处理,那不仅仅会影响蜘蛛在网站的爬行顺畅度,也会极大的影响网站的品牌形象!相对于其他类型网站而言,资讯类网站的死链问题往往更加突出,规避资讯类网站的死链风险宜早不宜迟!下面笔者就来分析一下如何避免! 一:查找网站死链 想要解决资讯类网站的死链,那就应该要学会检查,面对资讯类网站十几万上百万的网

linux中利用Shell脚本自动提交网站404死链到搜索引擎

  Shell脚本 说做就做,简单的写了个 Shell 脚本就搞定了! 脚本名称:网站死链生成脚本 脚本功能:每天定时分析网站前一天的 nginx 日志, 然后提取状态码为404并且UA为百度蜘蛛的抓取路径,并写入到网站根目录下的 death.txt 文件,用于提交百度死链. 脚本代码: #!/bin/bash #Desc: Death Chain File Script #Author: ZhangGe #Blog: http://你的域名/5038.html #Date: 2015-05-0

网站优化遇到死链怎么合理的处理?

在对网站进行站内优化时,往往会碰到有死链的问题.网站有死链,不仅会影响搜索引擎的抓取,还会直接影响到用户的体验.遇到出现死链的情况应该怎么解决? 首先我们先来理解什么是死链.每个网站都是有绝对URL路径,当一个链接打不开.报错时,我们称之为死链,简单来说就是不能打开的URL.大家可以想想,当用户点击一个链接,最终的结果是打不开,那么用户肯定关闭网页.跳出率肯定会增加,从而间接影响到整站的排名以及整站质量. 一般出现死链的原因有6种: 1. 动态链接在数据库不再支持的条件下,变成死链接. 2.某个

百度站长工具之死链提交提升网站权重

什么是死链? 页面已经无效,无法对用户提供任何有价值信息的页面就是死链接,常见的如404.403.503状态等 为什么要使用死链工具? 当网站死链数据累积过多时,并且被展示到搜索结果页中,对网站本身的访问体验和用户转化都起到了负面影响.另一方面,百度检查死链的流程也会为网站带来额外负担,影响网站其他正常页面的抓取和索引. 如何使用死链工具? 1.登录百度站长平台,然后我们找到"死链提交"如下图所示 2.进入之后我们点击"添加新数据"这个是提交死连接了 3.然后在添加

百度站长工具如何提交死链?站长工具提交死链方法!

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 当网站改版后,或者网站内容有变化后,就会产生不少死链接,那么对于这些死链接,站长是必须要处理的,今天黄坤就跟大家讲讲如何在百度站长工具中提交死链! 下面进入404死链提交教程详细步骤: 一.进入百度站长工具-抓取异常-网址异常. 大家看图,也看到了 当前存在错误的404页面有不少死链接.请不要无视这些链接. 而对于这些死链的办法,就是去提交死

谁会用c#写死链检测工具

问题描述 我要写一个死链的检测工具(毕设课题)我先说一下我本人的情况,有c/c++基础,用asp.net开发过电子商务网站(这些都是学校里学的皮毛),现在准备把以前随意放过的知识重新整理,从头好好学一下.所以最近把c语言精读了一下,准备开始看c#(以前没怎么深入研究c#,所以还不太会)所以我接下来要问的问题可能有点傻,我不是很精通于编程,大家不要喷我.=================================================================我自己对于开发这

巧妙利用百度站长平台死链工具删除被百度收录的挂马网址

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 前一段时间,由于程序漏洞造成网页内容多处被挂博彩的内容信息,木马删除后,但是百度收录的挂马页面却都过去几个月了依然还是存在于是利用百度站长平台工具的死链提交将挂马页面删除.下面就为大家分享一下详细的操作方法: 一.网站配置 我的网站挂马网页的网址全部为:http://www.sjbj.cc/index.php?id=90799290418此种