通过IP地址看网站日志寻找百度蜘蛛爬行规律

  对于各位站长来说,百度的收录是关心的重中之重。了解百度蜘蛛的爬行规律从而更好的改善收录情况也是必须要掌握的。很多网站目前使用的都是虚拟空间,都能够提供日志。

  日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件有很多介绍通过http查看返回命令的那种办法来查看蜘蛛,这里就不介绍了。

  现在更多的网站是没有提供可以通过软件来查看的日志格式。

  更多的是类似下面的日志格式,如下:

  03:28:34 GET /goods.php 202.108.7.205 200 34696 390

  第一 03:28:34 访问时间

  第二 GET /goods.php 访问的页面 get表示获取

  第三 202.108.7.205 访问网站的源IP

  第四 200 成功访问

  第五 34696 390 表示记录的内容大小

  都是这种格式的日志如何去分析了,一个一个看的头都大了。北京礼品网站的日志记录每天都有1M多,上千条记录岂不是会看都头晕眼花。

  注意了,告诉大家一个窍门。经过长期观察发现,百度的蜘蛛的来源服务器IP地址都是属于一个域下面的通个网段。什么意思了,就是全部都是以202.108开头的IP,IP地址都是类似于202.108.X.X。这个网段的IP地址是位于北京网通电报大楼,属于全国互联网核心骨干机房,现在此IP段已经绝迹了。(基本上全被大网站使用了,如新浪、雅虎等)那么调出你的日志,用ctrl+f查找一下有没有这个网段的IP。有的话那这个就是百度蜘蛛的访问地址了,然后就查找一下访问的时间,那么就可以找出来百度蜘蛛访问你网站的时间规律了。对于大家按照蜘蛛爬行时间来更新网站内容的作用那是杠杠的啊。

  最后,礼品 www.lipin-bj.cn   欢迎大家拍砖,绝对原创自己的心得。转载请留名,谢谢!

时间: 2024-09-22 17:04:19

通过IP地址看网站日志寻找百度蜘蛛爬行规律的相关文章

通过网站日志来寻找百度蜘蛛爬行规律

中介交易 SEO诊断 淘宝客 云主机 技术大厅 对于各位站长来说,百度的收录是关心的重中之重,因为网站大部分流量都来自百度. 因此,了解百度蜘蛛的爬行规律从而更好的改善收录情况也是必须要掌握的. 很多网站目前使用的都是虚拟空间,都能够提供日志.从虚拟主机后台登录,点击下载访问日志. 日志是指在网站根目录下的logfiles或W3SVC文件夹里面日期.txt文本文件 更多的是类似我的网站建站学习网www.3915.net的日志格式,如下: 开始几行: #Software: Microsoft Lo

通过网站日志了解百度蜘蛛的认可度

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 相信大家对百度蜘蛛都很了解,站长们都是欢迎蜘蛛的光临,但是否真正了解百度蜘蛛的来意,相信这点大家才是非常关心的话题了,现编者根据以往观察网站运行的日专给大家分享一下,不对之处还请指正. 一.整点式爬行,这种爬行争对新站或即将要被降权的网站,指的是每天24小时,每小时百度蜘蛛都会对你网站首页进行爬行,并且爬行数量基本一致.这是新站当中最常见的,

分析网站日志中百度蜘蛛返回304状态码的情况

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 最近遇到一个网站被百度蜘蛛抓取首页后大量返回304状态码的问题,以前遇到过301和302,就是没了解过304,刚好可以对这个情况进行一下分析和观察,以便比较深入的了解该问题的出现以及应对之策. 百度百科对304状态码是这么解释的:如果客户端发送了一个带条件的 GET 请求且该请求已被允许,而文档的内容(自上次访问以来或者根据请求的条件)并没有

最新详细的百度蜘蛛爬行检测代码诠释

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 最近在网上看了篇有关百度蜘蛛的爬行代码的解释,发现和现在的爬行有些改变,已至于开始时看我的小游戏站www.zz.la这个站的日志看不懂 是什么意思,经过多次研究终于明白其中,所以今重新整理解释如下: 做seo的朋友都知道,研究se爬行规律对于网站优化意义重大,特别是对百度蜘蛛Baiduspider的研究.本文解释一下百度蜘蛛爬行后返回代码 代

如何通过网站日志来寻找蜘蛛爬行规律

对于各位站长来说,百度的收录是关心的重中之重.了解百度蜘蛛的爬行规律从而更好的改善收录情况也是必须要掌握的.很多网站目前使用的都是虚拟空间,都能够提供日志.日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件有很多介绍通过http查看返回命令的那种办法来查看蜘蛛,这里就不介绍了.现在更多的网站是没有提供可以通过软件来查看的日志格式.更多的是类似下面的日志格式,如下: 03:28:34 GET /goods.php 202.108.7.205 200 34696 390 第一 0

宁夏IP地址 域名 网站数量全国倒数第三

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 7月24日,中国互联网络信息中心发布的<第22次中国互联网络发展状况统计报告>显示,宁夏的互联网发展在国内处于较低水平:IP地址.域名.网站数量仅高于青海与西藏,列倒数第三位. 据了解,与其他省区相比,宁夏的互联网发展水平较为落后:IP地址是全国的0.3%:域名数量为38447个,占全国总数量的0.3%:网站数2952个,占全国的

查看网站日志中搜索引擎蜘蛛的来访记录的方法

摘要: 对于很多做网站的新手来说,都没有经过系统地授课进行网络技术和建站知识学习,做网站都是靠自学,遇到难题在论坛发帖提问,更不会懂得网站优化,对于较基本操作通过网站日志 对于很多做网站的新手来说,都没有经过系统地授课进行网络技术和建站知识学习,做网站都是靠自学,遇到难题在论坛发帖提问,更不会懂得网站优化,对于较基本操作--通过网站日志看蜘蛛来访情况都不知到哪里看,怎么看.前两天看到很多人发帖提问,回复者的答案却比较精炼,不具体,提问者还是云里雾里的,现我就以自己的网站来系统地操作一次,提交给大

爱上你的网站,把百度蜘蛛当宠物养的必然法则

中介交易 SEO诊断 淘宝客 云主机 技术大厅 最近有不少朋友纷纷向笔者进行咨询,就是想知道如何让一个新站点可以迅速收录,并且产生排名.对此,笔者的回答是,如果希望百度蜘蛛可以喜欢上你的网站,首先你要自己喜欢自己的网站. 一.站长要成为网站的首席粉丝 试问如果连网站的站长都不喜欢自己的网站,那么又如何能让其他用户喜欢呢?同样道理,在百度蜘蛛越来越人性化的现在而言,专心做好网站的站长,必然可以获得百度更好的评价 -- 排名的出现,并非因为你的专门优化而出现,而是因为你的专心做站而出现! 或许对于很

再谈IIS日志中百度蜘蛛返回200 0 64的问题

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 最近我的站快照老是不更新,查看网站日志的蜘蛛访问,发现内页蜘蛛抓取都正常,唯独首页会出现蜘蛛返回200 0 64,要么就是301 0 64(因为www和没有www的做了跳转)于是我搜索相关资料并分析了该状态码,网上都众说纷纭,先总结一下大致的问题吧. 先说一下200 0 64状态码的意思. 200表示正在访问该页面了,但出现64说明抓取的大小