关于网站IIS日志分析搜索引擎爬虫说明

 iis默认的日志文件在C:\WINDOWS\system32\LogFiles中,下面是Seoer惜缘的服务器日志,通过查看,就可以了解搜索引擎蜘蛛爬行经过,如:

2008-08-19 00:09:12 W3SVC962713505 203.171.226.111 GET /index.html - 80 - 61.135.168.39 Baiduspider+

(+http://www.baidu.com/search/spider.htm) 200 0 64

1、203.171.226.111就是搜索引擎蜘蛛防问的网站ip,
2、61.135.168.39 Baiduspider代表,百度搜索引擎蜘蛛的ip是61.135.168.39,
3、代码中的/index.html 就代表搜索引擎蜘蛛防问的网页
4、2008-08-19 00:09:12代表搜索引擎蜘蛛爬行的日期与时间
5、代码中的200就代表搜索引擎蜘蛛爬行后返回HTTP状态代码,代码中可以了解蜘蛛爬行后的反映,代码如下:
6、W3SVC962713505代表网站日志所在的文件夹

7、http://www.baidu.com/search/spider.htm baiduspider常见问题解答网页

2xx 成功

200 正常;请求已完成。

201 正常;紧接 POST 命令。

202 正常;已接受用于处理,但处理尚未完成。

203 正常;部分信息 — 返回的信息只是一部分。

204 正常;无响应 — 已接收请求,但不存在要回送的信息。

3xx 重定向

301 已移动 — 请求的数据具有新的位置且更改是永久的。

302 已找到 — 请求的数据临时具有不同 URI。

303 请参阅其它 — 可在另一 URI 下找到对请求的响应,且应使用 GET 方法检索此响应。

304 未修改 — 未按预期修改文档。

305 使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。

306 未使用 — 不再使用;保留此代码以便将来使用。

4xx 客户机中出现的错误

400 错误请求 — 请求中有语法问题,或不能满足请求。

401 未授权 — 未授权客户机访问数据。

402 需要付款 — 表示计费系统已有效。

403 禁止 — 即使有授权也不需要访问。

404 找不到 — 服务器找不到给定的资源;文档不存在。

407 代理认证请求 — 客户机首先必须使用代理认证自身。

410 请求的网页不存在(永久);

415 介质类型不受支持 — 服务器拒绝服务请求,因为不支持请求实体的格式。

5xx 服务器中出现的错误

500 内部错误 — 因为意外情况,服务器不能完成请求。

501 未执行 — 服务器不支持请求的工具。

502 错误网关 — 服务器接收到来自上游服务器的无效响应。

503 无法获得服务 — 由于临时过载或维护,服务器无法处理请求。

时间: 2024-08-04 08:29:59

关于网站IIS日志分析搜索引擎爬虫说明的相关文章

IIS日志分析搜索引擎爬虫记录程序

使用注意: 修改iis.php文件中iis日志的绝对路径 例如:$folder="c:/windows/system32/logfiles/站点日志目录/"; //后面记得一定要带斜杠(/). ( 用虚拟空间的不懂查看你的站点绝对路径?上传个探针查看! 直接查看法:http://站点域名/iis.php 本地查看法:把日志下载到本地 http://127.0.0.1/iis.php ) 注意: //站点日志目录,注意该目录必须要有站点用户读取权限! //如果把日志下载到本地请修改143

php IIS日志分析搜索引擎爬虫记录程序第1/2页_php实例

使用注意: 修改iis.php文件中iis日志的绝对路径 例如:$folder="c:/windows/system32/logfiles/站点日志目录/"; //后面记得一定要带斜杠(/). ( 用虚拟空间的不懂查看你的站点绝对路径?上传个探针查看! 直接查看法:http://站点域名/iis.php 本地查看法:把日志下载到本地 http://127.0.0.1/iis.php ) 注意: //站点日志目录,注意该目录必须要有站点用户读取权限! //如果把日志下载到本地请修改143

网站SEO优化、IIS日志分析工具 IISLogViewer V2.0 发布

PS:为了有个响亮些的名字,软件中文名更名为:点格网站日志分析器   本次发布IIS日志分析工具[IISLogViewer] V2.0版本.   下面单刀直入,看下 IIS日志分析工具 V2.0 版本所带来新的教程:   1:运行IISLogViewer.exe,启动IIS日志分析工具,界面如下图:     2:可以选择单个IIS日志文件分析或整个站点文件夹进行分析,这里点击"批量文件夹",选择要分析的IIS日志文件目录,如下图:     2-1:选择好要分析的IIS日志文件或文件夹后

IIS日志分析及IIS日志分析软件下载

IIS日志分析是我们asp.net程序员必须了解知识,因为我们开发的网站都是基于IIS服务器.当网站访问缓慢时,除了检查程序代码和优化程序代码外,IIS日志就是我们寻找网站缓慢另一个途径! IIS日志文件存放位置,一般默认位置是:(C:/WINDOWS/system32/LogFiles);在IIS信息服务窗口中,点击要设置的网站的属性,在"网页"选项卡上可以看到"启动日志记录 "项,可以设置日志的保存位置.日志的记录格式等等,虚拟主机用户可以通过空间商提 供的后台

PHP版iis日志分析程序

说明: 将日志文件放在网站根目录,并改名为log.log.演示:http://www.jzxue.com/tools/iislog/ http://www.jzxue.com/tools/iislog/demo.gif <?php /******************************************************* *功能:iis日志分析,分析出访问IP总数,搜索引擎抓取次数 *说明: *       将日志文件放在网站根目录,并改名为log.log. *演示:htt

合格的SEO应该会真正的IIS日志分析

在我们的优化之路中有一些问题一直困扰着我们,例如:我们发的外链是否起到效果?我们买的空间是否能够稳定?蜘蛛对我们的那些页面比较喜欢而对哪些不喜欢?蜘蛛什么时候抓取我们的网站频繁,我们需要什么时候更新内容?而这些问题其实我们可以通过我们的服务器IIS日志可以简单的分析出来,作为一个合格的SEO,真正的会分析IIS日志才可以而不是简单的去看状态码,在这提醒一下大家买空间的时候一定要买能够下载IIS日志的,不能下载的买都不要买,下面给大家介绍几点通过IIS日志分析出的网站问题.​ 一.IIS日志的重要

网站IIS日志对优化有什么帮助

网站IIS日志是个很重要的东西之一,因为那里可以查询到搜索引擎的机器人爬行情况,也能了解到自己的网站一些情况,能分析到某些用户的来路,不一定用流量统计代码去计算,但看网站IIS日志也有的空间商限制的,得要通知开通才可以,也有的不支持,也可以到网上下载一些代码来安装,网站IIS日志存根也要点空间,网站容量不是很大的话,都会一下子超额了,所以要找好点的空间商来放网站.那我就谈谈下网站日志分析对优化有什么帮助呢? 一.了解搜索引擎蜘蛛爬行次数 蜘蛛是搜索引擎派来抓取内容的机器人,了解蜘蛛爬行次数才知道

CYQ.IISLogViewer 一款IIS 日志分析工具 V1.0 发布[提供源码]

说几句:      昨天在 秋色开源团队  群里和网友聊天,有网友提到了一个概念,做站需要知道的:分析IIS日志.      然后上网找了一下资料看了下,可是 秋色园 寄放在人家虚拟目录的子目录中,根本没有IIS日志可言,于是昨晚就直接把秋色园移往新购买的VPS,正式搬到传说中的赌城"拉斯维加斯"去了,中间出了不少问题,折腾到夜里4点.      于是目前 秋色园 所在的地址就是"拉斯维加斯"了,不过数据库仍是用的Access. 下面进正题,于是自己跑IIS看了一下

iis日志分析工具下载 [IIS日志分析工具]

下载|iis|日志分析 IIS日志分析工具 可以考虑使用开源的awstats来分析 下面是我写的安装手记,希望对你能有参考 AWStats在IIS6.0下的安装手记 什么是AWStats? AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具.日志统计系统在站点的用户行为分析中扮演了重要的角色,尤其是对于来自搜索引擎的关键词访问统计:是很有效的用户行为分析数据来源.随着互联网多年的发展,WEB日志统计工具已经越来越成熟,功能也越来越丰富.其中有很多是开放源代码