合格的SEO应该会真正的IIS日志分析

  在我们的优化之路中有一些问题一直困扰着我们,例如:我们发的外链是否起到效果?我们买的空间是否能够稳定?蜘蛛对我们的那些页面比较喜欢而对哪些不喜欢?蜘蛛什么时候抓取我们的网站频繁,我们需要什么时候更新内容?而这些问题其实我们可以通过我们的服务器IIS日志可以简单的分析出来,作为一个合格的SEO,真正的会分析IIS日志才可以而不是简单的去看状态码,在这提醒一下大家买空间的时候一定要买能够下载IIS日志的,不能下载的买都不要买,下面给大家介绍几点通过IIS日志分析出的网站问题。​

  一、IIS日志的重要作用​

  1.通过IIS日志可以了解蜘蛛对网站的基本爬取情况,可以知道蜘蛛的爬取轨迹和爬取量,通过我们的IIS日志,外链的多和少和网站蜘蛛的爬取量是有直接影响的,我们所说的链接诱饵就是如果你做了一个外链,蜘蛛在爬取这个外链页面并把页面放出来时,蜘蛛可以通过你留的这个链接来爬取你的网站,而IIS日志正是会记录下蜘蛛的这次爬取行动。​

  2.网站的更新频率也和IIS日志中蜘蛛抓取的频率有关,一般来说更新频率越高,蜘蛛的抓取频率越高,而我们网站的更新不仅仅只是新内容的添加同时还有我们的微调操作。​

  3.我们可以根据IIS日志的反应情况,对我们的空间的某些事情和问题提前进行预警,因为服务器如果出问题的话在IIS日志中会第一时间反映出来,要知道服务器的稳定速度和打开速度两者都会直接影响我们的网站。​

  4.通过IIS日志我们可以知道网站的那些页面是很受蜘蛛欢迎的,而哪些页面是蜘蛛连碰都不去碰的,同时我们还能发现有一些蜘蛛由于是过度爬取对我们的服务器资源损耗是很大的,我们要进行屏蔽工作。​

  二、如何下载日志及日志设置注意事项​​

  1.首先我们的空间要支持IIS日志下载,这一点是很重要的,在我们购买空间之前必须要先问好支不支持IIS日志下载,因为有的服务商是不提供这项服务的,如果支持的话空间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地就可以,服务器的话可以设置将日志文件下载到指定路径。​

  2.这里有个很重要的问题,IIS日志强烈建议设置成每小时生成一次,小型的企业站和页面内容较少的网站可以设置成一天,它默认是一天,如果内容多或者大型站设置成一天生成一次,那么一天只生成一个文件,这个文件会相当的大,我们有时电脑打开是会造成死机,设置的话找空间商协调设置即可。​

  三、IIS日志的分析​

  1.日志的后缀名是log的我们用记事本打开,选择格式里的自动换行这样看起来方便,同时用搜索功能搜索BaiduSpider和Googlebot这两个蜘蛛。​

  例如:​

  百度蜘蛛​

  2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / - 80 - 220.181.51.144 Baiduspider-favo+(+http://www.baidu.com/search/spider.htm) 200 0 0 15256 197 265​

  谷歌机器人​​

  2012-03-13 08:18:48 W3SVC177 116.255.169.37 GET /robots.txt - 80 - 222.186.24.26 Googlebot/2.1+(+http://www.google.com/bot.html) 200 0 0 985 200 31​

  我们分段来解释​

  2012-03-13 00:47:10 蜘蛛爬取的日期和时间点​

  W3SVC177 这个是机器码这个是惟一的 我们不去管它​

  116.255.169.37 这个IP地址是服务器的IP地址​

  GET 代表事件​​

  GET后面就是蜘蛛爬取的网站页面,斜杠就代表首页

  80 是端口的意思​

  220.181.51.144 这个IP则是蜘蛛的IP,这里告诉大家一个鉴别真假百度蜘蛛的方法,我们电脑点击开始运行输入cmd打开命令提示符,输入nslookup空格加蜘蛛IP点击回车,一般真百度蜘蛛都有自己的服务器IP而假蜘蛛则没有。​​​

  如图

  上面是真蜘蛛,下面是假蜘蛛

  


 

  如果网站中出现了大量的假蜘蛛则说明有人冒充百度蜘蛛来采集你的内容,你就需要注意了,如果太猖獗那会很占用你的服务器资源,我们需要屏蔽他们的IP.

  200 0 0这里是状态码 状态码的意思可以在百度里搜索下​

  197 265最后两个数字则代表着访问和下载的数据字节数。

  2.我们分析的时候先看看状态码 200代表下载成功,304代表页面未修改,500代表服务器超时,这些是一般的其他代码可以百度一下,对于不同的问题我们要处理。​

  3.我们要看蜘蛛经常爬取哪些页面,我们要记录下来,分析他们为什么会经常被蜘蛛爬取,从而分析出蜘蛛所喜欢内容。​

  4.有时候我们的路径不统一出现带斜杠和不带斜杠的问题,蜘蛛会自动识别为301跳转到带斜杠的页面,这里我们就发现了搜索引擎是可以判断我们的目录的,所以我们要对我们的目录进行统一。​

  5.我们分析日志分析时间长了,我们能够看出蜘蛛的抓取规律,同一目录下面的单个文件的抓取频率间隔和不同目录的抓取频率间隔都可以看出来,这些抓取频率间隔时间是蜘蛛根据网站权重和网站更新频率来自动确定的。​

  6.蜘蛛对于我们的页面的抓取是分等级的,是根据权重依次递减的,一般顺序为首页、目录页、内页。​

  7.不同IP的蜘蛛他们的抓取频率也是不相同的​

  ​IIS日志是我们分析网站的重要参考数据,我们要经常对其进行分析,总结经验,这样可以让我们对一些问题了如指掌。

  本文由http://www.51diaoche.net原创 A5首发 欢迎转载

时间: 2024-10-29 16:00:59

合格的SEO应该会真正的IIS日志分析的相关文章

网站SEO优化、IIS日志分析工具 IISLogViewer V2.0 发布

PS:为了有个响亮些的名字,软件中文名更名为:点格网站日志分析器   本次发布IIS日志分析工具[IISLogViewer] V2.0版本.   下面单刀直入,看下 IIS日志分析工具 V2.0 版本所带来新的教程:   1:运行IISLogViewer.exe,启动IIS日志分析工具,界面如下图:     2:可以选择单个IIS日志文件分析或整个站点文件夹进行分析,这里点击"批量文件夹",选择要分析的IIS日志文件目录,如下图:     2-1:选择好要分析的IIS日志文件或文件夹后

CYQ.IISLogViewer 一款IIS 日志分析工具 V1.0 发布[提供源码]

说几句:      昨天在 秋色开源团队  群里和网友聊天,有网友提到了一个概念,做站需要知道的:分析IIS日志.      然后上网找了一下资料看了下,可是 秋色园 寄放在人家虚拟目录的子目录中,根本没有IIS日志可言,于是昨晚就直接把秋色园移往新购买的VPS,正式搬到传说中的赌城"拉斯维加斯"去了,中间出了不少问题,折腾到夜里4点.      于是目前 秋色园 所在的地址就是"拉斯维加斯"了,不过数据库仍是用的Access. 下面进正题,于是自己跑IIS看了一下

IIS日志分析及IIS日志分析软件下载

IIS日志分析是我们asp.net程序员必须了解知识,因为我们开发的网站都是基于IIS服务器.当网站访问缓慢时,除了检查程序代码和优化程序代码外,IIS日志就是我们寻找网站缓慢另一个途径! IIS日志文件存放位置,一般默认位置是:(C:/WINDOWS/system32/LogFiles);在IIS信息服务窗口中,点击要设置的网站的属性,在"网页"选项卡上可以看到"启动日志记录 "项,可以设置日志的保存位置.日志的记录格式等等,虚拟主机用户可以通过空间商提 供的后台

iis日志分析工具下载 [IIS日志分析工具]

下载|iis|日志分析 IIS日志分析工具 可以考虑使用开源的awstats来分析 下面是我写的安装手记,希望对你能有参考 AWStats在IIS6.0下的安装手记 什么是AWStats? AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具.日志统计系统在站点的用户行为分析中扮演了重要的角色,尤其是对于来自搜索引擎的关键词访问统计:是很有效的用户行为分析数据来源.随着互联网多年的发展,WEB日志统计工具已经越来越成熟,功能也越来越丰富.其中有很多是开放源代码

PHP版iis日志分析程序

说明: 将日志文件放在网站根目录,并改名为log.log.演示:http://www.jzxue.com/tools/iislog/ http://www.jzxue.com/tools/iislog/demo.gif <?php /******************************************************* *功能:iis日志分析,分析出访问IP总数,搜索引擎抓取次数 *说明: *       将日志文件放在网站根目录,并改名为log.log. *演示:htt

IIS日志分析工具(点格IIS日志分析器)使用图文教程

最近服务器经常遭受hacker侵扰.入侵者技术比较高明,会删除IIS日志文件以抹去痕迹,这时可以到事件查看器看来自W3SVC的警告信息,往往能找到一些线索.当然,对于访问量特别大的Web服务器,仅靠人工分析几乎是不可能的--数据太多了!可以借助第三方日志分析工具,此处仅仅介绍一款名叫点格IIS日志分析器.它是一个免费的日志分析工具,可以分析IIS 4/5.Apache和其他日志文件.该软件简单易用 软件名称:点格IIS日志分析器2.0绿色版 1:运行IISLogViewer.exe,启动IIS日

沉缘seo:网站的晴雨表iis日志(一)

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 网站的iis日志也叫web日志,作为一个seoer,坚持每天查看网站的iis日志是一个必不可少的工作之一,那么我们怎么才能拿到网站的iis日志,通过解读iis日志我们能得到哪些关于网站的信息呢?要想解读iis日志,首先就要拿到它,先来看怎么才能拿到iis日志.要拿到iis日志,就需要有虚拟主机的管理权限,有朋友说我有ftp服务器的管理权限(f

IIS日志分析搜索引擎爬虫记录程序

使用注意: 修改iis.php文件中iis日志的绝对路径 例如:$folder="c:/windows/system32/logfiles/站点日志目录/"; //后面记得一定要带斜杠(/). ( 用虚拟空间的不懂查看你的站点绝对路径?上传个探针查看! 直接查看法:http://站点域名/iis.php 本地查看法:把日志下载到本地 http://127.0.0.1/iis.php ) 注意: //站点日志目录,注意该目录必须要有站点用户读取权限! //如果把日志下载到本地请修改143

IIS日志分析工具之EXCEL数据透视表

互联网上分析IIS的工具倒是不少,不过我没有遇见能够符合我要求的,一般的都是只能查询IIS日志内的蜘蛛爬行的次数而已.下面说个比较简单且非常实用的方法,通过EXCEL的一些简单的公式做出想得到的一系列数据,例如时间间隔,爬行页面,返回状态码,网址参数,蜘蛛类型,蜘蛛IP等,通过以上数据可以进行对网站的问题的排查,更正. 首先必须有自己的服务器或者能够查看IIS日志的权限,通过FTP将iis日志文件从空间中下载到本地 服务器获取IIS日志的方式:打开IIS,点击要查询网站>右键>属性>网站