互联网上分析IIS的工具倒是不少，不过我没有遇见能够符合我要求的，一般的都是只能查询IIS日志内的蜘蛛爬行的次数而已。下面说个比较简单且非常实用的方法，通过EXCEL的一些简单的公式做出想得到的一系列数据，例如时间间隔，爬行页面，返回状态码，网址参数，蜘蛛类型，蜘蛛IP等，通过以上数据可以进行对网站的问题的排查，更正。 首先必须有自己的服务器或者能够查看IIS日志的权限，通过FTP将iis日志文件从空间中下载到本地 服务器获取IIS日志的方式：打开IIS，点击要查询网站>右键>属性>网站选项卡>属性>即可看到如图 如果是空间的话有些空间服务上会将日志文件放在网站根目录的。如果没有的话可以向服务商索取。
然后根据路径进行查找相应的文件夹然，可以看到文件夹下有很多.log文件就是日志文件，然后通过FTP下载到本地。
如果文件过大操作起来可能不方面，可以使用UltraEdit打开，筛查你想得到的数据(具体自己下载一个研究下)。文件不是很大可以使用记事本直接打开后复制到EXCEL。
然后将前4行删除，选择A列，点击excel数据>分列>分割符号
下一步>其他>输入空格>下一步>完成。这样第一步就完成了。
然后选择A1列>右键>插入 然后将C,D,E,I列删除。在第一行分别输入：日期，时间，网页，参数，端口，IP，蜘蛛，状态码 另外说明一下参数，参数这个是动态网页面问号(?)后面的部分。http://www.huiwang.org/jiaju/chufang/5309_3.html 这个路径后面的参数值为3，那么组合之后真是的URL就是http://www.huiwang.org/jiaju/chufang/5309_3.html?3 因此说明蜘蛛还是可以分辨参数的，有些网站投放广告后面经常都会带上参数进行统计，但经过抓取后参数都会被去除的。所以尽量不要在内容页使用此类的URL。
选中G列>数据>筛选>点击G列箭头>文本筛选>包含
输入baidupider 点击确定。即可看到所有百度蜘蛛访问的数据 这样的话大致的数据已经呈现出来了，如果查看google在筛选时候输入googlebot就可以了。随后制作一个简单的数据透视表便于分析。 一次顺序：插入>数据透视表>数据透视表>确定 在右侧按先后顺序勾选网页，蜘蛛，时间。然后点击蜘蛛后面的小三角
点击标签筛选>包含>输入baidupider。既可以筛选出最终要看的网页的spider爬行时间详细数据，当然可以按照其他组合进行筛选各类数据，就不演示了。
Luigi's blog原创，转载请注明http://www.itemseo.com/432.html 谢谢