略懂网站日志分析,网站更安全

  作为一个站长,皇冠网小编觉得略懂网站日志分析,网站会更安全。网站日志可以从ftp或服务器上面下载。下载后,我们可以通过相应的来源ip段进行分析,判别这ip段是否属于真实的蜘蛛。

  下面皇冠网小编就对皇冠网hg-seo.com站点的日志进行分析。

  第一、 小编从服务器上面下载了8-2网站日志

  第二、 打开网站日志

  

  通过上图,我们可以看出,这里面很乱看得有点累,而且很难分析到底有哪些ip访问了我们的站点,哪些页面被蜘蛛捉取了。竟然很乱,那么我们可以简单的处理,让难变易。小编这里是通过txt格式转换成xls。这样我们就可以一行一列的进行分析。转换后,我们可以通过案列进行分列,这样就可以一列一列的详细的按规律来显示出来。

  

  通过上图,我们就可以清晰明了的分析客户ip来源了,具体哪些文章页面、哪个栏目被收录,我们都可以一眼明了,甚至还可也看出网站被爬取的状态。但从这里还是不能清晰的汇总出到底有哪几个ip段访问我们的站点。至此,我们还要通过execl的数据筛选功能进行ip段类似的进行汇总,例如,220.181.108.121和220.181.108.78等220.181.108.* ip地址c段之前都是一样的话,那么我们就可以通过c段相同的汇总在一起。具体操作,选择数据-自动筛选-自定义-包含-填写要归类一起的ip段。

  

  从这里,我们就可以直接的看出有哪些ip类型访问了我们的站点,那么我们就要了解这些ip类型是好还是坏。

  作为站长要知道哪些ip段是好,哪些ip段是不好,这样就可以尽量的避免站点问题的持续衍生下去。通常的ip段解读

  一 220.181.108.*ip段的百度蜘蛛(提权蜘蛛):

  这个ip段访问你的站点,那么说明你的站点目前很健康,一天访问次数越多,说明百度蜘蛛对你的站点非常的友好。一经抓取的页面,被释放的时间非常短。

  二 123.125.71.*ip段的百度蜘蛛(劣质文章捉取蜘蛛):

  这个ip段访问你的站点,那么说明你的文章质量不高,伪原创或者采集的相对比较高。虽然抓取了,可不会立马释放,释放时间比较久。出现越多者不好吧!

  三 123.125.68.*ip段的百度蜘蛛(考察蜘蛛):

  这ip段访问你的站点,一般是对于新站比较频繁,这ip段是考核蜘蛛,若对于老站经常出现这ip段的话,那么你的站点就有可能被降权,出现这情况,因立马对站点做修正处理。

  四 117.28.255.*ip段的百度蜘蛛(假冒蜘蛛):

  这只其实是一只假的百度蜘蛛,至于他是什么蜘蛛我们也无从得知.。但11545.html">我们有一个方法可以判断真假百度蜘蛛:

  点击桌面的“开始”图标-在搜索栏输入“CMD”-输入“nslookup”,

  

  输入后点击确定,然后再功能框里面输入ip地址,ip地址只能手动输入,不能黏贴。

  出现下图所示为真实百度蜘蛛:

  

  出现下图所示为真实冒牌蜘蛛:

  

  从上两图我们可以看出如果该ip地址是真的百度蜘蛛的话,那该就会显示“baidu”标识,如果没有看到“baidu”字样的服务器名就是假的百度ip。

  五 222.77.187.* ip段的百度蜘蛛:

  这个ip段访问,说明你经常使用chinaz工具,这个ip段是chinaz模拟百度蜘蛛来访问我们站点的结果。

  网站日志分析,是作为一个站长每天必做的事情,对网站日志的分析要十二分的重视,切勿爱分析分析一下,不爱分析就都不管了。分析网站日志是一个站点长远发展的必经之路。好了,皇冠网小编就对略懂网站日志分析,网站更安全介绍到此,欢迎高手留言交流!

  尊重原创,注明出处,你就是在为互联网环境净化做出自己的一份努力。本文章由皇冠网http://www.hg-seo.com/huangguanseo/99.html运营部编撰发布,文章首发皇冠营销网 - 关注SEO,SEM优化发展趋势分享营销推广技巧博客,次发A5站长网,原创文章,转载请留原创链接,谢谢配合~

时间: 2024-10-21 18:10:56

略懂网站日志分析,网站更安全的相关文章

新手站长如何借网站日志分析网站

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 不想做好站长的站长不是好站长;不会做外链的站长不是好站长;不会分析网站日志的站长不是好站长.随着SEO工作的细化和进行,提供SEO工作的建议就显得由为重要,网站日志就是这样一种建议载体. 笔者认为网站日志可反应出网站内部的所有问题,同时也认为作为现互联网时代的站长和SEO工作者,一定要学会网站日志数据收集和分析,如果网站健康是SEO工作的第一

网站日志分析普遍忽视 从日志透出的优化误区浅析

很多站长在运营网站的时候,往往都本着内容为王,外链为皇的原则,很少通过数据分析来指导自己的网站运营,网站日志的分析更是被广泛的忽视!其实网站日志本身就是一个很好的工具,日志的数据往往就是易经的卦爻词,通过这些数据往往能够找到成功运营网站的密码!之所以把网站日志比作卦爻词,就是因为日志上的数据对于站长们而言,往往就是天数,其折射出来的运营方法需要站长进行重新的编译才能够领悟出来,下面笔者就结合自己的分析经验,跟广大站长朋友们分享一下分析日志的技巧! 因为日志中的数据非常多,也非常杂,这是妨碍站长进

360收购不到一岁的基于SaaS模式在线网站日志分析平台“日志宝”

冯大辉的http://www.aliyun.com/zixun/aggregation/32631.html">小道消息今日透露,360已经完成了对"日志宝"的收购.日志宝创始人兼CEO董方向我们证实了该消息,并表示此次收购是基于业务和资源的整合,但未透露具体收购细节,只是说收购形式为"股票+现金". 日志宝是一个基于SaaS模式的在线网站日志分析平台,专注于提供网站Web访问日志分析服务,目前兼容NCSA和W3C日志格式,于2012年5月7日正式上

新手死角:不容忽视的网站日志分析

新手接触网站建设及推广,很容易进入一个定式,那就是"内容为王.外链为皇",把所有的时间都用在这2个上面,诚然这些是网站建设里面的重点,但有些东西还是不能忽视的,比如网站的一些基础架构及内链建设. 我们做好了原创内容,发了很多的外链,成功的吸引了搜索引擎蜘蛛进入了我们的网站,是不是就成功了呢?其实这只是完成了一个基础的阶段,当蜘蛛进来了,网站结构及正确的链接循环是非要重要的,如果出现了问题,会造成蜘蛛爬行的困难,久之则其必将远离我们的网站,直到不来为止. 那怎么能够发现蜘蛛在爬行网站的过

大数据平台网站日志分析系统

1:大数据平台网站日志分析系统,项目技术架构图: 2:大数据平台网站日志分析系统,流程图解析,整体流程如下: ETL即hive查询的sql; 但是,由于本案例的前提是处理海量数据,因而,流程中各环节所使用的技术则跟传统BI完全不同: 1) 数据采集:定制开发采集程序,或使用开源框架FLUME 2) 数据预处理:定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术:基于hadoop之上的Hive 4) 数据导出:基于hadoop的sqoop数据导入导出工具 5) 数据可视化:定

浅析通过网站日志分析发现的几点看法

网站日志是一个很好的工具,它是我们分析网站的一个很好的帮手,通过分析网站日志,我们可以获得很多有价值的东西,而笔者通过分析个人的几个网站日志,从另外的角度去分析用户的行为,有了一些发现,而这些发现同大家通常认可的理论有一定的差距,笔者把个案写出来,希望得到大家的指点. 首先,笔者通过对网站日志进行了处理,从网站日志中排除图像网页,如jpg,gif,jpeg以及css.同时,还排除了那些自动网页采集程序"网络蜘蛛"产生的数据.这些数据并不是真实用户所发出的请求.笔者是针对这种情况来排除采

站长如何进行网站日志分析

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 一个合格的站长或者seoer必须要能看懂网站的服务器日志文件,这个日志记录了网站被搜索引擎爬取的痕迹,给站长提供了蜘蛛是否来访的有力佐证,站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况,分析网站的是否存在收录异常问题.并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律,这将非常有利于我们做优化.另外,学习分析网站日志文件也是站长必

网站日志分析研究和分析网站存在的SEO问题

从做SEO开始老大就一直给我灌输:"要做科学的SEO,不管流量是涨还是降都要知道其中来源,而要了解这些同时判断网站流量的走向就必须要靠日志分析,而不是凭感觉的猜测是哪些因素使用流量发生变化".因此从一开始就从数据入手,对于网站的数据时实监控,从数据中判断网站的问题所在,然后做出相应的改变.这也是我们网站能一直稳定发展从流量的直线下降到回升直到大涨的一个原因所在. 最近网站的流量一直涨得非常的快,但是网站某一部份的抓取量却直线下降,不过索引量还在不断的提升流量也在不断的上涨.也就因为这样

python实现apahce网站日志分析示例_python

维护脚本一例,写得有点乱,只是作为一个实例,演示如何快速利用工具快速达到目的:应用到:shell与python数据交互.数据抓取,编码转换 复制代码 代码如下: #coding:utf-8#!/usr/bin/python'''程序说明:apache access.log日志分析 分析访问网站IP 来源情况 日期:2014-01-06 17:01 author:gyh9711  程序说明:应用到:shell与python数据交互.数据抓取,编码转换'''import osimport jsoni