这些天,网站收录出现问题,所以一直在观察搜索引擎蜘蛛的访问日志,希望能从日志中有所收获,从这几天的观察中发现,360的蜘蛛非常活跃,几乎每隔一两个小时就访问一次,一天的时间里,360Spider一直都处于活跃状态,每天的访问次数都在十次左右,而且都是不间断的状态,从来没有停滞过,即使中间更换了一次IP地址,360Spider还是一如既往的访问,并且经过360Spider访问之后,网站所发表的文章都会在一个小时之内收录,一般文章发布十分钟之后即可被收录。
而反观百度蜘蛛,这几天貌似也过年了,有时候一天都不来一次,来过之后也只是访问一下首页,或是robots.txt,根本不收录内页的url,昨天一天的时间里,Baiduspider没有访问一次,今天中午一点多的时间,Baiduspider来访一次,而且依旧只索引了博客的robots文件,然后就消失不见了。和前几日的索引情况相比,Baiduspider来访次数明显减少,在前些时间,虽然Baiduspider每天只索引首页,但来访次数还是挺多的,而今如此消极的来访,让本人更加担心网站的收录了,本来网站收录已经全部消失了,现在Baiduspider的来访次数再一次减少,让我变得更加惶恐了。
google的来访次数还算一般,Googlebot每天的访问次数在三到五次之间,不像360那么频繁,但起码每天都在访问,也收录了一些内页url,起码证明博客在google处于正常的状态,搜狗的收录虽然同样只有首页,但搜狗的蜘蛛每天都会来访一两次,而且每次都会索引内页,这证明很多内容都在审核期,搜狗早晚会把内容放出来,也没有什么可担心的。让我最担心的是百度,本来博客在百度的收录就不正常,而现在百度蜘蛛的来访又不正常,着实让我有些担心。
虽然360搜索和百度比起来,有些后知后觉,对于SEO排名的安排比较晚,事实也证明了这一点,包括我自己的几个站点,都是在百度先获得排名,然后在其它的搜索引擎中,排名才会有所提升,在百度有了排名的时候,许多网站在360还没有任何排名,网站在360的排名要比在百度的排名晚两个月左右的时间,但通过我的网站分析发现,360对于原创内容的收录速度非常快,而且对于原创站点和更新较快的站点是比较重视的。这和360Spider的活跃度是分不开的,正是因为360蜘蛛频繁的访问速度,才能及时的识别原创文章,并且在第一时间给予收录。