百度站长平台:如何识别Baiduspider 保证网站被正常抓取

  A5站长网(www.admin5.com)4月24日消息,有不少网站出现过误封Baiduspider的行为,对网站的收录造成影响。甚至有网站反映百度蜘蛛行为异常光顾过于频繁。近期百度站长平台表示Baiduspider对该站点的抓取并无异常,并发布教程帮助站长识别Baiduspider,并加入白名单。

  上周百度站长平台接到某站长求助,表示误封禁了Baiduspider的IP,询问是否有办法获得Baiduspider的所有IP,打算放入白名单加以保护,防止再次误封。在此要告诉各位站长,Baiduspider的IP池是不断变动的,我们无法提供IP全集。

  除此之外,之前还有站长发来质疑说Baiduspider光顾过于频繁,已超越服务器承受能力。而百度站长平台追查发现,Baiduspider对该站点的抓取并无异常,那只spider极有可能是个李鬼。

  那么,站长该如何通过IP来判断此spider是不是来自百度搜索引擎的呢?

  可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

  1,在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或*.baidu.jp 即为冒充。

  2,在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  3,在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或*.baidu.jp 即为冒充。

时间: 2024-10-28 17:42:20

百度站长平台:如何识别Baiduspider 保证网站被正常抓取的相关文章

从百度站长平台学SEO技巧:网站换IP不再怕

众所周知,在SEO中希望网站的内容经常有更新价值的内容,但网站的结构等最好还是不太改变的好,所以站长们在处理这些问题的时候尤为谨慎,因为在之前就有网站因为这些原因被搜索引擎清空过所有的索引记录,也就是我们常说的收录量清零了,或者说被K站了. 随着国内搜索服务商走向集中化,现在市场上也出现了三国鼎立的局面,及老大百度和奇虎360以及娶了老婆搜搜的搜狗.这些搜索服务商为了更好地搭建自己的生态,当然我们也可以认为他们在为中国互联网做贡献,就如他们所说的让用户以更加快捷的方式找到具有价值的内容,当然事实

站长福音!百度站长平台APP上线了 让网站走入移动化!

中介交易 SEO诊断淘宝客 站长团购 云主机 技术大厅 今天黄坤我去看了站长平台,首页一条横幅广告吸引了我! 然后发现百度站长平台APP上线了,这一APP的上线给站长提供了无限便利!用手机便可以查看数据,个人感觉是很方便了! 本应用简介: 百度站长平台,秉承让网站更具价值的使命,致力于打造全球最大的中文网站管理员官方平台,提供SEO优化建议.站长工具.权威数据算法公布等,携手站长共建绿色搜索生态圈. [功能简介] 一.最及时的消息提醒 网站在百度表现异常或出现问题时,马上通知您;站长平台有奖活动

百度站长平台助力网站及时排查问题

今年5月,天极网遭遇了一场"死链风波".对一家日均访问量2000万人次的网站来说,页面死链意味着巨大的流量损失.天极网技术人员根据百度站长平台的提示,立刻对遍布全国的节点进行检查,迅速发现了疑点链接,避免了不良影响和经济损失.       "如果我们通过以前的手段排查,耗时很长,对用户影响很大.感谢百度站长平台帮助我们迅速排查问题链接,解决我们在网站运营过程中的各种难题."天极网总经理郭强深有感触地说,"百度站长平台提升了天极网对搜索引擎的友好程度,对我们

2012年新趋势:利用百度站长平台提升seo效果

2011年底,百度推出了站长平台,可以帮助站长更好的掌握网站收录情况,统计数据等.对我们这些优化人员来说,百度推出的任何一项产品都不能忽视,而百度站长平台无疑在与第三方网站的关系上进步不少,提供了不少帮助,下面小编来分享一下使用百度站长平台的一点感想. 百度站长平台的介绍 首先,百度官方给的介绍是:百度站长平台是一个服务于百度网页收录的数据提交平台.可以: 1. 向百度推送您网站希望被百度收录的数据;2. 在一定程度上减轻抓取产生的额外负担;3. 网页更容易被百度发现和抓取,新增及删除的数据能更

百度站长平台:闭站保护工具上线 站长再也不用担心关闭网站了

最近的"净网行动"可谓开展得如火如荼,许多大网站也难逃此劫,被彻底"净化"了,一些问题不严重的网站可能需要闭站整顿,但对于站长来说,人世间最痛苦的事莫过于网站关闭,不论是出于主观原因(改版.暂停服务等),还是客观原因(服务器故障.政策影响.备案等),都充满了无奈和不得已;最最痛苦的事莫过于我都闭站了,但响应时间太长,spider还在抓来抓去,影响用户体验;最最最痛苦的事莫过于历尽万难网站重新开启,但恢复正常抓取也需要漫长等待,更有命苦的站点在百度的展现跌入谷底,再想

百度站长平台再添福利 网站验证升级

之前百度站长平台网站验证方式个人感觉过程有点烦琐,验证信息还有时间限制,一过时间就会过期,这对于没有一些没有任何程序功底的SEO来说,的确是一个很头痛的事,比如笔者也是在验证(灭鼠器http://www.mieshuqi.com)这个网站的时候,因为网络问题,就导致出现验证信息过期,不得不硬着头皮再重新来一次. 但是今天百度站长平台传来喜讯--网站验证升级-无过期&支持批量添加子站 原文地地址:http://zhanzhang.baidu.com/wiki/182 各位网站管理员, 很高兴的通知

百度站长平台开始发力 详解最新活动网站style

百度站长平台自发布以来,不断完善,站长工具的实用性,还有靠着百度这块金字招牌,其旗下的站长论坛也开始日益红火,前几日小编看到百度站长平台开始招募运营.而且百度在其搜索引擎上对于"站长平台"之类的关键词给自己的儿子很多推荐,加上今日百度站长平台推出的网站style活动,无不昭告着其即将开始发力.   今日,百度站长平台在其首页挂出了首页聚焦和全站顶部通栏广告去宣传此活动,活动首页的奖品很是诱人. 而规则很简单:用户完成Style测试即可获得新春红包,每小时共5次机会. 当然一小时内重复测

百度站长平台:网站改版及301设置说明

根据调研发现,部分网站在改版时由于改版的情况不同,会遇到新旧网站收录的问题,对网站的流量带来一定的损失,在目前情况下建议网站不要频繁的进行改版,若需改版建议在改版时采用新旧内容并存一段时间之后再设置301跳转的方式,尽可能多的降低网站因改版带来的流量损失.且为了解决这类问题,百度站长平台在12月下旬即将推出改版工具,之后通过工具与设置301两种方式相结合的形式将能够做到网站接近无损失的新旧交换.以下为详细说明. 一.在现有情况若进行网站改版,建议按照以下方法进行: 1.网站改版完成,先将新版上线

百度站长平台正式推出网站消息提醒工具

摘要: 百度站长平台正式推出网站消息提醒工具,前段时间笔者在卢松松的博客上就看到了百度即将推出这个工具的文章,没想到百度的速度还是挺快的,今天已经发布正式上线的通知了,网 百度站长平台正式推出网站消息提醒工具,前段时间笔者在卢松松的博客上就看到了百度即将推出这个工具的文章,没想到百度的速度还是挺快的,今天已经发布正式上线的通知了,网站消息提醒工具有点效仿谷歌的影子.但不论如何这个工具的推出对我们这些SEO人很有帮助,应该有很好的指引作用,具体会提醒哪些消息呢? 根据公告的说明,第一阶段提醒的是抓