谷歌:通过“Googlebot 抓取方式”向谷歌提交URL

  8月12日消息:近日,谷歌网站站长工具中的“Googlebot 抓取方式”功能提供了一种向Google提交全新的URL以及更新URL的收录方法。允许站长提交刚刚推出新网站,或者新增加 一些重要新页面,辅助谷歌快速索引网站。

  谷歌称,当站长像Googlebot那样成功抓取了一个URL,那么,站长将会在谷歌站长工具中看到提交该URL到谷歌的索引这一选项。当站长以这样的方式提交URL后,通常在一天之 内,Googlebot就会抓取该URL。然后,谷歌会考虑是否将其列入谷歌的索引中。但请注意,谷歌不保证以这种方式提交的每一个URL都会被收录;谷歌仍然会使用常规流程——也就是谷歌用于发现其他URL的流程,来评估某一URL是否适合谷歌的索引。

  这一新功能可在多种情况下为站长提供帮助:如果站长刚刚推出了一个新网站,或者增加了一些重要的新页面,站长可以要求Googlebot立即查找并抓取它们,而不是等待谷歌去发现它们。站长也可以提交已经收录过过,但有内容更新的URL,以刷新这些URL,比如说,如果站长更新了关于自己将在本周末举办的活动的某些关键内容,并希望能够确保谷歌及时看到这些更新,站长可以求助于 “Googlebot 抓取方式”。又或者,站长不小心发布了一些本无意发布的信息,在从网站上删除这些信息之后,也希望能对谷歌的缓存版本—网页快照进行更新,在这时候,“ Googlebot 抓取方式”也可以提供帮助。

  如何提交一个URL

  首先,使用“诊断程序”》 “ Googlebot 抓取方式”,抓取站长想要提交给Google的URL。如果成功抓取了该URL,那么,站长将会在该被抓取的URL旁边,看到一个新的“提交到索引”的链接。

  


 

  一旦站长点击“提交到索引”,就会看到一个对话框,让站长选择是否只提交一个URL,还是该URL及其所有链接页面。

  


 

  在提交单个URL时,谷歌每周的最高限额是提交50次;提交带有全部链接页面的URL时,限额是每月10次。站长可以在 “Googlebot 抓取方式”页面上看到剩余的提交次数。提交的任何URL上的页面内容都应该适用于Google网页搜索,所以,如果站长想提交图像或视频,则应该使用“ 站点地图”。

  在未经审查的情况下向Google提交URL

  除了对 “Googlebot 抓取方式”进行本次更新外,谷歌还更新了“添加您的URL到Google”表单。现在,该表单已更名为抓取 URL表单。它具有和“Googlebot 抓取方式”功能相同的向索引提交网页方面的配额限制,但不要求验证所涉及网站的所有权,因此,站长可以提交任何想要抓取和索引的URL。

  


 

  请注意,Googlebot在及时发现并抓取新内容上表现得已经相当好,所以站长不需要强迫对网站上的每项变化或者更新都使用这个工具。不过,如果站长想加快某一URL抓取或收录的速度,不妨考虑使用 抓取 URL表单或网站站长工具中经过更新的“Googlebot 抓取方式”功能来提交该URL。(Cnpda智能手机论坛转自站长之家)

时间: 2025-01-31 02:01:21

谷歌:通过“Googlebot 抓取方式”向谷歌提交URL的相关文章

使用 Google 抓取方式,测试 React 驱动的网站 SEO

本文讲的是使用 Google 抓取方式,测试 React 驱动的网站 SEO, 我最近进行了一项测试,它有关客户端渲染的网站是否能避免被搜索引擎的机器人爬取内容.就如我此文所述,React 并不会破坏搜索引擎的索引. 现在,我开始实施我的下一个步骤.为了了解 Google 到底能爬取和索引哪些内容,我建立了一个 React 的沙盒项目. 建立一个小型的网页应用程序 我的目标只是建立一个单纯的 React 应用程序,用最少的时间配置 Babel, webpack 和其他一些工具.之后,我会尽可能快

Google工程师解释Googlebot抓取网页的原理

 前几天我们adsenseaece_39018.php" target=_blank>报道了Google的Matt Cutts确认了AdSense的Mediabot的确是会帮助Googlebot抓取网页的消息,但有部分人不相信Matt Cutts,或者不相信他能代表Google官方.作为Matt Cutts的blog的一名忠实读者,我觉得完全没必要花费篇幅再去特别说明Matt Cutts的权威性.我想说的是,Matt Cutts在是Google品质管理部门的一名高级软件工程师,外界所知的是

用Python编写网络爬虫(一):抓取网页的含义和URL基本构成

一.网络爬虫的定义 网络爬虫,即Web Spider,是一个很形象的名字. 把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛. 网络蜘蛛是通过网页的链接地址来寻找网页的. 从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址, 然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止. 如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来. 这样看来,网络爬虫就是一个爬行程序,一个抓

HttpWebRequest抓取网页内容与直接输入URL得到的内容不一致!球大神帮忙!!

问题描述 一.前言我在做一个百度收录情况查询的软件,就是通过软件来批量查询文章链接是否被百度收录,主要是用来查询某个网址的收录次数还有网站的排行数,思路是借鉴别人的.二.问题描述首先需要考虑的是能够支持哪些搜索引擎的查询,首先是百度,然后是必应.搜狗.搜搜.360.本来想支持Google但是一想不对,根本不好访问的,所以暂时不算在内.而我们实际要做的就是根据一个网址能够检索出这个网址的在各个搜索引擎的收录次数以及在不同关键词下的网址排行,这里出入的只有网址还有若干的关键词,而输出则是该网址在不同

python抓取京东商城手机列表url实例代码_python

复制代码 代码如下: #-*- coding: UTF-8 -*-'''Created on 2013-12-5 @author: good-temper''' import urllib2import bs4import time def getPage(urlStr):    '''                获取页面内容    '''    content = urllib2.urlopen(urlStr).read()    return content def getNextPag

德国力挺谷歌:媒体不得因抓取新闻索赔

[摘要]早前多个欧洲国家的新闻媒体联手对施压,要求谷歌支付新闻使用费. 腾讯科技讯,在互联网上,欧洲国家鲜有创新,但对于美国互联网巨头的打击和限制,却不绝于耳.不过,在几乎所有欧洲国家的新闻媒体,都在要求谷歌(微博)因为抓取.显示 概要必须付费的背景下,上周五,德国政府监管部门,却断然拒绝了德国媒体的这一要求.德国监管部门对于谷歌这一力挺,来 的确实罕见.之前,包括法国.比利时.西班牙等多国的新闻媒体联手对谷歌施压.他们 认为,谷歌新闻搜索和谷歌新闻频道,未经许可抓取了自己的新闻文章,并且在搜索

谷歌启用抓取JavaScript,应对方案!

谷歌启用了抓取JavaScript来深入了解网站,这样,如果网站或黑页是加了跳转代码或判断代码,很有可能将会被识别出来.虽然目前只是谷歌启用识别JavaScript文件,但国内搜索引擎很可能也会跟着模仿,毕竟一直是这样的. 现在不确定到底谷歌抓取JavaScript了以后,对JS的跳转有没有影响,但还是建议预防为主,所以这边推荐几个应对方案.其实之前就觉得有可能JS文件被发现,所以当时我们就已经有很多现成的独家技术及代码教程了! 1.隐藏真实JS代码 通过隐藏真实的JS跳转代码,来达到目的,隐藏

百度谷歌对新站抓取和收录方面的几个差异

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 3月1日开始着手制作一个服装类型的新网站,在本地调试完毕后上传到空间.这个网站无论从域名.空间还有网站内容都是全新的,域名和空间是当天注册和购买的,我具体观察了百度和谷歌的蜘蛛抓取情况以及新站收录的整个过程.对于一个全新的网站,百度和谷歌在爬取网站内容和收录过程都有许多差异,主要表现在以下几个方面: 一.蜘蛛抓取差异 我一直喜欢观察蜘蛛行踪,

熟知蜘蛛两种爬取方式来调整网站布局

近段时间百度对反垃圾页面的执行力度在日趋增强这让很多站点排名都受到大幅波动,当然笔者小站也不例外,但小鱼始终明白一点搜索引擎不断调整算法的本身是为了符合用户体验这也说明一点只要我们站在用户的角度去运营自己的小站那么网站的排名就自然不会差.今天笔者针对站内收录这块给大家分享下熟知蜘蛛爬取的两种方式来改变网站结构的布局. 网站收录对于很多朋友来说一直是一个追问的话题,除了我们通常所说的sitemap制作外还有一点不可小却那就是网站的层次布局,为什么这样说呢?下面笔者就蜘蛛的两种爬取方式来为你一一说道