Robots是什么意思

 　　一、Robots是什么意思?

　　Robots是一个英文单词，对英语比较懂的朋友相信都知道，Robots的中文意思是机器人。而我们通常提到的主要是Robots协议，这也是搜索引擎的国际默认公约。

　　二、Robots协议是什么?

　　Robots协议通常被称为是爬虫协议、机器人协议，主要是在搜素引擎中会见到，其本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。

　　百度为什么称360违反Robots协议呢?主要是因为百度认为360搜素对自身产生了竞争，百度不希望自己旗下的贴吧，文库，知道，百科等网站产品，被360搜素收录，并且在Robots协议中标注屏蔽360搜素，而360直接绕过了robots协议继续采集百度旗下产品网站的信息，因此被百度起诉。

　　简单的说，任何网站只要在其robots协议中加入禁止某搜索引擎访问，那么该搜索引擎就无权收录该网站的内容。而robots的重要性在于，一个网站有权利可以存在于互联网中，但又不被指定的搜索引擎索引放到搜索结果中，因为搜索引擎在互联网上就像国王，网站就是每个人的小家，而robots协议则是对抗国王的最后利器，正所谓“风能进雨能进国王不能进”。

　　在网站中，Robots协议是一个记事本文件，我们只要将Robots.txt文件放置在网站跟目录，里边可以标注，哪些网站目录不希望被搜索引擎抓取即可，其格式如下图所示：

时间： 2024-09-19 10:02:51

Robots是什么意思的相关文章

robots.txt 指南-介绍[翻译]

原文:http://javascriptkit.com/howto/robots.shtml译者:Tony Qu,BluePrint翻译团队     有一种力量其实一直在渗入大量的网站和页面,我们通常看不到它们,而且它们通常也很蛮横,大部分人甚至不知道它的存在,大家不要误会,其实我说得是搜索引擎爬虫和机器人.每天,上百个这样的爬虫会出来对网站进行快速的搜索.不管是不是google打算对整个网络进行索引,还是spam机器人打算收集大量的 email地址,通常它们这样的寻找是漫无目的的.作为网站拥有

Robots META标签和robots.txt文件

我们知道,搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理者和内容提供者来说,有时候会有一些站点内容,不希望被ROBOTS抓取而公开.为了解决这个问题,ROBOTS开发界提供了两个办法:一个是robots.txt,另一个是The Robots META标签. 一.robots.txt1.什么是robots.txt? robots.txt是一个纯文本文件,通过在这个文

百度不支持nofollow的robots对策

nofollow标签是由Google领头新创的一个标签,目的是尽量减少垃圾链接对搜索引擎的影响,减少博客的垃圾留言,目前Google.Yahoo.MSN都标志支持这一标签.当超级链接中出现nofollow标签后,搜索引擎会不考虑这些链接的权重,不过放置nofollow标签不代表搜索引擎不索引其链接,经过我的测试,即使放置nofollow标签,Google还是会索引部分链接内容. 这个标签主要是针对垃圾链接的,因为留言评论中的垃圾链接会影响网站在搜索引擎中排名,对博客网站产生负面的影响,因此Gog

教你robots.txt设置方法技巧

在SEO优化网站当中,做好robots.txt至关重要因为每个搜索引擎抓取网站信息第一步就是爬去robots.txt文件来引导搜索引擎爬取;合理的使用robots文件能够更好的集中网站的权重,避免一些不想被搜索引擎查看的文件抓取,是非常必要的一种SEO手段,但是好多做seo的朋友对于robots的文件使用不是特别了解,仅仅知道Disallow是禁止,allow是允许,以及一些常用的搜索引擎的访问禁止写法,对于在复杂的一些不知道如何去写,其实本人开始也对于robots不知道如何着手去写,但是随着做

robots.txt禁止搜索引擎收录的方法

搜索引擎 一．什么是robots.txt文件? 搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息. 您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容. 二. robots.txt文件放在哪里?robots.txt文件应该放在网站根目录下.举例来说,当robots访问一个网站( 比如http://www.abc.

如何写robots.txt 文件？

robots.txt文件是放在网站的根目录下,作用是告诉搜索引擎网站的哪些文件,哪些目录可以被索引,哪些不要索引.因此,这个文件是相当的重要,正确书写好robots.txt文件,可以保证你的网页被搜索引擎正确地索引.收录. 书写robots.txt文件时,要使用纯文本的编辑器,使文件是纯文本的格式.robots.txt文件的结构还是比较简单的.它是由一行一行的纪录组成,每行由两个部份组成:<Field> : <value> <Field> 有两种,一个是User-age

搜索引擎指南robots.txt文件

搜索引擎 有一种力量其实一直在渗入大量的网站和页面,我们通常看不到它们,而且它们通常也很蛮横,大部分人甚至不知道它的存在,大家不要误会,其实我说得是搜索引擎爬虫和机器人.每天,上百个这样的爬虫会出来对网站进行快速的搜索.不管是不是google打算对整个网络进行索引,还是spam机器人打算收集大量的 email地址,通常它们这样的寻找是漫无目的的.作为网站拥有者,我们可以通过一个叫做robots.txt的文件来控制哪些动作是机器人可以做的. 创建robots.txt文件 好,现在我们开始行动.创建

苦逼站长与robots不得不说的故事

小猫今天想说的就是一个站长小伙伴们都非常熟悉的东西:robots文件,相信小伙伴们对这个文件都不陌生吧!但是呢小猫就发现,很多的站长小伙伴都忘记了robots的重要性,robots表示很生气,后果很严重.小猫的SEO都是自学的,看到robots文件的问题以后,我就问了一些SEO大 神,robots文件很重要吗?当时,这位大神就对小猫语重心长的说:robots可以成就你的网站,也可以毁掉你的网站,所以,robots还是很重要的.小猫用下面的小故事来告诉大家robots对站长小伙伴多么的重要,这个故

ROBOTS.TXT指南

Robots.txt指南 当搜索引擎访问一个网站时,它首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件.Robots.txt文件用于限定搜索引擎对其网站的访问范围,即告诉搜索引擎网站中哪些文件是允许它进行检索(下载)的.这就是大家在网络上常看到的"拒绝Robots访问标准"(Robots Exclusion Standard).下面我们简称RES. Robots.txt文件的格式:Robots.txt文件的格式比较特殊,它由记录组成.这些记录通过空行分开.其中每条

Robots Meta Tag的使用

Robots META tag用于告诉一个Web Robot某一个网页可否被索引以及可否跟踪其页上的链接.该标记元已占据愈来愈重要的位置.而且,它也应用于没有对服务器顶级目录下的robots.txt文件的控制权限,有些搜索引擎现今已完全遵循Robots Meta Tag,如Inktomi. Robots Meta Tag的格式: The Robots META tag放于后台HTML源代码的标头区(HEAD区)中,其格式类似于:(大小写均可) <HTML> <HEAD> <M