今天,一个朋友问我一个问题,说是他手里负责的一个医疗网站,在百度网页快照中没有标题和描述,只剩下了一个网址在那里。我仔细询问了下网站的具体情况,这个网站有七年的历史,收录过万,最近改版,百度降权,百度收录日渐减少,这两天修改了网站首页的三大标签,百度快照更新到了昨天,那么到底是什么问题呢?
小熊搜索了下他们网站,发现目前百度收录只剩下首页去了,情况忒凄惨了。点击“百度快照”:内容是“您查询的关键词仅在网页标题或指向此网页的链接中出现。如果打开速度慢……”。如图:
那么正常情况下,百度快照应该如何呢?下面看看小熊的一个博客快照情况:
看到这里,相信了解的朋友应该看出来问题所在了。不错,就是其网站robots.txt文件设置的问题。点击看了下他网站的robots.txt搜索引擎协议文件
User-agent: *
此语句意思是指针对所有搜索引擎
Disallow: /
此语句意思是屏蔽网站所有文件
这个robots.txt文件的意思就是网站所有文件对所有搜索引擎进行屏蔽,不允许搜索引擎进行访问。
下面再来举一个淘宝的例子。众所周知,淘宝网是屏蔽搜索引擎的,下面我们来看下他的百度快照如何:
淘宝在百度网页中的显示情况
淘宝百度快照情况
淘宝robots.txt语句:
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
具体含义就不解释了,呵呵,屏蔽百度,都懂的。
到这里,我相信大家应该知道做网站,细节是如何的重要了吧。最后,小熊普及一个有关robots.txt基本的常识:在网站robots.txt中对搜索引擎屏蔽,网站有可能被收录,快照也会更新。当然,此情况好像大多数只针对百度而已。