8月12日看到论坛有同学说新浪博客robots.txt限制搜索引擎收录了,目前8月14日http://blog.sina.com.cn/robots.txt的状态:
这写法是限制百度抓取,禁止其他引擎抓取。
而就在8月12日的robots.txt却不是这样:
这很明显是禁止所有搜索引擎。
这样,新浪和百度的关系似乎有些微妙变化。
突然联想到当年淘宝屏蔽百度抓取,由于事件双方的彼此都是各行业巨擘,所以这种事件远比我们想象的复杂的多。有人说淘宝屏蔽了百度抓取对淘宝是大损失,毕竟百度掌握着国内半数以上搜索引擎市场份额,正因为此,国内几乎所有中文站长都要迎合着百度做网站,这样看屏蔽了百度相当于给淘宝自己前进的道路上立下一块拦路石;当然也有说这样对百度很不利。扯远了,差点跑题。
而对于新浪博客限制搜索引擎收录,可能有以下几个原因(鄙人之见,说的不好请及时提出):
想由根源屏蔽垃圾信息,像搜狐博客。众所周知,新浪博客以其收录快,权重高等原因长期被网站推广人员使用,因而难免非法、垃圾信息过多;阿里注资搜狗,新浪也想在搜索引擎市场里做点事等。
但作为数百万个人站长,更多时候是希望国内搜索引擎市场更均衡的发展,这样对网民,对站长,对企业,对国内互联网的发展都会有个积极作用。
买皮草http://www.mpicao.com 站长投稿,转载请保留,谢谢。
时间: 2024-10-04 22:33:41