传Craigslist禁止搜索引擎索引用户帖子

【搜狐IT消息】北京时间8月8日消息，据国外媒体报道，有媒体报道称，分类广告网站Craigslist已经要求通用搜索引擎停止索引其网站，使得数据聚合服务3taps和利用其API(应用编程接口)的第三方服务不能向用户提供服务。3taps通过Twitter发布消息称，Craigslist周一
提出了这一要求。3taps今天发布Twitter消息称，“我们对Craigslist采取这一措施
感到遗憾，正在探索恢复服务的可能性。我们可能会在相当长的时期内不能提供服务。”Craigslist的帖子仍然出现在Google搜索结果中。查看Craigslist的robots.txt文件表明，目前的robots.txt内容与去年相比没有变化。网站利用robots.txt防止计算机系统自动索引其网页。Craigslist上个月末起诉了PadMapper和3taps，指控被告非法大规模收集和重新发布用户的帖子，“这种利用Craigslist内容的方式破坏了本地Craigslist社区的
完整性，最终会损害Craigslist及其用户的利益”。(阳光)

时间： 2024-09-21 05:14:29

传Craigslist禁止搜索引擎索引用户帖子的相关文章

禁止搜索引擎对discuz某个版面帖子的收录方法

作为国内最大的社区软件及服务提供商,Comsenz旗下的 http://www.aliyun.com/zixun/aggregation/29799.html">Discuz! 开发组具有丰富的 web 应用程序设计经验,尤其在论坛产品及相关领域,经过长期创新性开发,掌握了一整套从算法,数据结构到产品安全性方面的领先技术.使得 Discuz! 无论在稳定性,负载能力,安全保障等方面都居于国内外同类产品领先地位.  自2001年6月面世以来,Discuz!已拥有五年以上的应用历史和三十多万网

百度lee：搜索引擎索引系统概述（一）

从上次8月份百度站长平台lee发布关于搜索引擎抓取信息后2个月已经过去,这次lee继续发布了搜索引擎索引系统的信息.不管怎么样,木木SEO认为百度官方的公告我们还是要了解和分析的.下面是百度官方公告: 众所周知,搜索引擎的主要工作过程包括:抓取.存储.页面分析.索引.检索等几个主要过程.过去几周给大家介绍了抓取相关的简要过程.今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满

Google改善搜索引擎索引Flash文件

据Google官方博客报道,Google已经开发了一种新的索引算法,可以索引http://www.aliyun.com/zixun/aggregation/12592.html">Flash菜单.按钮以及横幅,或者其他有内容的Flash文件,最近,由Adobe公司提供的Flash技术,Google正在改善搜索引擎索引SWF文件的效果,新的Flash索引算法整合来Adobe的Flash Player技术.这将大为改善Flash内容的搜索效果.不过,尽管搜索引擎现在已经可以索引SWF文件中的静

从3B大战看如今搜索引擎与用户之关系

奇虎360抢夺百度的搜索引擎市场的战争,已经上升至白热化了,双方共同的目标就是:抢夺中国的搜索引擎市场,最后抢夺用户.很显然,3B大战必然会把所有搜索引擎都会牵扯进来,搜狗搜索引擎的动作,已经说明了.那么,谷歌会介入吗?SOSO也会来分一杯羹吗?用户到底最终信赖哪个搜索引擎,是百度众望所归,还是360站稳脚步,又或许是谷歌已经认命了,再或者是SOSO借此机会壮大?众所周知,百度.谷歌.SOSO.搜狗四大搜索引擎已经把中国的搜索引擎市场份额瓜分得一干二净,那么究竟是谷歌.SOSO.搜狗三大搜索引擎

搜索引擎和用户一个都不能少

搜索引擎和网站的访客在本质上可以说是同样道理的,你的内容吸引人,那么客户就多,流量就大,搜索引擎自然就收录你.也就是说,不管是从搜索引擎对网站的收录角度,还是访客浏览你网站的内容,同样都是对网站内容的一种检验. 一,内容以用户的兴趣为基石 以用户的兴趣为基石的意思就是不管是面对单调的搜索引擎还是广大的丰富的网民,收集网站的内容要立足于用户的兴趣,用户越感兴趣的内容搜索引擎肯定是越喜欢的.从一定的程度来说,搜索引擎就是访客当中的一位,所以网站的内容是面向用户的.百度和谷歌官方都曾向业界发表关于搜索

文刀木水：关于搜索引擎与用户的页面价值

我们常常在谈论网站的收录问题,有的网站能够有非常良好的收录,有的网站可能会出现收录困难的情况,这个方面的问题可能与网站结构有一定的关系,但是更多的原因还是在于这个网站的页面是否存在价值,再从页面的排名来看一个页面为什么能够获得良好的排名,为什么能够在搜索一个长尾关键词的时候排在更靠前的位置,这个不仅和自己的网站权重有联系同时也与页面的价值有关. 当我们想要在搜索引擎之中找到我们需要的信息的时候,找到排名靠前的文章我们应该也能够从中了解到一些规律,这篇文章或者页面之所以能够排在靠前的 位置,它一定

如何让搜索引擎和用户同时恋上你网站的内容

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 葫芦博客博主近期在博客当中更新到有关搜索引擎和用户喜欢的网站内容的文章,其实搜索引擎和网站的访客在本质上可以说是殊途同归的.不管是从搜索引擎对网站的收录角度,还是访客浏览你网站的内容 ,同样都是对网站内容的一种检验. 一,内容以面向用户为基础 以用户为基础的意思就是不管是面对搜索引擎还是广大的网民,打造网站的内容要立足于用户,用户喜欢的内容搜

知己知彼之搜索引擎索引过程

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 这是天刃在"网站推广&SEO"群里针对一些站长对蜘蛛多次检索自己的网站却一直不收录,以及自己网站日志中发现有多个蜘蛛爬自己的站的问题,做的一些详细解答.经天刃同意我把其中的内容整理后发布,呵呵,应该也算原创啊! 搜索引擎的蜘蛛抓取页面的一般过程是这样的. 首先,收集待索引网页的url. 搜索引擎的蜘蛛一般分为两类,

谷歌称要在今年蚕食只用百度一个搜索引擎的用户

今年年初,谷歌大中华区总裁李开复向自己最大的竞争对手.中国本土搜索百度发出战书,称要在今年蚕食只用百度一个搜索引擎的用户.显然,谷歌现在已经开始行动.昨日,谷歌iGoogle主打"中国风"的主题页面正式上线,欲占领年轻客户群细分市场.今年一季度,谷歌与百度的市场份额分别为30.6%和59%.商报记者 暴帆/文