美博客反驳哈佛报告：谷歌搜索偏向性不明显

谷歌服务只在自家搜索引擎中排名首位的比例仅为19%　　导语：美国科技博客SearchEngineLand主编丹尼·苏利文(Danny Sullivan)今天撰文，对哈佛商学院助理教授本·埃德尔曼(Ben Edelman)有关谷歌“偏向性”的报告进行了反驳，认为谷歌对自家服务的“偏向”行为并不明显。　　以下为文章全文：　　过去两年来，越来越多的人认为，谷歌的搜索结果逐渐以各种各样的方式偏向自家服务。如今，一项全新的研究却给出了截然相反的答案：多数情况下，谷歌自家的产品都没有排在搜索结果首位。　　这项调查来自哈佛商学院助理教授本·埃德尔曼。埃德尔曼长期关注谷歌，并且会定期发表一些与搜索引擎和广告相关的、有趣而细致的观察。埃德尔曼还为微软提供咨询，并且参与了一起针对谷歌的官司。　　针对调查结果，埃德尔曼得出的结论与我完全不同，他在报告结尾写道：“通过对比多家搜索引擎的搜索结果，我们提供了初步的偏见证据；尤其是根据我们上文提到的反常点进率(click-through rate)，我们只能认为，谷歌是故意将自家服务排在首位。”　　我们俩为何会得出如此不同的结论？我喜欢谷歌，而他显然憎恨谷歌！说实在的，统计结果很容易受到个人倾向的影响。我感觉埃德尔曼在研究这一问题时，采用了最消极的立场。我会对此进行一定的纠正。　　研究方法　　埃德尔曼的研究很聪明(我确信几年前也曾有其他人做过)：对谷歌涉及的领域进行搜索，并查看谷歌是否将自家产品列在竞争对手前面。他搜索的内容包括mail、email、calendar、chat、maps、video等。　　本次研究的时间是2010年8月，埃德尔曼总共在谷歌、雅虎和必应中搜索了32个不同的关键词。　　时间问题　　首先，本次研究的时间就有问题。去年8月，雅虎仍然自主提供搜索结果，而现在则已经外包给必应。本次研究并没有提及雅虎目前发生的变化。　　除此之外，搜索结果一直在变动。在对其中部分关键词进行验证时，我得到的结果与埃德尔曼的报告有所差异。简而言之，该报告完全无法反应这些服务的现状。　　我曾经专门发邮件询问过埃德尔曼，他也同意这种看法，并回应道：“你对数据选取时间的质疑的确很有道理。当我开始这项研究时，我们希望快点完成这篇论文。要重新获取一遍最新数据很容易，我们完全能做到，而且也可以做，但要取决于读者的反应。但顺便说一句，保留几个月前的数据同样很有用。在争论过程中，这也非常重要：人们不仅会讨论现在的结果，也会涉及到过去的行为。”　　的确，但是某一时点的历史数据仍然不足以证明任何事情。所以我在邮件中回复道：“我同意，了解6个月前的数据很有意思，但是这只是一个时点。在这一时点之前的6个月，谷歌对自家服务的偏向或许‘严重’得多，也或许轻得多。”　　样本太小　　埃德尔曼的报告中附带了一张表格，列出了三大搜索引擎中排在前三名的搜索结果，并用红色凸显出了谷歌对自家服务的偏向有多明显。图为三大搜索引擎中多个关键词排名前三位的结果　　红色表明搜索引擎有可能偏向自家服务，但事实上，雅虎同样存在这种问题。　　不过，只通过6个关键词就下结论是很愚蠢的，所以这份报告总共使用了32个关键词。通过完整的列表，很容易看出，谷歌在很多时候并未偏向自家服务：图为部分谷歌显然未偏向自家服务的关键词　　即使是32个关键词这个“较大的”样本，仍然不足以反应全貌。更重要的是，该研究并未针对个别服务的热度进行修正。　　概率与热度　　在该报告的一个版块中，埃德尔曼讨论了通过一些回归分析，来反驳他所怀疑的“偏向性”只是偶然事件。　　要知道，如果有人说他做了一些回归分析，并不意味着这些内容从统计上讲一定是正确的——即使听起来的确如此。测试本身的结构可能存在瑕疵。倘若如此，你所做的所有分析都无法得出正确结论。　　埃德尔曼在研究中假设：无论何时，只要谷歌将自家的某项服务放在首位，就是一种偏向，而非该服务整体重要性的真实体现。　　例如，使用埃德尔曼的数据，在5个关键词中，谷歌和必应都会将谷歌的服务放在首位，包括：books、images、maps、translate和video。　　这太疯狂了——必应竟然把谷歌地图放在首位！难道微软想要以此来证明自己毫无偏见吗？或者，这表明很多人都在使用谷歌地图，因此才链接到谷歌地图，从而导致该服务在这两大搜索引擎中都排在首位？　　如果你想要对“偏向性”做一个真正科学的研究，首先就要计算出每项服务的相对受欢迎程度。然后尝试着判断该服务应当被排在第几位。假如雅虎电邮(Yahoo Mail)是互联网上最热门的电子邮件服务，而Gmail排名第二，那么实际排序是何种情况？　　即使如此，我仍突然认为存在问题。热度并不总是等同于相关性。但我肯定知道，抛开回归分析不谈，仍然有一些根本的问题导致这些数据令人生疑。　　搜索算法不同　　我认为该报告的最大问题之一，是埃德尔曼写的这段话：“如果认真考虑这样一种看法——排在前几位的链接应该是对应某一关键词最相关且最有用的结果——就很难理解，不同的搜索引擎为何会有不同的结果。”　　这其实根本不难理解。搜索引擎都使用自己的“算法”来抓取从互联网上搜集的页面，以此为基础决定页面的排序。谷歌的算法与必应不同。简而言之，谷歌与必应的观点不同。与现实世界一样，搜索世界的观点也不尽相同。　　事实上，过去几年间，已经有很多研究发现，不同搜索引擎的搜索结果通常都不相同。造成这一现象的另外一个原因是，各个搜索引擎所使用的“索引”(index)并不完全相同。　　谷歌搜索用户不同于必应　　谷歌和必应都会对“点进率”进行评估。必应曾经明确表示，将搜索结果的点击量列为考虑因素。你可以想象，顶部的结果有望获得一定百分比的点击量。如若不然，便表明或许应当将其他结果放在这一位置，因为搜索用户会忽视这一链接。　　谷歌也会考虑点进率。即使你没有登录谷歌，你所点击的内容也将有助于对你看到的内容进行个性化。我的假设是，谷歌通常也会将点进率用于非个性化结果的评估，尽管该公司尚未证实这一点。　　无论如何，点进率都不是最重要的排序依据。只是众多影响因素中的一个，但也的确有影响。反过来，这也有助于解释埃德尔曼看到的部分“偏向性”。如果有人在谷歌中搜索“maps”，或许更有可能看到谷歌地图，而非雅虎地图，反之亦然。　　假如点进率有助于解释这一点，那还是偏向吗？或者，这其实是为了确保你的搜索算法能够为你的特定用户提供最好的结果？　　雅虎电邮为何排在第二？　　埃德尔曼的确试图解释点进率因素，而且这也是他报告中最狡猾的地方。他使用了两个不同的来源来搜集谷歌、雅虎和必应的点进率。对“email”进行搜索时，他发现，在谷歌搜索中排名首位的Gmail只占了29%的点进率，而排名第二的雅虎电邮则获得了54%的点进率。　　这很奇怪，表明谷歌没有为这个搜索关键词提供很好的结果。他将此作为谷歌偏向自家服务的又一个证据。否则，便有可能是……　　- 用户点击了雅虎电邮，但却不想使用这款服务，于是立刻返回谷歌的搜索结果。但埃德尔曼告诉我，他并没有考虑这一点。　　- 很多搜索用户都在寻找Gmail，但在搜索后，他们发现了其他可以访问该服务的方法。　　- 谷歌的结果精神错乱。与其他所有搜索引擎一样，谷歌的各种结果都精神错乱。　　这很有趣，但这显然也是埃德尔曼对点进率的分析中最该死的部分。　　总的来说，他认为只有在“某些时候”，第二位的结果才能够比第一位获得更多点击量。显然，这种情况多数时候都不会发生。如果真想证明这一点，他应该列出每家搜索引擎究竟有多少次，既将自家服务放在首位，又能够得到足以支撑这一地位的点进率。　　“Search Engine”的排序由谁来定？　　如果你真的想了解阴谋论，那就来讨论一下谷歌最重要的产品：搜索引擎。　　与电子邮件、聊天和其他产品一样，谷歌也提供一款搜索引擎产品。据我所知，搜索引擎仍然是谷歌最重要和最赚钱的产品。那么，当我在谷歌中搜索“Search Engine”(搜索引擎)时，会得到什么结果呢？图为在谷歌中搜索“Search Engine”的结果　　谷歌根本没有列出自己的搜索引擎。的确，谷歌至少列出了Google Custom Search服务的链接，但与Dogpile、Bing、AltaVista、Ask.com、Yahoo甚至Duck Duck Go等网站相比，这完全不是同一类产品。　　难道谷歌不能列出Google.com，但却可以将Duck Duck Go放在首位吗？这显然说不通。经过多年的观察，我基本相信，谷歌非但没有偏向自己，反而有意在这里下调了自己的权重，以此来显示它的“清白”。　　但谷歌承认了偏向性！　　在报告结尾，埃德尔曼引用了谷歌高级副总裁玛丽莎·梅耶尔(Marissa Mayer)的评论，以此作为谷歌偏向自家服务的有一个证据，从而进一步佐证他的结论，他的报告原文如下：　　在2007年的一次会议上，梅耶尔评论道：“当我们推出谷歌财经(Google Finance)时，我们的确将谷歌的链接放在首位。这似乎没什么不对，搜索页面和其他所有工作都是我们做的，所以我们就把它放在首位……从谷歌财经以后，这实际上已经成了我们的政策。所以谷歌地图也被排在了第一个链接。”　　我们赞赏梅耶尔的坦诚，而我们的分析也与她的描述一致。但是我们还是惊奇地发现，她的评论与谷歌在其他场合的公开声明之间存在分歧。　　埃德尔曼的报告是有关谷歌的“算法”结果的。但梅耶尔所说的并非算法结果，而是谷歌的OneBox整合搜索业务。OneBox会出现在搜索结果的顶端，并且会显示谷歌旗下多个垂直搜索引擎的内容。　　埃德尔曼却不同意这种看法，他通过邮件回复道：　　看看梅耶尔的最后一句话，“所以谷歌地图也被排在了第一个链接。”“谷歌地图也”——这显然指的是用户搜索地图相关的关键词时，例如“Boston map”或者“Boston museum”。但是“排在了第一个链接”是什么意思？页面上永远不会内嵌一个以上的地图。据我所知，谷歌也从未推出一个链接到多个不同地图服务的 OneBox(相比而言，正如玛丽莎所言，财经服务的OneBox的确链接到了多个财经网站)。那么玛丽莎说“排在了第一个链接”是什么意思？我认为，她的意思是说，其他所有的地图网站在算法搜索结果中都排在了较低的位置：谷歌自家的地图服务放在顶端，而把其他服务放在下面。其他这些结果其实是常规的算法结果，而不是特殊的OneBox结果。　　不，谷歌没承认！　　要知道梅耶尔究竟是什么意思，其实容易。到YouTube上看一下当时的视频，跳到44分51秒处。他所说的第一个链接，指的是当你在谷歌上搜索股票时得到OneBox结果。谷歌将自家服务放在这个列表的首位：图为在谷歌中搜索“GOOG”的结果　　看到第一个箭头了吗？当我搜索谷歌的股票代码“GOOG”时，便会以OneBox的形式显示谷歌当前的股价，而上面则列出了多个网站。梅耶尔的意思是说，在谷歌财经2006年发布之前，第一个箭头所指的这个列表是按照热门程度排列的。但是在发布了自家服务后，谷歌便认为，将自己的链接放在第一位比较公平。　　再来看第二个箭头。这才是排在首位的“算法”结果，也就是埃德尔曼的报告所涉及的内容。他认为，梅耶尔的评论指的是这些内容。但事实并非如此，排在首位的其实是雅虎财经的链接，而谷歌财经则位列第二，也就是第三个箭头指的地方。　　突破算法列表　　当然，探讨算法列表时，如果表现的好像它可以独立于其他搜索结果一样，同样很荒谬。研究显示，排在算法列表首位的通常都是点击量最高的链接，但是完全依赖算法列表的时代已经一去不复返。用户可以通过OneBox或其他一些更为先进的方式与搜索引擎进行互动，其他搜索引擎也早已开始提供这类服务。　　如果在用户搜索某个关键词时，仅仅因为谷歌只显示自家的图片，而不显示必应的图片，就说谷歌“偏向自己”，这是否有些不公平呢？来看看下面的结果：图为在谷歌中搜索“roses”的结果　　因为谷歌有图片搜索引擎，所以就将用户引向那里，这样是否合理？当然合理，必应也是这么做的：图为在必应中搜索“roses”的结果　　图为在必应中搜索“roses”的结果　　对我而言，无论是谷歌，还是其他搜索引擎，只要他们拥有对应的垂直搜索，便可以指向该服务。他们显然认为自家的服务能够为用户提供优秀的结果。对于那些不接受这一现象的人而言，就好比抱怨《纽约时报》只在娱乐版中提供自家内容，却并没有包含《洛杉矶时报》的文章。（书聿）