《大规模元搜索引擎技(1)》一1.1 Web上查找信息

1.1 Web上查找信息

Web上查找信息有两种基本模式:浏览(browsing)和搜索(searching)。绝大多数Web用户(如果不是全部的话)都使用过这两种方法从网上查找所需信息。本节就这两种模式展开讨论。

1.1.1 浏览

浏览包含两个步骤:找到一个开始页面和跟随当前页面里的链接。若用户已经知道开始页面的URL,则可直接在Web浏览器的地址栏输入该页面的URL。许多用户把经常访问页面的URL保存在浏览器的书签或收藏夹列表里。在此情况下,用户也可以从书签列表启动开始页。用户可以记住或保存在书签列表中的URL数目是非常有限的。另一个广泛使用的寻找开始页面的技术是搜索(searching),其中搜索是通过一组词(term)来进行的,然后将搜索引擎返回结果中的一个页面作为开始页面。因此,用户在查找所需信息时经常同时使用搜索和浏览。确定开始页面后,该页面成为当前页面,用户可以点击当前页面中任何可点击文本,进而展示嵌入该可点击文本下的URL所对应的页面。可点击文本也称为锚文本(anchor text),因为这个文本是写在HTML锚标签〈a href="URL"〉和〈/a〉之间的文本。锚文本可能提供关于其所对应页面内容的线索。
为了方便浏览,门户网站、Web站点和网页的开发者有责任使基于浏览的信息查找尽可能容易。雅虎(Yahoo!)可能是最流行的Web门户网站,它把数以百万计的网页和Web站点分门别类,并且把它们组织成层次结构。因为类别的层次结构可以通过从一个层次到下一个层次迅速缩小信息的范围,从而减少查找信息的时间。许多Web站点还提供一个站点地图
(sitemap),它以层次的方式展示可访问页面使得浏览更容易。在具体的网页中,每个链接的锚文本应该提供被链接页面内容的足够信息。

1.1.2 搜索

搜索是因特网(Internet,或国际互联网)上第二个最常见的活动,仅次于发送和接收电子邮件。搜索由三步组成:确定所用的搜索引擎;形成一个查询;浏览返回结果列表以确定相关结果。第三步是相当直接的,因为大多数搜索引擎返回的结果都包含足够的信息让用户确定是否值得进一步检查完整的页面。下面我们将讨论如何确定合适的搜索引擎以及如何形成适当的查询。

1.确定合适的搜索引擎

大多数用户都熟悉Web上的一个或多个主流搜索引擎。根据comScore (http://www.comscore.com/) 2010年8月发布的报告[comScore report,2010],在美国最受欢迎的搜索引擎是:Google(http://www.google.com/)、Yahoo!(http://www.yahoo.com/)、Bing(http://www.bing.com/)、Ask(http://www.ask.com/)和AOL(http://www.aol.com/)。它们分别占据了65.4%、17.4%、11.1%、3.8%和2.3%的搜索市场。然而,Web搜索引擎实际上数以百万计,只有少量的通用搜索引擎致力于提供针对整个Web的搜索覆盖。大多数搜索引擎限定在小范围搜索。例如,大多数机构,如大学、报纸和图书出版商都有自己的搜索引擎,仅覆盖与其自身相关的Web内容。作为另一个例子,还有很多专业领域或垂直搜索引擎覆盖一个特定领域或子领域Web内容,如医药、新闻、电影和体育。另外,还有搜索引擎覆盖深网的内容。特定的小领域的搜索引擎常常会比主流搜索引擎返回更相关和更新的结果,因为它们的搜索范围更集中且较小的数据集更容易更新。此外,深网搜索引擎返回的结果往往从主流搜索引擎无法得到,因为主流搜索引擎主要搜索表层网。
从上面对搜索引擎的分析可以看出,对于给定的信息需求,选定一个合适的搜索引擎为我所用并非易事。首先,大多数用户甚至不知道存在大量的搜索引擎。目前Web上所有搜索引擎的完整目录尚不存在。在CompletePlanet (http://aip.completeplanet.com/) 上列出的当前最完整目录中大约有70 000个搜索引擎,其中有一小部分被认为是可用的。其次,对Web上所有搜索引擎没有系统的质量评价。因此,对于普通用户而言很难知道哪个搜索引擎最适合其信息需求。由于这些困难,大多数用户仅使用一些流行的搜索引擎解决其搜索需求。具有较多经验的用户通常根据个人的经验和别人的建议可以找到更合适的搜索引擎。然而,拥有一个所有搜索引擎的完整目录及这些搜索引擎质量评价的信息并使之成为Web基础设施的一部分是一件很好的事。如果能有一个像常规搜索引擎一样易用的搜索引擎推荐系统,那就更好了。

2.形成适当的搜索查询

文档驱动的搜索引擎通常有一个简单的查询接口——一个允许用户输入查询的文本框和一个提交按钮。对提交给搜索引擎的用户查询的分析表明大多数用户提交简短的查询——这暗示大多数用户很少或根本没有培训过如何填写好的查询。例如,通过对1998年提交给AltaVista搜索引擎(http://www.altavista.com/)的大约10亿个查询的分析,显示了以下关于Web搜索查询的有趣特征[Silverstein et al.,1999]:
查询通常很短:查询词的平均个数是2.35,约26%的查询只有单个词,不到13%的查询超过3个词。

大多数查询不包含算符:大约80%的查询没有使用任何算符。
一些算符被搜索引擎广泛支持,包括布尔AND,即一个网页必须包含所有的查询条件才能满足查询;布尔OR,即一个网页必须包含至少一个查询条件;布尔NOT,即一个网页必须不包含NOT所限定的查询词。一些搜索引擎也支持某些形式的邻近查询(proximity query),这种查询把 “指定查询中的一些词需要在Web页面中彼此接近” 作为查询条件。
用户可以按照以下建议提高其查询的质量:
1)避免提交歧义查询。一个查询如果有多个非常不同的解释就是歧义的。例如,查询“windows”可能被解释为微软的Windows操作系统或建筑的窗户。避免歧义查询的有效方法是避免使用过短的查询。使用较长的查询就有更多的词通过上下文帮助确定每个查询词的正确含义。有证据表明,越来越多的用户提交较长的查询。到2007年年底,提交给Google的查询词的平均个数首次达到4个[Ussery,B.,2008]。
2)使用合适的算符。如果用户打算经常使用某个搜索引擎,那么他就值得努力找出该搜索引擎支持的算符。不同搜索引擎的算符往往有不同的格式。此外,如果没有指定算符,许多搜索引擎使用默认算符。例如,Google使用布尔AND作为默认算符。
在另一项研究中,根据对用户的调查,Broder[Broder,A.,2002]分析了用户查询所蕴含的需求,发现用户提交查询给搜索引擎时经常有各种不同的需求。基于这项研究,Broder根据搜索需求把Web查询分为以下三类。
1)导航查询。这种类型的查询旨在找到一个用户心中特定的Web页面或Web站点。例如,查询“Binghamton University”的目的是找到Binghamton大学的主页,也就是说,http://www.binghamton.edu/。这个主页以外的任何页面将不认为是正确的。通常,用户提交这种查询时知道他们所寻找的那些Web页面,或许由于他们以前访问过那些页面。
2)信息查询。这类查询旨在从Web上找到具体的信息,该信息可能分布在多个页面。只要检索出包含所需信息的页面中的一个,通常就能满足提交此类查询的用户。
3)事务查询。这类查询的目的是找到一个能完成某些事务的Web站点。事务的例子包括购物、下载音乐和电影、注册某些服务。
根据对1000个查询的分析,48%的查询是信息查询,30%是事务查询,20%是导航查询[Broder,A.,2002]。
分析用户查询的目的是设计更好的查询处理技术。

时间: 2024-09-15 15:13:48

《大规模元搜索引擎技(1)》一1.1 Web上查找信息的相关文章

《大规模元搜索引擎技》—导读

|前 言 近年来,万维网(World Wide Web,简称Web)已经成为最大的信息源, 开发先进的搜索工具一直是因特网(Internet)技术的一项关键研究和开发工作.由于Google和Yahoo!等主流搜索引擎的普及,目前在Web上的搜索工具中,搜索引擎是人们最为熟知的.虽然这些主流搜索引擎非常成功,但也存在许多严重的局限性.例如,每个搜索引擎仅能覆盖Web上全部可用内容的一小部分:其基于爬虫的技术很难完全达到所谓的深层网(deep Web,也称为深网),虽然这方面最近取得了很大的进展并且

《大规模元搜索引擎技(1)》一导读

前 言 当下大数据技术发展变化日新月异,大数据应用已经遍及工业和社会生活的方方面面,原有的数据管理理论体系与大数据产业应用之间的差距日益加大,而工业界对于大数据人才的需求却急剧增加.大数据专业人才的培养是新一轮科技较量的基础,高等院校承担着大数据人才培养的重任.因此大数据相关课程将逐渐成为国内高校计算机相关专业的重要课程.但纵观大数据人才培养课程体系尚不尽如人意,多是已有课程的"冷拼盘",顶多是加点"调料",原材料没有新鲜感.现阶段无论多么新多么好的人才培养计划,都

《大规模元搜索引擎技(1)》一 2.1 系统体系结构

2.1 系统体系结构 搜索文本文档的元搜索引擎可分为两种类型:通用元搜索引擎和专用元搜索引擎.前者旨在搜索整个Web,而后者专注于在特定领域搜索信息(例如,新闻.招聘).构建每个类型的元搜索引擎有两种方法:主流搜索引擎方法.这种方法使用少数的热门主流搜索引擎来构建元搜索引擎.因而,使用这种方法构建通用元搜索引擎,可以使用少量的主流搜索引擎,如Google.Yahoo!.Bing(MSN)和Ask.类似地,在特定领域建立一个专用元搜索引擎也可以使用这种方法,使用该领域的主流搜索引擎.例如,在新闻

《大规模元搜索引擎技》——2.3 挑战环境

2.3 挑战环境 大多数情况下,元搜索引擎使用的成员搜索引擎是自治的,即它们是独立建立和维护.每个搜索引擎的开发者决定其搜索引擎将为哪些文档提供查询服务.如何表示文档以及何时更新索引.文档和用户查询之间的相似度通过相似度函数计算.同样,也是由每个搜索引擎的开发者决定使用哪种相似度函数.商业搜索引擎的开发者通常把他们使用的相似度函数和其他实现细节视为私有信息,不向公众提供.一般来说,元搜索引擎需要与没有直接合作关系的搜索引擎交互.成员搜索引擎自治的直接后果是存在大量的异构.2.3.1节介绍元搜索引

《大规模元搜索引擎技(1)》一第2章 元搜索引擎体系结构

第2章 元搜索引擎体系结构 元搜索引擎是一个提供统一方式访问多个现有搜索引擎的搜索系统.该系统基于元搜索(metasearch)概念,元搜索是实时在线搜索多数据源的模式.元搜索与联合搜索(federated search)的含义非常相似,这两个术语有时可以互换.元搜索引擎有时也称为搜索代理(search broker),因为它在搜索信息的用户和一组搜索引擎之间充当"中间人"的角色[Craswell,N.,2000].元搜索引擎与分布式信息检索(distributed informati

《大规模元搜索引擎技》——1.4 本书概述

1.4 本书概述 本书的其余部分将专注于大规模元搜索引擎技术.现在简述其余各章.第2章首先概述一个典型的大规模元搜索引擎的主要部件.这些部件包括搜索引擎选择器.搜索引擎加入器和结果合并器.通过对元搜索引擎和主流搜索引擎两种搜索技术优点和缺点的仔细分析,这一章试图提出充分理由来阐述元搜索引擎技术可以作为主流搜索引擎之外的另一种可行搜索技术.最后,鉴于元搜索引擎构建于Web环境,这一章将对Web环境进行讨论,进而对构建大规模元搜索引擎所面临的挑战给出一些见解.第3章集中讨论搜索引擎选择器.对任何给定

《大规模元搜索引擎技(1)》一1.4 本书概述

1.4 本书概述 本书的其余部分将专注于大规模元搜索引擎技术.现在简述其余各章.第2章首先概述一个典型的大规模元搜索引擎的主要部件.这些部件包括搜索引擎选择器.搜索引擎加入器和结果合并器.通过对元搜索引擎和主流搜索引擎两种搜索技术优点和缺点的仔细分析,这一章试图提出充分理由来阐述元搜索引擎技术可以作为主流搜索引擎之外的另一种可行搜索技术.最后,鉴于元搜索引擎构建于Web环境,这一章将对Web环境进行讨论,进而对构建大规模元搜索引擎所面临的挑战给出一些见解.第3章集中讨论搜索引擎选择器.对任何给定

《大规模元搜索引擎技(1)》一2.2 为什么使用元搜索引擎技术

2.2 为什么使用元搜索引擎技术 本节试图全面分析元搜索引擎相对搜索引擎的潜在优势.我们主要关注通用元搜索引擎和通用搜索引擎的比较. 1.扩大搜索范围 元搜索引擎可以通过能够统一访问所有成员搜索引擎的功能搜索到被至少一个成员搜索引擎索引到的任何文档.因此,元搜索引擎的搜索范围是其成员搜索引擎搜索范围的并集.这个益处是早期元搜索引擎背后的主要动因,目前仍然是最公认的益处.2.1节描述了两种可能的方法来实现通用元搜索引擎,即主流搜索引擎方法和大规模元搜索引擎方法.术语"扩大搜索范围"对这两

《大规模元搜索引擎技(1)》一2.3 挑战环境

2.3 挑战环境 大多数情况下,元搜索引擎使用的成员搜索引擎是自治的,即它们是独立建立和维护.每个搜索引擎的开发者决定其搜索引擎将为哪些文档提供查询服务.如何表示文档以及何时更新索引.文档和用户查询之间的相似度通过相似度函数计算.同样,也是由每个搜索引擎的开发者决定使用哪种相似度函数.商业搜索引擎的开发者通常把他们使用的相似度函数和其他实现细节视为私有信息,不向公众提供.一般来说,元搜索引擎需要与没有直接合作关系的搜索引擎交互.成员搜索引擎自治的直接后果是存在大量的异构.2.3.1节介绍元搜索引