搜索引擎技术核心揭密(PHP版)

谈到网页搜索引擎时,大多数人都会想到雅虎。的确,雅虎开创了一个互联网络的搜索时代。然而,雅虎目前用于搜索网页的技术却并非该公司原先自己开发的。2000年8月,雅虎采用了Google(www.google.com)这家由斯坦福大学学生创建的风险公司的技术。理由非常简单,Google的搜索引擎比雅虎先前使用的技术能更快、更准确搜索到所需要的信息。

  让我们自己来设计、开发一个强劲、高效的搜索引擎和数据库恐怕短时间内在技术、资金等方面是不可能的,不过,既然雅虎都在使用别人的技术,那么我们是不是也可以使用别人现成的搜索引擎网站呢?

  剖析编程思路

  我们可以这样设想:模拟一个查询,向某个搜索引擎网站发出相应格式的搜索命令,然后传回搜索结果,对结果的HTML代码进行分析,剥离多余的字符和代码,最后按所需要的格式显示在我们自己的网站页面里。

  这样,问题的要害就在于,我们要选定一个搜索信息准确(这样我们的搜索才会更有意义啊)、速度快(因为我们分析搜索结果并显示需要额外的时间),搜索结果简洁(便于进行HTML源代码分析和剥离)的搜索网站,由于新一代搜索引擎Google的各种优良特性,这里我们选择它为例,来看看用PHP怎样实现后台对Google(www.google.com)搜索、前台个性化显示这一过程。

  我们先来看看Google的查询命令的构成。进入www.google.com网站,在查询栏中输入“abcd”,点击查询按钮,我们可以发现浏览器的地址栏变成:"http://www.google.com/search?q=abcd&btnG=Google搜索&hl=zh-CN&lr=",可见,Google是通过表单的get方式来传递查询参数并递交查询命令的。我们可以使用PHP中的file()函数来模拟这个查询过程。

  了解File()函数

  语法: array file(string filename);

  返回值为数组,将文件全部读入数组变量中。这里的文件可以是本地的,也可以是远程的,远程文件必须指明所使用的协议。例如: result=file(“http://www.google.com/search?q=a ... mp;hl=zh-CN&lr=”),该语句将模拟我们在Google上查询单词“abcd”的过程,并将搜索结果以每行为元素,传回到数组变量 result中。因为这里读取的文件是远程的,所以协议名“http://”不能缺少。

  假如要让用户输入搜索字符进行任意搜索,我们可以做一个输入文本框和提交按钮,并将上文中的被搜索字符“abcd”用变量替换:
echo '
'; file://没有参数的form,默认提交方式为get,提交到本身
echo ''; file://构造一个文本输入框
echo ''; file://构造一个提交查询按钮
echo '
';

if (isset( keywords)) file://提交后PHP会生成变量 kwywords,即要求下面的程序在提交后运行
{
urlencode( keywords); file://对用户输入内容进行URL编码
result=file("http://www.google.com/search?q=". keywords."&btnG=Google搜索&hl=zh-CN&lr=");
file://对查询语句进行变量替换,将查询结果保存在数组变量 result中
result_string=join(" ", result); file://将数组$result合并成字符串,各数组元素之间用空格粘和
... file://进一步处理
}
?>

  上面的这段程序已经能按用户输入内容进行查询,并将返回的结果合成一个字符串变量$result_string。请注重要使用urlencode()函数将用户输入内容进行URL编码,才可以正常地对输入的汉字、空格以及其他非凡字符进行查询,这样做也是尽可能逼真地模拟Google的查询命令,保证搜索结果的正确性。

  对Google的分析

  为了便于理解,现在假设我们所真正需要的东西是:搜索结果的标题。网址和简介等,这是一个简洁而典型的需求。这样,我们所要做的便是:去除Google搜索结果的台头和脚注,包括一个Google的标志、再次搜索的输入框和搜索结果说明等,并且在剩余的搜索结果各项条目中剥离原来的HTML格式标记,替换成我们想要的格式。

  要做到这一点,我们必须仔细地分析Google搜索结果的HTML源码,找到其中的规律。不难发现,在Google的搜索结果的正文总是包含在源码的第一个

  标记和倒数第二个

时间: 2024-11-03 21:45:43

搜索引擎技术核心揭密(PHP版)的相关文章

搜索引擎技术核心揭密(PHP)

搜索引擎 作者:沙雨 编者按:这是一篇精彩的编程教学文章,不但详细地剖析了搜索引擎的原理,也提供了笔者自己对使用PHP编制搜索引擎的一些思路.整篇文章深入浅出,相信无论是高手还是菜鸟,都能从中得到不少的启发. 谈到网页搜索引擎时,大多数人都会想到雅虎.的确,雅虎开创了一个互联网络的搜索时代.然而,雅虎目前用于搜索网页的技术却并非该公司原先自己开发的.2000年8月,雅虎采用了Google(www.google.com)这家由斯坦福大学学生创建的风险公司的技术.理由非常简单,Google的搜索引擎

PHP搜索引擎技术核心揭密

<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />  . 谈到网页搜索引擎时,大多数人都会想到雅虎.的确,雅虎开创了一个互联网络的搜索时代.然而,雅虎目前用于搜索网页的技术却并非该公司原先自己开发的.2000年8月,雅虎采用了Google(www.google.com)这家由斯坦福大学学生创建的风险公司的技术.理由非常简单,Google的搜索引擎比雅虎先前使用的技术能更快.

搜索引擎技术核心揭密_php基础

编者按:这是一篇精彩的编程教学文章,不但详细地剖析了搜索引擎的原理,也提供了笔者自己对使用PHP编制搜索引擎的一些思路.整篇文章深入浅出,相信无论是高手还是菜鸟,都能从中得到不少的启发. 谈到网页搜索引擎时,大多数人都会想到雅虎.的确,雅虎开创了一个互联网络的搜索时代.然而,雅虎目前用于搜索网页的技术却并非该公司原先自己开发的.2000年8月,雅虎采用了Google(www.google.com)这家由斯坦福大学学生创建的风险公司的技术.理由非常简单,Google的搜索引擎比雅虎先前使用的技术能

【视频】搜索引擎Google技术核心揭密

找了是一段从http://www.aliyun.com/zixun/aggregation/7298.html">程序开发角度讲解搜索引擎原理的视频教程,对我们SEO来说非常有意义.不管你懂不懂PHP,建议都看一下,也就20分钟. 搜索引擎Google技术核心揭密: 作者:Kyw@上海863.html">SEO搜索引擎优化实验室 原文链接:http://www.seotest.cn/blog/google-shipin-php.html 版权所有,转载请以链接形式注明作者及

技术是搜索引擎的核心竞争力

百度 联盟峰会今日在黄山举行.百度副总裁向海龙参会并表示,技术创新让百度的产品能够"想用户所想.想用户未想",技术是搜索引擎的核心竞争力. 向海龙表示,经过10多年的不断探索,百度搜索已经占据绝对的领先地位.然而,百度对搜索技术的优化和升级从未停止.向海龙表示,"基于百度优秀的基础架构,搜索的极速时代已经到来." 极速搜索的特点就是"快",比普通搜索减少80%的处理时间."人眨一次眼睛时间是0.2秒,博尔特的起跑时间是0.16秒,子弹穿

中文搜索引擎技术揭密:中文分词-搜索引擎技术

信息的飞速增长,使搜索引擎成为人们查找信息的首选工具,Google.百度.中国搜索等大型搜索引擎一直是人们讨论的话题.随着搜索市场价值的不断增加,越来越多的公司开发出自己的搜索引擎,阿里巴巴的商机搜索.8848的购物搜索等也陆续面世,自然,搜索引擎技术也成为技术人员关注的热点. 搜索引擎技术的研究,国外比中国要早近十年,从最早的Archie,到后来的Excite,以及altvista.overture.google等搜索引擎面世,搜索引擎发展至今,已经有十几年的历史,而国内开始研究搜索引擎是在上

搜索引擎技术之概要预览

搜索引擎技术之概要预览前言 近些天在学校静心复习功课与梳理思路(找工作的事情暂缓),趁闲暇之际,常看有关搜索引擎相关技术类的文章,接触到不少此前未曾触碰到的诸多概念与技术,如爬虫,网页抓取,分词,索引,查询,排序等等,更惊叹于每一幅精彩的架构图,特此,便有记录下来的冲动,以作备忘. 本文从最基本的搜索引擎的概念谈起,到全文检索的概念,再到网络蜘蛛,分词技术,系统架构,排序的讲解,而后到图片搜索的原理,结合google搜索引擎谈其技术原理,最终以几个开源搜索引擎软件的介绍结束全文. 由于本文初次接

《VoIP技术构架(第2版·修订版)》一1.5 分组电话网络的驱动力

1.5 分组电话网络的驱动力 VoIP技术构架(第2版·修订版) 在上一节里我们讨论了PSTN内竞争的政策驱动力.这一节里我们将主要讲述为什么运营商会选择开发分组交换电话网络来替代传统的电路交换网络. D/V/V的集成并不仅仅改变架构.D/V/V的集成不仅使许多新的功能可以快速地开发,而且使成千上万的独立软件开发商(Independent Software Vendor,ISV)都可以进行开发.D/V/V的集成就像由大型机开发向客户/服务器方式转变一样.只有有限的开发商可以为大型机开发应用,而在

最有前途的软件开发技术——搜索引擎技术

搜索技术发展及未来趋势 搜索技术仍不能满足需求 Internet的迅速发展和广泛应用导致了网上信息爆炸性地增长.据权威机构统计,网上约有数十亿的网页,甚至有些专家宣称网页总数已达5500亿,这一数字仍然在不断地快速增长.因此,如何在庞大的Internet上获得有价值的信息已成为网民日益关注的问题.搜索技术的出现为网民从Internet上快速找到所需信息带来了福音.搜索引擎是一种用于帮助Internet用户查询信息的搜索工具,它以一定的策略在Internet中搜集.发现信息,对信息进行理解.提取.