PHP开发搜索引擎技术教程

让我们自己来设计、开发一个强劲、高效的搜索引擎和数据库恐怕短时间内在技术、资金等方面是不可能的,不过,既然雅虎都在使用别人的技术,那么我们是不是也可以使用别人现成的搜索引擎网站呢?

剖析编程思路

我们可以这样设想:模拟一个查询,向某个搜索引擎网站发出相应格式的搜索命令,然后传回搜索结果,对结果的HTML代码进行分析,剥离多余的字符和代码,最后按所需要的格式显示在我们自己的网站页面里。

这样,问题的关键就在于,我们要选定一个搜索信息准确(这样我们的搜索才会更有意义啊)、速度快(因为我们分析搜索结果并显示需要额外的时间),搜索结果简洁(便于进行HTML源代码分析和剥离)的搜索网站,由于新一代搜索引擎Google的各种优良特性,这里我们选择它为例,来看看用PHP怎样实现后台对Google搜索、前台个性化显示这一过程。

我们先来看看Google的查询命令的构成。进入Google网站,在查询栏中输入“abcd”,点击查询按钮,我们可以发现浏览器的地址栏变成:"http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr= ",可见,Google是通过表单的get方式来传递查询参数并递交查询命令的。我们可以使用PHP中的file()函数来模拟这个查询过程。

了解File( ) 函数

语法: array file(string filename);

返回值为数组,将文件全部读入数组变量中。这里的文件可以是本地的,也可以是远程的,远程文件必须指明所使用的协议。例如: result=file(“http://www.google.com/search?q=a ... mp;hl=zh-CN&lr= ”),该语句将模拟我们在Google上查询单词“abcd”的过程,并将搜索结果以每行为元素,传回到数组变量 result中。因为这里读取的文件是远程的,所以协议名“http://”不能缺少。

如果要让用户输入搜索字符进行任意搜索,我们可以做一个输入文本框和提交按钮,并将上文中的被搜索字符“abcd”用变量替换:

echo '

'; file://没有参数的form,默认提交方式为get,提交到本身

echo '; file://构造一个文本输入框

echo '; file://构造一个提交查询按钮

echo '

';

if (isset( keywords)) file://提交后PHP会生成变量 kwywords,即要求下面的程序在提交后运行

{

urlencode( keywords); file://对用户输入内容进行URL编码

result=file("http://www.google.com/search?q=". keywords."&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=");

file://对查询语句进行变量替换,将查询结果保存在数组变量 result中

result_string=join(" ", result); file://将数组$result合并成字符串,各数组元素之间用空格粘和

... file://进一步处理

}

?﹥

上面的这段程序已经能按用户输入内容进行查询,并将返回的结果合成一个字符串变量$result_string。请注意要使用urlencode()函数将用户输入内容进行URL编码,才可以正常地对输入的汉字、空格以及其他特殊字符进行查询,这样做也是尽可能逼真地模拟Google的查询命令,保证搜索结果的正确性。

对Google的分析

为了便于理解,现在假设我们所真正需要的东西是:搜索结果的标题。网址和简介等,这是一个简洁而典型的需求。这样,我们所要做的便是:去除Google搜索结果的台头和脚注,包括一个Google的标志、再次搜索的输入框和搜索结果说明等,并且在剩余的搜索结果各项条目中剥离原来的HTML格式标记,替换成我们想要的格式。

要做到这一点,我们必须仔细地分析Google搜索结果的HTML源码,找到其中的规律。不难发现,在Google的搜索结果的正文总是包含在源码的第一个

标记和倒数第二个

标记之间,并且倒数第二个

标记后紧跟table字符,而且这个组合“

以下所有程序均依次接续在上文程序的“进一步处理”处。

result_string = strstr( result_string, " ");

file://取 result_string从第一个开始后的字符串,以去除Google台头

position= strpos( result_string," table符号的位置

result_string= substr( result_string,0, position);//截取第一个table符号之前的字符串,以去除脚注

应用与实现

现在我们已经得到有用的HTML源码主干了,剩下的问题是如何自主地显示这些内容。我们再分析一下这些搜索结果条目,发现每个条目之间也是很有规律的用分隔,也就是各成一个段落,按这个特点我们用explode()函数把每个条目切开:

语法:explode(string separator, string string);

返回一个数组,按separator切开后的各个小字串被保存在数组中。

于是:

result_array=explode(" ", result_string); file://用字串" "把结果切开

我们就得到一个数组 result_array,其中每个元素都是一个搜索结果条目。我们所要做的仅仅是研究每个条目及其HTML显示格式代码,然后按要求替换就行了。下面用循环来处理 result_array中的每个条目。

for( i=0; i {

... file://处理每个条目

}

对于每个条目,我们也很容易找到一些特点:每个条目都由标题、摘要、简介、类别、网址等组成,每个部分都换行,即包含标记,于是再次分割:(以下处理程序放在上文的循环中)

every_item=explode(" ", result_array[ i]);

这样我们得到一个数组 every_item,其中 every_item[0]就是标题, every_item[1]和 every_item[2]两行为摘要, every_item[3]和 every_item[4]等等的头部如果包含“简介:”、“< font size=-1 color=#6f6f6f>类别:< /font>”字符,则是简介或类别(因为有的结果条目没有该项),如果头部包含“< font color=green>”则肯定就是网址啦,这种对比判断我们常使用正则表达式(略),如果要替换也很方便,比如包含标题的$every_item[0],其本身是有链接的,我们希望修改这个链接属性,让它在新窗口打开链接:

echo eregi_replace(' {

... file://处理每个条目中除去第一项(第一项为标题,已经显示)的每一项

... file://更多格式修改

}

这样就修改了链接属性,其余很多显示格式的修改、剥离、替换都能用正则替换eregi_replace()来完成。

至此我们已经得到了每个搜索条目的每一项,并能任意修改每项的格式,甚至可以给他套上漂亮的表格。然而一个好的程序应该能适应各种运行环境的,这里也不例外,我们其实还只是讨论了搜索结果的HTML剥离的一种框架方法,真正要做得完美,还要考虑很多内容,比如要显示一共搜索出多少结果,分成多少页等等,甚至还可以刨除与Google相关的那些“类别”、“简介”等代码,让客户根本看不到原始网站。不过这些内容和要求我们都能通过分析HTML进行剥离得到。现在大家完全能自己动手,做个极富个性化的搜索引擎。

时间: 2024-09-02 14:34:08

PHP开发搜索引擎技术教程的相关文章

最有前途的软件开发技术——搜索引擎技术

搜索技术发展及未来趋势 搜索技术仍不能满足需求 Internet的迅速发展和广泛应用导致了网上信息爆炸性地增长.据权威机构统计,网上约有数十亿的网页,甚至有些专家宣称网页总数已达5500亿,这一数字仍然在不断地快速增长.因此,如何在庞大的Internet上获得有价值的信息已成为网民日益关注的问题.搜索技术的出现为网民从Internet上快速找到所需信息带来了福音.搜索引擎是一种用于帮助Internet用户查询信息的搜索工具,它以一定的策略在Internet中搜集.发现信息,对信息进行理解.提取.

《Android开发案例驱动教程》

<Android开发案例驱动教程>   作者:关东升,赵志荣Java或C++程序员转变成为Android程序员 采用案例驱动模式展开讲解知识点,即介绍案例->案例涉及技术->展开知识点->总结的方式 本书作者从事多年一线开发和培训,讲解知识点力求细致,深入浅出 目    录 前言 第1章  Android操作系统概述 1 1.1  Android历史介绍 1 1.2  Android架构 1 1.3  Android平台介绍 2 1.4  现有智能手机操作系统比较 4 第2章

搜索引擎技术及趋势

中介交易 SEO诊断 淘宝客 云主机 技术大厅 李晓明:1982年毕业于哈尔滨工业大学,1986年毕业于美国史蒂文斯理工学院计算机系,获博士学位.现任北京大学计算机科学技术系教授,博士生导师,系主任. 研究方向为计算机并行与分布处理. 刘建国:北京大学计算机系副教授. 随着因特网的迅猛发展.WEB信息的增加,用户要在信息海洋里查找信息,就象大海捞针一样,搜索引擎技术恰好解决了这一难题(它可以为用户提供信息检索服务).目前,搜索引擎技术正成为计算机工业界和学术界争相研究.开发的对象. 搜索引擎(S

基于PHP+jQuery注册模块开发详解教程

/* ******* 环境: Apache2.2.8 + PHP5.2.6 + MySQL5.0.51b + jQuery-1.8.3.min.js ******* ******* 其他组件:Zend_mail( Zend_framework 1.11.11 ) ******* Date:2014-09-25 ******* Author:小dee */ 了一个简单的PHP+jQuery注册模块,需要填写的栏目包括用户名.邮箱.密码.重复密码和验证码,其中每个栏目需要具备的功能和要求如下图: 开

中文搜索引擎的十大误区-搜索引擎技术

误区1.网站目录就是 搜索引擎 网站目录通常是经过人工分类的有系统的网站列表,通常附带有搜索功能.网站目录就是搜索引擎的名词始于雅虎,雅虎初创时就是只有一个网站目录.当然很快就通过外包的形式增加了网页级的搜索.中文网站提供目录搜索的远多于提供网页搜索的,加之媒体的各种炒作,许多网民误以为网站目录的搜索功能就是搜索引擎. 在美国,因特网搜索引擎通常指的是收集了因特网上几千万到几亿个网页并对网页中的每一个词进行索引的搜索服务系统,是基于网页的全文检索系统.误区2.搜索引擎就是门户站点 如果你要提供搜

搜索引擎的技术和发展趋势会怎样变化?-搜索引擎技术

     随着因特网的迅猛发展.WEB信息的增加,用户要在信息海洋里查找信息,就象大海捞针一样,搜索引擎技术恰好解决了这一难题(它可以为用户提供信息检索服务).目前,搜索引擎技术正成为计算机工业界和学术界争相研究.开发的对象.     搜索引擎(Search Engine)是随着WEB信息的迅速增加,从1995年开始逐渐发展起来的技术.据发表在<科学>杂志1999年7月的文章<WEB信息的可访问性>估计,全球目前的网页超过8亿,有效数据超过9T,并且仍以每4个月翻一番的速度增长.用

未来搜索市场王者——个性搜索的技术与市场-搜索引擎技术

2003年2月,Google 收购了全球最大的Blog 服务之一Blogger.com 的提供商Pyra Labs:2003年9月,Google收购了一家制作个性化和上下文关联搜索工具的新兴企业Kaltix:2003年10月,Google收购在线广告网络公司Sprinks:2004年7月,Google宣布收购加州的Picasa数字相片管理厂商:2004年10月,Google收购了总部位于加州的数字地图服务商Keyhole:2004年12月,Google宣布同世界领先的研究图书馆及牛津大学达成协议

搜索引擎技术及趋势-搜索引擎技术

随着因特网的迅猛发展.WEB信息的增加,用户要在信息海洋里查找信息,就象大海捞针一样,搜索引擎技术恰好解决了这一难题(它可以为用户提供信息检索服务).目前,搜索引擎技术正成为计算机工业界和学术界争相研究.开发的对象. 搜索引擎(Search Engine)是随着WEB信息的迅速增加,从1995年开始逐渐发展起来的技术.据发表在<科学>杂志1999年7月的文章<WEB信息的可访问性>估计,全球目前的网页超过8亿,有效数据超过9T,并且仍以每4个月翻一番的速度增长.用户要在如此浩瀚的信

搜索引擎在网络信息挖掘中的应用-搜索引擎技术

     随着网络信息资源的急剧增长,人们越来越多地关注如何快速有效地从海量的网络信息中,抽取出潜在的.有价值的信息,使之有效地在管理和决策中发挥作用.搜索引擎技术解决了用户检索网络信息的困难,目前搜索引擎技术正成为计算机科学界和信息产业界争相研究.开发的对象.本文旨在探讨搜索引擎技术在网络信息挖掘方面的应用.     一.数据挖掘的研究现状     讨论网络信息挖掘,首先要从传统的数据挖掘谈起.     1.什么是数据挖掘     根据W.J.Frawley和G.P.Shapiro等人的定义,