帮你打造属于自己的搜索引擎---百度篇_小偷/采集

想拥有属于自己的搜索引擎吗?采用目前流行的数据采集方法,你就可以立即拥有。下面就教你一步步地去实现。

一、认识百度搜索

百度搜索,全球最大中文搜索引擎,2005年8月5日在美国纳斯达克上市交易,目前是国内用户使用率最高的搜索引擎,提供网页、新闻、图片、音乐、地图等各种搜索

1、百度网页搜索的查询参数

必备参数

☆ wd--查询的关键词(Keyword)
☆ pn--显示结果的页数(Page Number)
☆ cl--搜索类型(Class),cl=3为网页搜索

可选参数
☆ rn--搜索结果显示条数(Record Number),取值范围在10--100条之间,缺省设置rn=10
☆ ie--查询输入文字的编码(Input Encoding),缺省设置ie=gb2312,即为简体中文
☆ tn--提交搜索请求的来源站点
几个有用的tn 
tn=baidulocal 表示百度站内搜索,返回的结果很干净,无广告干扰。比如,在百度站内搜索"快乐",看看返回结果是不是很清爽。
tn=baiducnnic 想把百度放在框架中吗?试试这个参数就可以了,是百度为Cnnic定制的

☆ si--在限定的域名中搜索,比如想在新浪的站内搜索可使用参数si=sina.com.cn,要使这个参数有效必须结合ct参数一起使用。

☆ ct--此参数的值一般是一串数字,估计应该是搜索请求的验证码

si和ct参数结合使用,比如在sina.com.cn中搜索"理想",可用:http://www.baidu.com/baidu?ie=utf-8&am ... n&cl=3&word=理想

☆ bs--上一次搜索的关键词(Before Search),估计与相关搜索有关

2、百度搜索结果页面结构

按源代码结构自上而下为:

搜索框
右侧的火爆地带固定排名
搜索结果
分页区
相关搜索
底部搜索框
版权区

其中"搜索结果、分页区"这两部分就是我们需要的有效数据,根据其代码结果可以发现其唯一的字符串标识,通过这个标识截取内容就可以了,具体看后面的代码。

二、核心函数--使用asp的xmlhttp组件

数据采集程序,俗称小偷程序,其核心部分就是这个xmlhttp组件,用xmlhttp采集数据有些老生常谈了,网上资料也不少,一般的采集代码都是

set http=Server.createobject("MSXML2.XMLHTTP") 
Http.open "GET",url,false '打开xmlhttp
Http.send() '发送请求
if Http.readystate<>4 then
exit function 
end if 
getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312") '返回结果(一般是字节流),并将字节流转换为字符串
set http=nothing '释放xmlhttp

详细应用见下面的完整代码

三、完整代码(文件名:searchi_bd.asp)

<%
option explicit
Dim wd,pn
wd = Request("wd")
pn = Request.QueryString("pn")
'开始错误处理
On Error Resume Next
If Err.Number <> 0 Then
Response.Clear
'显示错误信息给用户 
Response.Write "<p align='center' ><font size=3> 出错了,请重新打开百度搜索.</font></p>"
end if
%>
<HTML>
<HEAD>
<TITLE>百度搜索--<%=wd%></TITLE>
</HEAD>
<STYLE type=text/css>
<!--
body,td{font-family:arial}
TD{FONT-SIZE:9pt;LINE-HEIGHT:18px}
.cred{color:#FF0000}
//-->
</STYLE>

<BODY leftmargin="0" topmargin="3" marginwidth="0" marginheight="0">
<table align="center" width="98%" cellspacing="0" cellpadding="0" border="0" bgcolor="#ffffff" >
<tr>
<form name="f1" method="post" action="searchi_bd.asp">
<td width=150 height=50>
你的LOGO
</td>
<td align="left">
<input name=wd size="40" maxlength="100" title="输入关键字,然后Let's Searching..." value="<%=wd%>">
<input type="submit" value=" 百度搜索 ">
</td></form></tr>
</table>
<%
Dim strUrl,strTmp_bd,strInfo,strPage,strPageSum_bd,strQtime_bd
Dim bNoResult_bd,regEx,patrn
'百度查询字符串
strUrl = "http://www.baidu.com/s?ie=gb2312&wd="&wd&am ... &pn&"&cl=3"
'开始采集
strTmp_bd = GetHTTPPage(strUrl)
If InStr(strtmp_bd,"未找到和您的查询")<>0 Then
bNoResult_bd=1
End If

'截取"搜索结果"部分的内容
strinfo = strCut(strTmp_bd,"<DIV id=ScriptDiv></DIV>","<br clear=all>",2)
patrn="</td></tr></table><br>"
Set regEx = New RegExp ' 建立正则表达式。
regEx.Pattern = patrn ' 设置模式。
regEx.IgnoreCase = true 
regEx.Global = false 
strinfo=regEx.replace(strinfo,"") 

'截取"分页区"部分的内容
strPage = strCut(strTmp_bd,"<br clear=all>","<br>",2)
strPage = Replace(strPage,"href=s?","href=searchi_bd.asp?")
'结果数量与用时
strPageSum_bd=strCut(strtmp_bd,"找到相关网页约","篇",2)
if not IsNumeric(strPageSum_bd) then
strPageSum_bd=strCut(strtmp_bd,"找到相关网页","篇",2)
end if
strQtime_bd=strCut(strtmp_bd,"用时","秒",2)
Set strTmp_bd=nothing

%>
<!-- T1-Start -->
<table cellspacing=0 cellpadding=0 border=0 width=98% align="center">
<tr valign=center align=middle height=18>
<td width=1 bgcolor=#999999>

<td nowrap style="FONT-WEIGHT:bold;COLOR:#ffffff;BACKGROUND-COLOR:#0033cc" width=64>互联网</td>

<td align=right bgcolor=#eeeeee><nobr>找到符合<b><%=wd%></b>的相关网页<b><%=strPageSum_bd%></b>篇,用时<b><%=strQtime_bd%></b>秒</nobr> </td>
</tr>
<tr><td bgcolor=#999999 colspan=3 height=2></td></tr></table>
</td>
</tr>
</table>

<%
if wd="" then
Response.Write "<p align='center' ><font size=-1> 您好,请在搜索框中输入关键词.</font></p>"
elseif bNoResult_bd=1 then
Response.Write "<p align='center' ><font size=-1> 抱歉,未找到任何符合您查询条件的信息,请重新选择合适的关键词进行查询.</font></p>"
else
%>
<table width="98%" align="center" cellspacing="0" cellpadding="0" border="0">
<tr>
<td style=line-height:160% bgcolor="#ffffff" width="75%" valign=top><br>
<%=strinfo%>
</td>
<td width="25%" valign=top><br> 这是你发挥的空间! 
</td>
</tr>
</table>
<table width="98%" align="center" cellspacing="0" cellpadding="4" border="0">
<tr>
<td align="center">
<br><font size=3><%=strPage%></font>
</td>
</tr>
</table>
<%End If 
set strinfo=nothing

%>
<hr size="1" width="760" color="#0000ff">

<div align="center"><font size=-1>
程序更新请到这里<span class="cred">(知识分享论坛)</span>查看</font>
</div>
</BODY>
</HTML>

<%
'采集函数
Function getHTTPPage(url) 
On Error Resume Next
dim http 
set http=Server.createobject("MSXML2.XMLHTTP") 
Http.open "GET",url,false 
Http.send() 
if Http.readystate<>4 then
exit function 
end if 
getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312")
set http=nothing
If Err.number<>0 then 
Response.Write "<div align='center'><b>服务器获取文件内容出错</b></div>" 
Err.Clear
End If 
End function
'字节流转换为字符串
Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.createObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText 
objstream.Close
set objstream = nothing
End Function

'截取字符串,1.包括前后字符串,2.不包括前后字符串
Function strCut(strContent,StartStr,EndStr,CutType)
Dim S1,S2
On Error Resume Next
select Case CutType
Case 1
S1 = InStr(strContent,StartStr)
S2 = InStr(S1,strContent,EndStr)+Len(EndStr)
Case 2
S1 = InStr(strContent,StartStr)+Len(StartStr)
S2 = InStr(S1,strContent,EndStr)
End select
If Err Then
strCute = "<p align='center' ><font size=-1>截取字符串出错.</font></p>"
Err.Clear
Exit Function
Else
strCut = Mid(strContent,S1,S2-S1)
End If
End Function

%>

把上面的代码Copy到记事本保存为searchi_bd.asp,就可以使用了。如果你要更改文件名,请同时把以下代码中蓝色标识部分改为你的文件名

strPage = Replace(strPage,"href=s?","href=searchi_bd.asp?")

几点说明:

1、百度搜索基本上没有什么反采集的措施,主要一点就是百度隔一段时间会更改返回结果页面的源代码,所以要经常观察百度的搜索结果页面,发现代码变动了,就将几处字符串标识改动一下。在反采集方面,百度比Google大度多了,目前还没发现由于频繁查询百度而出现暂时屏蔽来源站点IP的现象,而在Google查询中经常出现这个现象,如何解决就在下篇文章里谈一谈。

2、采集比较耗资源,搜索小偷程序一样,所以程序中尽量早点释放变量或对象。如果你的空间资源不多,建议就不要搞这些了。

3、有些人可能不愿意在自己做的搜索小偷中保留任何百度的功能连接,比如百度快照和站内搜索等功能。为此我在下载包中提供一个无百度任何连接的精简版,你可以根据需要使用,在本文中就不列出代码了,其实和完整版的差不多。

时间: 2024-12-20 16:38:01

帮你打造属于自己的搜索引擎---百度篇_小偷/采集的相关文章

帮你打造属于自己的搜索引擎---百度篇

想拥有属于自己的搜索引擎吗?采用目前流行的数据采集方法,你就可以立即拥有.下面就教你一步步地去实现. 一.认识百度搜索 百度搜索,全球最大中文搜索引擎,2005年8月5日在美国纳斯达克上市交易,目前是国内用户使用率最高的搜索引擎,提供网页.新闻.图片.音乐.地图等各种搜索 1.百度网页搜索的查询参数 必备参数 ☆ wd--查询的关键词(Keyword) ☆ pn--显示结果的页数(Page Number) ☆ cl--搜索类型(Class),cl=3为网页搜索 可选参数 ☆ rn--搜索结果显示

百度小偷_小偷/采集

<%Function bytes2BSTR(vIn)strReturn = ""For i = 1 To LenB(vIn)ThisCharCode = AscB(MidB(vIn,i,1))If ThisCharCode < &H80 ThenstrReturn = strReturn & Chr(ThisCharCode)ElseNextCharCode = AscB(MidB(vIn,i+1,1))strReturn = strReturn &

网站生成静态页面攻略4:防采集而不防搜索引擎策略_小偷/采集

从前面的我讲的采集原理大家可以看出,绝大多数采集程序都是靠分析规则来进行采集的,如分析分页文件名规则.分析页面代码规则.     一.分页文件名规则防采集对策     大部分采集器都是靠分析分页文件名规则,进行批量.多页采集的.如果别人找不出你的分页文件的文件名规则,那么别人就无法对你的网站进行批量多页采集.     实现方法:     我认为用MD5加密分页文件名是一个比较好的方法,说到这里,有人会说,你用MD5加密分页文件名,别人根据此规则也可以模拟你的加密规则得到你的分页文件名.     

不一样的搜索引擎百度百科的权重基本一样

摘要: 百度百科的权重相信广大站长都见识和领教过了.就拿SEO这个词来说吧,你在百度中搜索一下,自然排名第一吧.有人说百科是人家百度自己的旗下产品,人家能不重视吗?能不给一个 百度百科的权重相信广大站长都见识和领教过了.就拿"SEO"这个词来说吧,你在百度中搜索一下,自然排名第一吧.有人说百科是人家百度自己的旗下产品,人家能不重视吗?能不给一个好的排名吗?如果你有这种想法的话,请打开谷歌,然后同样输入"SEO"看看排名情况吧,怎么样啊?自然排名第二吧.不一样的搜索引

利用搜索引擎带来流量-百度篇

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 通过统计可以发现,搜索引擎是给网站带来的ip地址是最多的.所以如果你想使网站获得更多流量,那就让搜索引擎找到你的网站,收录更多页面.中文搜索引擎中,用户最多的就是百度和google.你能够搞定这两个那么你就发了.不多所费话,下面就叫你方法.百度篇1.首先当然是去百度登录 百度免费登录地址http://www.baidu.com/search/

搜索引擎(百度)新形势下网站该如何推广

今时不同往日,现在的搜索引擎规则已经较之前更加的完善和智能,广大的站长朋友们必须了解这一点,不能再像之前那样进行网站的优化和推广,否则网站随时有可能会被降权或者K站.因此必须了解搜索引擎新的规则,只有符合新规则的优化和推广策略才能够得到认可.那么究竟搜索引擎(百度)新形势下网站该如何推广呢?大家共同来探讨一下吧. 搜索引擎(百度)新规则的出台,非常明确的指出了很多问题,比如百度不喜欢什么样的站点(软文交易平台.软文发布站.软文收益站);不喜欢怎样的优化方式(利用软文来发布大量的外链.堆砌关键词的

国内知名搜索引擎百度无法打开

1月12日消息,据中国站长站报道,从7时20分左右,在站长论坛开始出现大批站长发帖,称国内知名搜索引擎百度无法打开.截至发稿前,百度已经部分恢复正常,百度方面目前没有对此作出解释,表示目前正在对此问题进行紧急处理和调查.百度贴吧出现大量关于宕机的帖子. 498)this.width=498;' onmousewheel = 'javascript:return big(this)' alt="百度贴吧帖子" align="middle" src="http

“路线图”帮你打造成功云规划与设计

本文讲的是"路线图"帮你打造成功云规划与设计,如果您尚未转向云服务,该考虑实施了,对此人们应该毫无疑问.预计到2015年,全球云计算市场将达1210亿美元,远超2010年的378亿美元.然而,如果仓促地选择云服务,压力也是存在的,未经深思熟虑的规划就去实施可能会给今后制造麻烦. 云项目对几乎任何机构可能都是复杂的,无论该项目是建立一个私有云.公共云还是混合云.虽然您最初的目标可能是创建一个满足当前需求的云架构,但现在您构建的云服务还必须满足未来的业务需求.精心规划是云运行成功的一个绝对

全球最大的中文搜索引擎百度发布年度搜索风云榜

昨日,http://www.aliyun.com/zixun/aggregation/31877.html">全球最大的中文搜索引擎百度发布2012年度搜索风云榜.同时,再次联手国内知名的社会舆情学术研究机构中国人民大学舆论研究所,基于这些真实呈现2012年中国网民搜索行为的21个年度榜单,整合出当下中国老百姓对民生.经济.社会期待.社会责任等一系列关注指数.天府早报作为此次搜索风云榜的区域合作媒体,也和百度一道共同呈现了今年中国网民对现实问题的关注. 今年的百度年度搜索风云榜的基础榜单,