asp代理采集的核心函数代码_小偷/采集

Function ProxyPage(url)
Set Retrieval = CreateObject("MSXML2.ServerXMLHTTP.5.0")
With Retrieval
.SetProxy 2 , "255.0.0.0:80" '代理ip:代理端口
.Open "Get", url, False, "", ""
.setRequestHeader "Referer","http://www.baidu.com/" '伪造referer
.Send
ProxyPage = BytesToBstr(.ResponseBody)
End With
Set Retrieval = Nothing
End Function

附BytesToBstr过程,你采集的时候可以定义网页是utf-8还是gb2312,utf="True"为 utf-8
Function BytesToBstr(body)
dim objstream
set objstream = Server.CreateObject("ad"&""&"odb.st"&""&"ream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
if utf="True" then
objstream.Charset = "utf-8"
else
objstream.Charset = "gb2312"
end if
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function
代码解释:
如果你系统是win 2003 只能使用以下代码
CreateObject("MSXML2.ServerXMLHTTP.4.0")
若为xp
CreateObject("MSXML2.ServerXMLHTTP.5.0")

伪造referer用处很一般,不过对于一些站还是有用的,所以代码我加上了,可以注释掉,

注意:
如果你不会写asp采集,那么代码你可能不懂,那就不是我这次发帖所讨论了,希望对大家有用。

时间: 2024-07-28 21:15:08

asp代理采集的核心函数代码_小偷/采集的相关文章

asp 采集程序常用函数分析_小偷/采集

原理 采集程序实际上是通过了XML中的XMLHTTP组件调用其它网站上的网页.比如新闻采集程序,很多都是调用了sina的新闻网页,并且对其中的html进行了一些替换,同时对广告也进行了过滤.用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有:不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在

网站生成静态页面攻略4:防采集而不防搜索引擎策略_小偷/采集

从前面的我讲的采集原理大家可以看出,绝大多数采集程序都是靠分析规则来进行采集的,如分析分页文件名规则.分析页面代码规则.     一.分页文件名规则防采集对策     大部分采集器都是靠分析分页文件名规则,进行批量.多页采集的.如果别人找不出你的分页文件的文件名规则,那么别人就无法对你的网站进行批量多页采集.     实现方法:     我认为用MD5加密分页文件名是一个比较好的方法,说到这里,有人会说,你用MD5加密分页文件名,别人根据此规则也可以模拟你的加密规则得到你的分页文件名.     

asp 通用修改和增加函数代码_应用技巧

接下来我利用一点空余时间发一个函数里面包含和添加和删除功能.实验的架构可以使用IIS.5WEB服务器ACCESS数据库.这个我其实不用说的很详细了,因为大家都应该知道的.我就直接把函数贴出来.大家只要稍微修改即可使用. 复制代码 代码如下: <% sub AdminEdit() dim Action,rsCheckAdd,rs,sql Action=request.QueryString("Action") if Action="SaveEdit" then

asp 小偷采集程序原理与常用函数方法_小偷/采集

用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有: 不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在本地服务器上读取数据比起来,肯定要慢一些. 一.事例 下面就XMLHTTP在ASP中的应用做个简单说明 复制代码 代码如下: <% '常用函数 '1.输入url目标网页地址,返回值getH

ASP 自动采集实现代码_小偷/采集

其主要的优点便是无需再手工添加大量的信息了,可以指定对某一个站信息的截取进行批量录入,达到省时省力的目的.与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站. 参考代码: 复制代码 代码如下: <% '声明取得目标信息的函数,通过XML组件进行实现. Function Geturl(/blog/url) Set Retrieval = CreateObject("Microsoft.XMLHTTP") With Retrieval .Open "GET"

asp采集抓取网上房产信息的代码_小偷/采集

复制代码 代码如下: <%@LANGUAGE="VBSCRIPT" CODEPAGE="936"%> <!-- #include file="conn.asp" --> <!-- #include file="inc/function.asp" --> <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN&

[asp]阿里西西的alexa采集效果代码_小偷/采集

我想这个系统现在在网上或源码站几乎是没有可用的程序. 提供下载的都是以前的老版本,ALEXA官方在他们的页面做了混淆代码防采集后,那些以前的ALEXA排名查询系统都已经无法再使用了. 网上除了一些知名(有钱的主)能提供(通过收费接口)的排名查询和我看到的webmasterhome.cn免费接口的查询功能系统外,个人站长基本没几个再能提供ALEXA排名查询服务.        开源发布的这个版本经过我一段时间的使用和完善,已经做到无错,速度相对也比较快.为了这个系统,也曾有黑客威胁过自己,并招来两

asp获取远程网页的指定内容的实现代码_小偷/采集

代码如下: 复制代码 代码如下: <% '用ASP获取远程目标网页指定内容,代码由广州网站建设http://www.jb51.net提供 On Error Resume Next Server.ScriptTimeOut=9999999 Function getHTTPPage(Path) t = GetBody(Path) getHTTPPage=BytesToBstr(t,"GB2312") End function Function Newstring(wstr,strng

asp下利用XMLHTTP 从其他页面获取数据的代码_小偷/采集

利用XMLHTTP 从其他页面获取数据 我们在编写ASP代码的时候,大家都知道可以通过post或者get获得form表单的数据,那么我们如何直接获得其他页面上的数据呢?这就要借助xmlhttp协议了.xmlhttp是xmldom技术的一部分. 下面的代码就是一个很简单的例子,我们利用xmlhttp技术,把http://www.xxxx.com/站点首页的代码以xml的形式完全获取,并且在页面中输出. <% Dim objXMLHTTP, xml Set xml = Server.CreateOb