小偷,采集程序常用函数

<script language="javascript" runat="server">

//连接数据库

function connOpen(DataBaseConnectStr){

  var conn = Server.CreateObject("ADODB.Connection");

  conn.Open(DataBaseConnectStr);

  return conn;

}

//利用AdoDb.Stream对象来读取指定格式的文本文件

function readFromTextFile(FileUrl,CharSet){

  var str;

  var stm = Server.CreateObject("adodb.stream");

  stm.Type = 2;

  stm.Mode = 3;

  stm.Charset=CharSet;

  stm.open;

  stm.LoadFromFile(Server.MapPath(FileUrl));

  str = stm.ReadText

  stm.close;

  return str;

}

//利用AdoDb.Stream对象来写入指定格式的文本文件

function writeToTextFile(FileUrl,Str,CharSet){

  var stm = Server.CreateObject("adodb.stream");

  stm.Type = 2;

  stm.Mode = 3;

  stm.Charset = CharSet;

  stm.open;

  stm.WriteText(Str);

  stm.SaveToFile(Server.MapPath(FileUrl),2);

  stm.flush;

  stm.close;

}

//利用fso判断文件是否存在

function isFileExist(FileUrl){

 var FSO = Server.CreateObject("Scripting.FileSystemObject")

 if(FSO.FileExists(Server.MapPath(FileUrl))){

 return true;

 }else{

 return false;

 }

}

//利用fso写文件

function CateFile(files,fbody){

  var fs = Server.CreateObject("Scripting.FileSystemObject");

  var a = fs.CreateTextFile(Server.mappath(files));

  a.Write(fbody);

  a.close();

}

//获取目标页面源代码

function getHTTPPage(url){

  var Http= Server.CreateObject("Microsoft.XMLHTTP");

  Http.open("GET",url,false);

  Http.send();

  if (Http.readystate!==4){return false;}

  return(BytesToBstr(Http.responseBody,"GB2312"));

}

//编码

function BytesToBstr(body,Cset){

  var objstream = Server.CreateObject("adodb.stream");

  objstream.Type = 1;

  objstream.Mode =3;

  objstream.Open();

  objstream.Write = body;

  objstream.Position = 0;

  objstream.Type = 2;

  objstream.Charset = Cset;

  return(objstream.ReadText);

  objstream.Close();

}

//获取完整连接地址

function GetCompleteUrl(sources_url,get_url){

  if(get_url.indexOf("http://")!=-1)return get_url;

  var completeUrl="";

  var sources_url_arr = sources_url.split("/");

  var get_url_arr = get_url.split("../");

  for(var i=0;i<sources_url_arr.length-get_url_arr.length;i++){

    completeUrl += sources_url_arr[i] + "/";

  }

  completeUrl += get_url_arr[get_url_arr.length-1];

  return completeUrl;

}

</script>

时间: 2024-10-03 16:25:11

小偷,采集程序常用函数的相关文章

asp 采集程序常用函数分析_小偷/采集

原理 采集程序实际上是通过了XML中的XMLHTTP组件调用其它网站上的网页.比如新闻采集程序,很多都是调用了sina的新闻网页,并且对其中的html进行了一些替换,同时对广告也进行了过滤.用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有:不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在

asp 采集程序常用函数分析

原理 采集程序实际上是通过了XML中的XMLHTTP组件调用其它网站上的网页.比如新闻采集程序,很多都是调用了sina的新闻网页,并且对其中的html进行了一些替换,同时对广告也进行了过滤.用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有:不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在

小偷,采集程序常用函数_小偷/采集

<script language="javascript" runat="server"> //连接数据库 function connOpen(DataBaseConnectStr){   var conn = Server.CreateObject("ADODB.Connection");   conn.Open(DataBaseConnectStr);   return conn; } //利用AdoDb.Stream对象来读取指

PHP 采集程序 常用函数_php技巧

当前的脚本网址 function get_php_url(){ if(!empty($_SERVER["REQUEST_URI"])){ $scriptName = $_SERVER["REQUEST_URI"]; $nowurl = $scriptName; }else{ $scriptName = $_SERVER["PHP_SELF"]; if(empty($_SERVER["QUERY_STRING"])) $nowu

asp 小偷采集程序原理与常用函数方法_小偷/采集

用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有: 不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在本地服务器上读取数据比起来,肯定要慢一些. 一.事例 下面就XMLHTTP在ASP中的应用做个简单说明 复制代码 代码如下: <% '常用函数 '1.输入url目标网页地址,返回值getH

asp 小偷采集程序原理与常用函数方法

用采集程序的优点有:无须维护网站,因为采集程序中的数据来自其他网站,它将随着该网站的更新而更新:可以节省服务器资源,一般采集程序就几个文件,所有网页内容都是来自其他网站.缺点有: 不稳定,如果目标网站出错,程序也会出错,而且,如果目标网站进行升级维护,那么采集程序也要进行相应修改:速度,因为是远程调用,速度和在本地服务器上读取数据比起来,肯定要慢一些. 一.事例 下面就XMLHTTP在ASP中的应用做个简单说明 复制代码 代码如下: <% '常用函数 '1.输入url目标网页地址,返回值getH

PHP采集程序常用的采集函数收藏

这几天关注了一下PHP的采集程序,才发现用PHP采集内容是这么方便,把经常用到的采集函数在这里总结一下,方便以后使用!  代码如下 复制代码 获取所有链接内容和地址 function getAllURL($code){ preg_match_all('/<as+href=["|']?([^>"' ]+)["|']?s*[^>]*>([^>]+)</a>/i',$code,$arr); return array('name'=>$

基于PHP的cURL快速入门教程 (小偷采集程序)

最爽的是,PHP也支持 cURL 库.本文将介绍 cURL 的一些高级特性,以及在PHP中如何运用它. 为什么要用 cURL? 是的,我们可以通过其他办法获取网页内容.大多数时候,我因为想偷懒,都直接用简单的PHP函数: $content = file_get_contents("http://www.jb51.net");// or$lines = file("http://www.jb51.net");// orreadfile(http://www.jb51.

基于PHP的cURL快速入门教程 (小偷采集程序)_php技巧

最爽的是,PHP也支持 cURL 库.本文将介绍 cURL 的一些高级特性,以及在PHP中如何运用它. 为什么要用 cURL? 是的,我们可以通过其他办法获取网页内容.大多数时候,我因为想偷懒,都直接用简单的PHP函数: $content = file_get_contents("http://www.jb51.net");// or$lines = file("http://www.jb51.net");// orreadfile(http://www.jb51.