php curl采集远程页面内容演示代码

例

 代码如下 复制代码

$curlPost = 'a=1&b=2';//模拟POST数据
$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:0.0.0.0', 'CLIENT-IP:0.0.0.0'));  //构造IP
curl_setopt($ch, CURLOPT_REFERER, "http://www.111cn.net/");   //构造来路
curl_setopt($ch,CURLOPT_URL, 'http://www.111cn.net');//需要抓取的页面路径
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);//post值

$file_contents = curl_exec($ch);//抓取的内容放在变量中
curl_close($ch)

还有一种办法就是使用file_get_contents（） 远程文件获取函数，用来获取远程页面内容

注意事项

curl()效率挺高的，支持多线程，不过需要开启下curl扩展。下面是curl扩展开启的步骤：

1、将PHP文件夹下的三个文件php_curl.dll,libeay32.dll,ssleay32.dll复制到system32下;

2、将php.ini(c:WINDOWS目录下)中的;extension=php_curl.dll中的分号去掉;
3、重启apache或者IIS。

时间： 2024-12-22 08:41:11

php curl采集远程页面内容演示代码的相关文章

利用curl抓取远程页面内容的示例代码

利用curl抓取远程页面内容的一个小示例,需要的朋友可以过来参考下   最基本的操作如下 复制代码 代码如下: $curlPost = 'a=1&b=2';//模拟POST数据 $ch = curl_init(); curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:0.0.0.0', 'CLIENT-IP:0.0.0.0'));  //构造IP curl_setopt($ch, CURLOPT_REFERER, "ht

php几种采集远程服务器内容代码

//方法一模仿用户访问网页  代码如下 复制代码 function readpr($link,$url) {  $fp = fsockopen ($url, 80, $errno, $errstr, 30);  if (!$fp)  {   echo "$errstr ($errno) ";   exit(1);  }  else  {   $out = "get $link http/1.0 ";   $out .= "host: $url "

php file_get_contents()读取采集远程文件内容

file_get_contents() 函数是用于将文件的内容读入到一个字符串中的首选方法 上面是帮助手册的是一次性把内容全部读入内存了,后面的实例我们也会讲到 _get_contents可以将远程文件读入为一个字符串, 而文件行的分隔就是"rn" explode将字符串按"rn"分隔  代码如下 复制代码 $shadu_url = "http://localhost/demo.html"; $shadu_str = file_get_conte

利用curl抓取远程页面内容的示例代码_php技巧

最基本的操作如下 复制代码 代码如下: $curlPost = 'a=1&b=2';//模拟POST数据$ch = curl_init();curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:0.0.0.0', 'CLIENT-IP:0.0.0.0'));  //构造IPcurl_setopt($ch, CURLOPT_REFERER, "http://www.jb51.net/");   //构造来路 cur

php 利用curl模仿用户采集远程网站内容

 代码如下 复制代码 $timestamp = time(); function open($file,$type=''){         global $fromurl,$referer;         $cachename=$file;                 if($type){                         $file='/'.$type.'/'.$file;                 }else{                         $f

一个带采集远程文章内容,保存图片,生成文件等完整的采集功能

本文提供了一套完整的ASP采集功能函数,包含提取地址的原字符,保存远程的文件到本地模拟登录,获取网页源码等功能函数,阿里西西站长推荐收藏! '================================================== '函数名:GetHttpPage '作  用:获取网页源码 '参  数:HttpUrl ------网页地址 '================================================== Function GetHttpPage(

利用fopen函数采集新闻页面内容保存到本地函数

<? / / PHP的新闻抓取由Neil Moomey,. / /你可以自由的使用此代码作为您的愿望. / /请确保您可以从任何网站,你抓从标题许可. / /你可能需要写上您的服务器上的标题,文件以加快速度. / /抓斗从文件或网页的源代码网站 if(!($myFile=fopen(http://www.111cn.net,"r"))) { echo "The news interface is down for maintenance."; exit; }

解析PHP中的file_get_contents获取远程页面乱码的问题_php技巧

PHP的file_get_contents获取远程页面内容,如果是gzip编码过的,返回的字符串就是编码后的乱码1.解决方法,找个ungzip的函数来转换下2.给你的url加个前缀,这样调用$content = file_get_contents("compress.zlib://".$url);无论页面是否经过gzip压缩,上述代码都可以正常工作!使用curl模块同样可解决问题 复制代码 代码如下: function curl_get($url, $gzip=false){     

#.NET分别以GET和POST方式抓取远程页面

  代码 引入命名空间using System.IO;using System.Net;using System.Text;using System.Text.RegularExpressions; //以GET方式抓取远程页面内容    public string Get_Http(string tUrl)    {        string strResult;        try        {            HttpWebRequest hwr = (HttpWebRequ