php中CURL实现模拟登录并采集数据

这里要说一些，默认情况下，PHP的CURL功能是没有开启的，所以你要自己去开启这个功能，需要在php.ini中把  ;extension= php_curl.dll 前面的  " ; " 号去掉！！！
  好，我讲讲昨天晚上的程序吧，虽然最后没有成功，但是还是学习到一些东西的。
 

 代码如下 复制代码

$login="http://www.phpyu.com/index.php?action=login";
$post_file="user=××&pw=××";
$cookie_file    =    tempnam('./temp','cookie'); 

/////创建一个具有唯一文件名的临时文件。 若成功，则该函数返回新的临时文件名。若失败，则返回 false。

 代码如下 复制代码

$ch=curl_init($login_url); /////初始化一个CURL对象
curl_setopt($ch,CURLOPT_HEADER,0);

  //如果你想把一个头包含在输出中，设置这个选项为一个非零值。

 代码如下 复制代码

curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); ///设置不输出在浏览器上
curl_setopt($ch,CURLOPT_POST,1);

 /////如果你想PHP去做一个正规的HTTP POST，设置这个选  项为一个非零值。这个POST是普通的 application/x-www-from-urlencoded 类型，多数被HTML表单使用。

 代码如下 复制代码

curl_setopt($ch,CURLOPT_POSTFIELDS,$post_file);  ////传递一个作为HTTP "POST"操作的所有数据的字符串。
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);  /////把返回来的cookie信息保存在$cookie_jar文件中
curl_exec($ch);///执行
curl_close($ch);////关闭

上面已经完成了模拟登录的过程
 

下面要做的就是进入具有权限的页面了，要记得你现在已经登录了，你应该把登录的凭证cookie保存了起来。

 代码如下 复制代码

$url="http://www.phpyu.com/admin/××";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);

////把这个页面显示在浏览器上，这里要特别注意！！就是如果把它显示在浏览器上的时候 下面的$contents 就会变成 一个布尔类型 true

 代码如下 复制代码

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
$contents = curl_exec($ch);

例2

 代码如下 复制代码

<?php
        $cookie_path = './'; //设置cookie保存路径

        //-----登录要提交的表单数据---------------
        $vars['username'] = '张三';
         $vars['pwd'] = '123';
         //-------------------------------------
        $method_post = true;
        //登录提交的url地址(表单中的action的绝对地址)
         $url = 'http://****.com/login';
        //----------------------------

         $ch = curl_init();
        $params[CURLOPT_URL] = $url;    //请求url地址
        $params[CURLOPT_HEADER] = true; //是否返回响应头信息
        $params[CURLOPT_RETURNTRANSFER] = true; //是否将结果返回
        $params[CURLOPT_FOLLOWLOCATION] = true; //是否重定向
        $params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
   
        $postfields = '';
        foreach ($vars as $key => $value){
            $postfields .= urlencode($key) . '=' . urlencode($value) . '&'; 
        }
       
        $params[CURLOPT_POST] = true;
        $params[CURLOPT_POSTFIELDS] = $postfields;
       
        //判断是否有cookie,有的话直接使用
        if (isset($_COOKIE['cookie_jar']) && ($_COOKIE['cookie_jar'] || is_file($_COOKIE['cookie_jar'])))
        {
            $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie
        }
        else
        {
            $cookie_jar = tempnam($cookie_path, 'cookie'); //产生一个cookie文件
            $params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息
            setcookie('cookie_jar', $cookie_jar); //保存cookie路径
        }
        curl_setopt_array($ch, $params); //传入curl参数
        $content = curl_exec($ch); //执行

        echo '
';        echo $content; //输出登录结果
        /*
        //---------登录成功后再次请求其他地址,如果有多个可以循环执行---------
        echo '
--------------------------------------------------------------------------------
 ';
        $nexturl = 'http://****.com/test';
        $params[CURLOPT_URL] = $nexturl;
        $params[CURLOPT_POSTFIELDS] = '';
        curl_setopt_array($ch, $params); //传入curl参数
        $content = curl_exec($ch); //执行
        echo $content; //输出请求结果
        //-------------------------------------------------
        */
        curl_close($ch); //关闭连接
       
?>

注:如果遇到无法请求https站点的情况，可能是因为无法验证证书或者域名，只要在curl_setopt_array前增加以下两项就可以了:

 代码如下 复制代码

$params[CURLOPT_SSL_VERIFYPEER] = false;

$params[CURLOPT_SSL_VERIFYHOST] = false;
时间： 2024-10-30 00:23:48

php中CURL实现模拟登录并采集数据的相关文章

php curl模块模拟登录后采集页面实例

今天接到的功课是从一个网站获取商品库存,但是这个网站需要登录,我用fsockopen传递了整个header头都没用,只能求助于curl了. 附带说一下curl模块的开启办法: (1)从php目录下拷贝:libeay32.dll,ssleay32.dll 到windows目录下. (2)打开php.ini,查找"extension_dir = xxxxx",确认后面的文件目录内有php_curl.dll文件. (3)同样是php.ini,查找"extension=php_cur

ajax-php采集高手进：利用curl模拟登录抓取数据遇到json调用问题不成功，求助！

问题描述 php采集高手进:利用curl模拟登录抓取数据遇到json调用问题不成功,求助! 我在抓取一个页面的信息(假设a.php),这个页面只是一些基本的html框架,其他关键信息是通过ajax请求(b.php)回来的,返回的是json,然后在通过页面js将json解析,绘制到页面上.问题的关键是ajax请求的信息里有个手机号码需要登录后才显示完整,原网站利用ajax请求b.php获得json数据,如果直接访问b.php也是可以直接得到:{"name":"zhangsan&

PHP中使用CURL模拟登录并获取数据实例_php实例

cURL 是一个功能强大的PHP库,使用PHP的cURL库可以简单和有效地抓取网页并采集内容,设置cookie完成模拟登录网页,curl提供了丰富的函数,开发者可以从PHP手册中获取更多关于cURL信息.本文以模拟登录开源中国(oschina)为例,和大家分享cURL的使用. PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展. 代码实战 先来看登录部分的代码: 复制代码 代码如下

php使用curl模拟登录后采集页面的例子_php实例

今天接到的功课是从一个网站获取商品库存,但是这个网站需要登录,我用fsockopen传递了整个header头都没用,只能求助于curl了.附带说一下curl模块的开启办法:(1)从php目录下拷贝:libeay32.dll,ssleay32.dll 到windows目录下.(2)打开php.ini,查找"extension_dir = xxxxx",确认后面的文件目录内有php_curl.dll文件.(3)同样是php.ini,查找"extension=php_curl.dl

【CURL】模拟登录网站并获取用户信息

模拟登录网站并获取用户信息 前言 这次来做的是通过代码的方式,模拟登录秒拍官网,获取登录用户的信息. 前后端分离 本文的标题是CURL,传统的网站是PHP代码直接渲染项目视图,通过表单提交到控制器直接进行数据操作. 传统模拟登录的方式在页面上找到表单元素,直接进行模拟表单提交. 近两年前端技术趋于完善,实现了前后端分离. 分析页面元素 秒拍官网地址 http://www.miaopai.com/ 通过审查元素以及源代码查找,在本页面并没有form标签,由此推断页面是通过js进行提交的. 查找提交

PHP利用Curl模拟登录并获取数据例子

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展. 代码实战 先来看登录部分的代码:  代码如下 复制代码 //模拟登录 function login_post($url, $cookie, $post) {     $curl = curl_init();//初始化curl模块     curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地

使用Python中的cookielib模拟登录网站_python

前面简单提到了 Python 模拟登录的程序,但是没写清楚,这里再补上一个带注释的 Python 模拟登录的示例程序.简单说一下流程:先用cookielib获取cookie,再用获取到的cookie,进入需要登录的网站. # -*- coding: utf-8 -*- # !/usr/bin/python import urllib2 import urllib import cookielib import re auth_url = 'http://www.nowamagic.net/' h

PHP Curl模拟登录微信公众平台、新浪微博实例代码_php实例

使用curl之前先打开curl配置,具体方式百度一下就知道,开启curl扩展.密码用md5加密,这是经过测试成功的,把用户跟密码改成你的就行了. 下面一段代码给大家介绍php使用curl模拟登录微信公众平台,具体代码如下所示: <?php //模拟微信登入 $cookie_file = tempnam('./temp','cookie'); $login_url = 'https://mp.weixin.qq.com/cgi-bin/login'; $pwd = md5("********

PHP使用CURL模拟登录的方法_php技巧

网上的很多模拟登录程序,大都是通过服务程序apache之类的运行,获取到验证码之后显示在网页上,然后填上再POST出去,这样虽然看起来很友 好,但是既然模拟登录,登录后所干的事情就不一定是短时间完成的,所以这就要受到php最大执行时间的限制,而且有些操作还有可能权限不足. 本文提供了一个程序实例,思路就是获取到验证码之后把验证码存储为一个图片,然后程序休眠20秒,在20秒之后由用户手动查看图片,并把验证码填写 到code.txt文件中,20秒休眠完成后,程序会读code.txt的验证码,这样再带