php-【PHP求助】通过PHP Curl模拟登陆后抓取远程内容

问题描述

【PHP求助】通过PHP Curl模拟登陆后抓取远程内容

需要抓取的内容：这个页面需要登陆后才能访问
http://member1.taobao.com/member/user_profile.jhtml?userID=epni51

如图所示：

解决方案

淘宝有接口实现这个的

解决方案二：

建议你把你的全部需求写出来，出个预算，在猪八戒网或者这里发布一下，或有人直接给你做好的。

解决方案三：

你找到淘宝网的登陆接口，自己用账户名和密码发送到接口登陆后获取返回的cookie，后续的请求附带上获取的cookie信息就行。

也有个偷懒的办法，就是自己用浏览器先登录淘宝。然后用浏览器开发工具查看获取到的cookie信息，将这些cookie信息附带到你的php请求里面就行了，可以省略模拟登陆那个步骤

时间： 2024-09-13 23:57:26

php-【PHP求助】通过PHP Curl模拟登陆后抓取远程内容的相关文章

PHP CURL模拟登录新浪微博抓取页面内容 基于EaglePHP框架开发_php技巧

复制代码 代码如下: /** * CURL请求 * @param String $url 请求地址 * @param Array $data 请求数据 */ function curlRequest($url,$data='',$cookieFile=''){ $ch = curl_init(); $option = array( CURLOPT_URL => $url, CURLOPT_HEADER =>0, CURLOPT_RETURNTRANSFER => 1, ); if($co

Python使用Srapy框架爬虫模拟登陆并抓取知乎内容_python

一.Cookie原理HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制 Cookie是http消息头中的一种属性,包括: Cookie名字(Name)Cookie的值(Value) Cookie的过期时间(Expires/Max-Age) Cookie作用路径(Path) Cookie所在域名(Domain),使用Cookie进行安全连接(Secure) 前两个参数是Cookie应用的必要条件,另外,还包括Cookie大小(Size,不同浏览器对Cookie个数及大小

php 论坛采集程序 模拟登陆，抓取页面 实现代码_php实例

复制代码 代码如下: <?php // 吴燕军 // 2009-06-27 // 采集程序php set_time_limit(0); //cookie保存目录 $cookie_jar = '/tmp/cookie.tmp'; /*函数------------------------------------------------------------------------------------------------------------*/ //模拟请求数据 function req

使用Curl进行抓取远程内容时url中文编码问题

PHP中对于URL进行编码,可以使用 urlencode() 或者 rawurlencode(),二者的区别是前者把空格编码为 '+',而后者把空格编码为 '%20',不过应该注意的是,在编码时应该只对部分URL编码,否则URL中的冒号和反斜杠也会被转义.下面是详细解释:     1 string urlencode( string str) 返回字符串,此字符串中除了 -_. 之外的所有非字母数字字符都将被替换成百分号(%)后跟两位十六进制数,空格则编码为加号(+).   例子 1 :urle

使用Curl进行抓取远程内容时url中文编码问题示例探讨_php技巧

PHP中对于URL进行编码,可以使用 urlencode() 或者 rawurlencode(),二者的区别是前者把空格编码为 '+',而后者把空格编码为 '%20',不过应该注意的是,在编码时应该只对部分URL编码,否则URL中的冒号和反斜杠也会被转义.下面是详细解释: 复制代码 代码如下: string urlencode( string str) 返回字符串,此字符串中除了 -_. 之外的所有非字母数字字符都将被替换成百分号(%)后跟两位十六进制数,空格则编码为加号(+). 例子 1 :u

php通过curl模拟登陆DZ论坛

  本文章来给各位同学介绍一下关于Php CURL模拟登陆论坛并采集数据实例,如果你对利用curl模拟登录功能有兴趣可进入参考. libcurl同时也支持HTTPS认证.HTTP POST.HTTP PUT. FTP 上传(这个也能通过PHP的FTP扩展完成).HTTP 基于表单的上传.代理.cookies和用户名+密码的认证. ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 3

请教下带验证码的网站怎么用php curl模拟登陆呢？

问题描述 请教下带验证码的网站怎么用php curl模拟登陆呢? www.xianbao5.com 这个网站用CURL post登录 谁会能教教我吗? 主要是怎么获取这个网站的验证码?人工输入也可以 我在抓包工具找到了验证码的网址,是 http://www.xianbao5.com/misc.php?mod=seccode&update=11212&idhash=cSB0PJ9T 但是不知道为什么直接在浏览器访问却没有东西! <?php header("content-Ty

phpcurl-php用curl模拟登陆问题，出现 Object reference ..

问题描述 php用curl模拟登陆问题,出现 Object reference .. 我用cur模拟登陆网站是,出现错误Object reference not set to an instance of an object.. 我用浏览器登陆时的post参数和我curl中参数时一样的,没问题. 我在代码中添加了 $D为cookies信息. curl_setopt($curl, CURLOPT_COOKIE, $D); 因为需要验证码登陆. 但是模拟登陆中头信息中缺少了 cookies. 我想是

setopt-用php的curl模拟登录后自动跳转问题

问题描述 用php的curl模拟登录后自动跳转问题 我在使用curl模拟登陆时,模拟登录成功了,但是成功之后总是会自动跳转到另一个页面,请问我怎样才能使它不自动跳转呢? $url = "http://class.sise.com.cn:7001/sise/login_check.jsp"; // 设置cookie保存路径 $cookie = dirname(__FILE__) . '/cookie_student.txt'; $curl = curl_init();//初始化curl模