python模拟登陆后，下载网站图片

问题描述

python模拟登陆后，下载网站图片

采用的 urllib2 cookielib 两个包 模拟Cookie及登陆网站，登陆成功后，也筛选出了图片地址，采用urllib2.urlopen打开图片，再写到本地，图片是损坏的，图片打开是花的，怎么使用urllib.urlretrieve下载图片？将urllib2 的cookie值付给urllib.urlretrieve？不然提示无权限下载？高手帮忙

解决方案

根据Need urllib.urlretrieve and urllib2.OpenerDirector together，urlretrieve比urllib2老，不支持cookie。
你使用urllib2.urlopen的时候，有没有为转成浏览器访问和添加Referer？参考用python爬虫抓站的一些技巧总结

时间： 2024-12-28 07:21:42

python模拟登陆后，下载网站图片的相关文章

python模拟登陆网站时一些随机参数是如何生成的？

问题描述 python模拟登陆网站时一些随机参数是如何生成的? 比如登陆新浪微博的时候有survertime nonce这样的随机参数,还有一些网站 会有一些不固定的一大串的参数,这些参数要如何获得?在网页的代码里可以找到生成的过程吗? 解决方案 用fiddler调试下,看看是不是服务器用301跳转加上的,或者用cookie加上的. 解决方案二: 有些是服务器返回的,有些事js运行中动态生成的.

python模拟登陆之验证码与cookies的同步处理思路

自动登陆可能是写爬虫的第一步,如果都不能登陆,很多东西爬不到的.这也不是第一次写包含验证码识别的自动登陆脚本了.这次有点被坑住了,把这次的记录下来. 这次要自动登陆的网站地址是:2013年株洲市中小学教师全员培训   /IndexPage/Index.aspx 先说下思路,好多人写那些不需要验证码识别的自动登陆脚本很容易,只要保存好cookies就可以了,但是对于需要验证码的网站就总是登陆不上去. 对于需要验证码的网站的自动登陆脚本的步骤:(以上面我说的那个网站为例,对于python和其他语言,

python模拟登陆获取和处理发送post request和head数据

今天这篇文章说下如何获取和处理发送post request和head数据. 工具: firefox浏览器及firebug插件. (其他的如httpfox,live http head   ,fiddler,httpwatch  也行) 1.查看分析登陆页面html代码,看是否有iframe 我们写一个自动登录的脚本的时候,先要分析出需要post request和head数据,以及post的网址等.这里,我们先打开firebug开始监控,然后打开网站的登陆页面:/IndexPage/Index.a

网络爬虫-关于用python模拟登陆新浪微博返回内容

问题描述 关于用python模拟登陆新浪微博返回内容 第一次提交登陆信息和参数后,按照网上大神们的代码应该是在返回的内容中找到location.replace(....)提取url然后再访问,但是我post表单后得到的似乎不是登陆页面也不是正常登陆的页面 不知道这是一个什么页面...算是登陆上去了吗? 解决方案 基于python的新浪微博模拟登陆2014_新浪微博模拟登陆_python模拟新浪微博登陆---------------------- 解决方案二: 看上去是一个登录后的判断页面,要看你

登录 授权 第三方帐号-QQ授权登陆后，网站如何提取QQ号，QQ邮箱信息？

问题描述 QQ授权登陆后,网站如何提取QQ号,QQ邮箱信息? QQ授权登陆后,网站如何提取QQ号,QQ邮箱信息,用来新注册一个帐号 解决方案 这2个获取不到,只能获取"昵称.头像.性别 ",QQ会员的基本信息 ,QQ会员的高级信息,获取用户QQ空间相册列表等信息需要申请. 看这个:http://wiki.open.qq.com/wiki/website/API%E5%88%97%E8%A1%A8 解决方案二: 与这个QQ对应的唯一标识就是openid,你可以再让用户补全其他信息 解决方

python模拟登陆新浪微博，设置登录不需要验证码，代码返回验证码错误

问题描述 python模拟登陆新浪微博,设置登录不需要验证码,代码返回验证码错误 网页登陆不需要验证码 代码返回retcode=2070 验证码输入错误 求大神指点 解决方案 用fiddler调试下,看看是否带上了cookie,新浪是否传给你验证码,如果传了,必须先识别. 解决方案二: http://blog.csdn.net/ta790799213/article/details/44205351http://www.crazyant.net/796.htmlhttp://www.2cto.c

php-【PHP求助】通过PHP Curl模拟登陆后抓取远程内容

问题描述 [PHP求助]通过PHP Curl模拟登陆后抓取远程内容 需要抓取的内容:这个页面需要登陆后才能访问http://member1.taobao.com/member/user_profile.jhtml?userID=epni51 如图所示: 解决方案 淘宝有接口实现这个的 解决方案二: 建议你把你的全部需求写出来,出个预算,在猪八戒网或者这里发布一下,或有人直接给你做好的. 解决方案三: 你找到淘宝网的登陆接口,自己用账户名和密码发送到接口登陆后获取返回的cookie,后续的请求附带

爬虫-用python模拟登陆csdn时参数lt要如何获得？

问题描述 用python模拟登陆csdn时参数lt要如何获得? 网上看到代码是用正则表达式,可是我打印出来的网页代码里没有相关的内容,运行 代码用findall返回的也是一个空列表..请问应该在哪里得到lt参数? 解决方案 可能是js运行时动态生成. 解决方案二: 你把你登录时候的lt参数值复制下来,填充到你的程序里面试试.

qq邮箱-QQ授权登陆后，网站如何提取QQ号，QQ邮箱信息？

问题描述 QQ授权登陆后,网站如何提取QQ号,QQ邮箱信息? QQ授权登陆后,网站如何提取QQ号,QQ邮箱信息?QQ授权登陆后,网站如何提取QQ号,QQ邮箱信息? 解决方案 输入框自己做,然后调用QQ授权的接口. 在调用之前,就可以获取到想要的信息. 解决方案二: 这个应该根据QQ的API操作,那里面应该有介绍如何获取QQ相关信息 解决方案三: QQ授权接口的开发人员文档里肯定有说明的 解决方案四: php之qq登陆