htmlunit2.9 新浪微博 登录问题

问题描述

finalWebClientwebClient=newWebClient();webClient.setActiveXNative(true);webClient.setJavaScriptEnabled(true);finalHtmlPagepage=webClient.getPage("http://www.weibo.com");

执行getPage方法时,出现如下错误runtimeError:message=[Thedatanecessarytocompletethisoperationisnotyetavailable.]sourceName=[http://js.t.sinajs.cn/STK/js/gaea_1_19.js]这个js文件在浏览器里是可以获得的。请问错误原因是什么,是httpunit不支持这个js?刚接触httpunit,想用它来抓取微博数据,还望高手赐教谢谢!日志如下2012-6-1921:29:56org.apache.http.client.protocol.ResponseProcessCookiesprocessCookies警告:Cookierejected:"[version:0][name:U_TRS1][value:00000012.8a0e1b6.4fe07ed3.0ee7cc68][domain:.sina.com.cn][path:/][expiry:FriJun1721:29:55CST2022]".Illegaldomainattribute"sina.com.cn".Domainoforigin:"www.weibo.com"2012-6-1921:29:56org.apache.http.client.protocol.ResponseProcessCookiesprocessCookies警告:Cookierejected:"[version:0][name:U_TRS2][value:00000012.8a1a1b6.4fe07ed3.edf885ed][domain:.sina.com.cn][path:/][expiry:null]".Illegaldomainattribute"sina.com.cn".Domainoforigin:"www.weibo.com"2012-6-1921:31:31com.gargoylesoftware.htmlunit.IncorrectnessListenerImplnotify警告:Obsoletecontenttypeencountered:'application/x-javascript'.2012-6-1921:31:32com.gargoylesoftware.htmlunit.javascript.host.html.HTMLDocumentjsxFunction_getElementById警告:getElementById(script1340112692418)didagetElementByNameforInternetExplorer2012-6-1921:31:32com.gargoylesoftware.htmlunit.javascript.StrictErrorReporterruntimeError严重:runtimeError:message=[Thedatanecessarytocompletethisoperationisnotyetavailable.]sourceName=[http://js.t.sinajs.cn/STK/js/gaea_1_19.js]line=[1]lineSource=[null]lineOffset=[0]2012-6-1921:31:32com.gargoylesoftware.htmlunit.javascript.host.html.HTMLElementjsxFunction_addBehavior警告:Unimplementedbehavior:#default#userdata

解决方案

解决方案二:
请问楼主这个问题解决了么?我最近也碰到这个问题~qq:737361039,我也在做对微博数据的获取,获取咱们可以一起交流一下~
解决方案三:
我也碰到这个问题了~~
解决方案四:
WebClientwebClient=newWebClient(BrowserVersion.CHROME);webClient.getOptions().setThrowExceptionOnScriptError(false);webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);webClient.getOptions().setJavaScriptEnabled(true);webClient.getOptions().setActiveXNative(false);webClient.getOptions().setCssEnabled(false);webClient.getOptions().setThrowExceptionOnScriptError(false);webClient.waitForBackgroundJavaScript(10*1000);webClient.setAjaxController(newNicelyResynchronizingAjaxController());webClient.getOptions().setJavaScriptEnabled(true);HtmlPagepage=webClient.getPage("http://xiayanmei168.1688.com/page/albumlist.htm");System.out.println(page.asXml());System.out.println(page.getWebResponse().getContentAsString());
解决方案五:
同样遇到这个问题了求高人解决~~~
解决方案六:
你看一下文档里面有说明,如果要执行javascript需要线程wait或者sleep,只需要线程等待一会儿就没有错了

时间: 2024-07-31 06:20:58

htmlunit2.9 新浪微博 登录问题的相关文章

java web网站集成新浪微博登录

  给网站添加第三方登录的功能,研究了下新浪微博登录的接口,本来想使用它提供的那种js代码库的方式,结果始终搞不定,由于不精通js只能够放弃.下载了个java的SDK包:weibo4j-oauth2-beta2.1.1,研究了下,虽然出了一些问题,但还是很快集成到网站里面了. 首先,把一些必要的包和java类负责到自己的工程文件: 修改config文件里面的client_ID,client_SERCRET,redirect_URI. 自己在登录页面写一个微博登录按钮,超链接到名字为OAuth4C

Python模拟新浪微博登录

看到一篇Python模拟新浪微博登录的文章,想熟悉一下其中实现方式,并且顺便掌握python相关知识点. 代码 下面的代码是来自上面这篇文章,并稍作修改添加了一些注释. # -*- coding: utf-8 -* import urllib2 import urllib import cookielib import lxml.html as HTML class Fetcher(object): def __init__(self, username=None, pwd=None, cook

爬虫-关于新浪微博登录问题

问题描述 关于新浪微博登录问题 各位大神,我尝试着采用http://blog.csdn.net/ajaxhu/article/details/38983209所说的方法,通过输入gsid_CTandWM值的方式登录新浪微博并实现数据抓取,但是访问每一个页面时都显示并未登录,不知道是什么问题,还请各位熟悉WebCollector的大神帮我解答,多谢多谢!!!

python使用rsa加密算法模块模拟新浪微博登录_python

PC登录新浪微博时,在客户端用js预先对用户名.密码都进行了加密,而且在POST之前会GET一组参数,这也将作为POST_DATA的一部分.这样,就不能用通常的那种简单方法来模拟POST登录(比如人人网). 通过爬虫获取新浪微博数据,模拟登录是必不可少的. 1.在提交POST请求之前,需要GET获取四个参数(servertime,nonce,pubkey和rsakv),不是之前提到的只是获取简单的servertime,nonce,这里主要是由于js对用户名.密码加密方式改变了. 1.1 由于加密

qq登录,新浪微博登录接口申请过程中遇到的问题_php实例

1,qq登录接口申请 申请地址是:http://connect.opensns.qq.com/,登录进去后,点击右上方的登录.然后填写信息就行了. 我遇到的问题是在域名审核时,域名审核就是不通过,没办法我就发邮件给qq互联的客服,邮件地址是connect@qq.com.qq还是挺给力的2,3个工作日就能给你审核通过. 审核通过后,开发接口并上线,在登录http://connect.opensns.qq.com/,申请上线,如果不申请上线的话,登录个数有限制. 2,新浪微博接口申请 申请地址是:h

php新浪微博登录接口用法实例_php技巧

本文实例讲述了php新浪微博登录接口用法.分享给大家供大家参考.具体分析如下: 在做微博登陆之前是需要申请到APP KEY 和App Secret,这个的申请方式请去 open.weibo.com 申请相关内容. 在官网也有相关的开发文档http://open.weibo.com/wiki/可以查看相关资料,我这里下载的php的SDK直接进行的web网站应用. 下载SDK,配置好config文件,代码如下: 复制代码 代码如下: <?php header('Content-Type: text/

密码泄露解决对策——“新浪微博登录”为账号安全护航

中介交易 SEO诊断 淘宝客 云主机 技术大厅 近日,CSDN.天涯等多家知名互联网站发生大规模用户密码泄露事件, 600万CSDN用户.4000万天涯用户的账号密码在互联网上公开传播,密码泄露事件还引发连锁反应.据悉,这些被黑客侵袭的网站均以明文保存用户密码,即黑客只要进入数据库无需解密即可获得所有用户信息.这也引发了网民对于其他网站是否同样以明文保存密码的担忧. 对此,新浪微博相关负责人表示,微博用户账号信息采用加密存储,不存在被"拖库"可能.极小部分微博用户因使用和其他网站相同的

CI框架开发新浪微博登录接口源码完整版_php实例

首先来看下流程:流程原理:     1.通过code获得access_token通过授权,并获取用户的信息(包括用户u_id)(这个u_id在后面的第三方登录表里面叫sina_id,那个表是需要自己建的)     2.查询第三方登录表,如果不存在用户sina_id,分2种情况,一:用户在平台已经有帐号,这时需要把平台(比如:平台的用户表是:user_reg)用户id绑定到第三方登录表(比如是:third_login表),然后就让客户登录;                             

仿新浪微博登录的邮箱地址自动补全功能

首先,来看一下登录新浪微博的效果图: 当你开始输入你的电子邮箱前的帐号时,就会出现常用邮箱的列表,并自动补齐. 实现的时候,首先在页面上放一个输入文本框和一个div.将div隐藏: 电子邮件:<input id="email" name="email" type="text" autocomplete="off" /> <div id="auto-show"> </div>