java 获取网页源码(包括js动态生成的)

问题描述

不知道那位大侠做过类似的东西,我现在就想做一个能够对网页源码解析的一个小工具,可是我试了很多种方式都不行;都说HtmlUnit这个可以加载Js生成的数据,可是我用了还是不行,HttpClient这个只能得到静态生成的网页源码。各位高手给个案例,谢谢!

解决方案

解决方案二:
js动态生成的代码需要分析理解函数调用产生的结果代码(一部分是猜)。
解决方案三:
jsoup可能会实现吧
解决方案四:
jsoup也不行,就是不知道如何模拟网页执行后的过程
解决方案五:
如果确实需要那就自己模拟个浏览器吧.
解决方案六:
怎么模拟呀,没做过
解决方案七:
自己分析,看看数据。模拟参数。
解决方案八:
没做过,当然就不知道了,能不能再具体一点
解决方案九:
引用7楼qingyunzhuimeng的回复:

没做过,当然就不知道了,能不能再具体一点

楼主问题解决了吗?我现在也遇到了相同的问题

时间: 2024-09-20 23:36:57

java 获取网页源码(包括js动态生成的)的相关文章

java获取网页源码的问题

问题描述 我用java获取到网页的源代码,url为www.google.com/#q=测试这个链接在浏览器中正常解析为简体,即浏览器中的html源码为UTf-8格式,而我用java程序抓下来的html却为big5格式的,不知道这是为什么,求大神解答,谢谢!!! 解决方案 解决方案二:你的java编码是big5的吧

技术-用jsoup抓取网页获取网页源码的时候,得到的源码和在网站上面点击右键查看源码不相同,怎么解决

问题描述 用jsoup抓取网页获取网页源码的时候,得到的源码和在网站上面点击右键查看源码不相同,怎么解决 用jsoup抓取网页获取网页源码的时候,得到的源码和在网站上面点击右键查看源码不相同,怎么解决 Document doc = Jsoup.parse(new URL(url), 5000); 解决方案 一部分html是ajax异步加载的,你得用fiddler调试,得到这些请求,照着写 解决方案二: C++ 抓取网页的源码获取网页的源码获取网页源码工具类

android获取网页源码问题

问题描述 android获取网页源码问题 以下是我从网上找的获取网页源码的 代码 所有包都已经正常导入 但是编译后 程序一运行就崩溃 求大神指点import 略; /** @author Jasonzhou @since 2013-03-21 @功能 读取网页内容 @说明 获取网页的全部代码后使用jsuop进行处理, 以便得到想要的内容**/ public class MainActivity extends Activity { public String url = ""http:

HttpURLConnection获取网页源码 网址太长不能正确获取数据

问题描述 HttpURLConnection获取网页源码 网址太长不能正确获取数据 我用HttpURLConnection获取网页源码 当网址比较长的时候就无法正确连接到网页是怎么回事? 代码如下: private String getURLResponse(String urlString){ HttpURLConnection conn = null; //连接对象 InputStream is = null; String resultData = ""; try { URL u

utf-8-WinHttpRequst获取网页源码乱码

问题描述 WinHttpRequst获取网页源码乱码 返回的网页编码是utf-8的,我这样转显示乱码,应该怎么做 CString strRetData; _variant_t varRspBody = pHttpReq->GetResponseBody(); char *pContentBuffer = (char *)varRspBody.parray->pvData; strRetData = pContentBuffer; 解决方案 获取网页源码c# 获取网页源码C#获取网页源码 解决方

ie源码-VB获取网页源码,高手指导!

问题描述 VB获取网页源码,高手指导! Private Sub Command4_Click() ' On Error Resume Next Dim baiIE As Object For Each baiIE In dWinFolder If InStr(1, baiIE.FullName, "", vbTextCompare) <> 0 Then If InStr(1, baiIE.LocationURL, "www.taobao.com", vb

IHTMLDocument2获取网页源码时总是弹出安全警告

问题描述 .net中当获取网页源码时总是提出安全警告,代码如下:publicstaticstringGetDynamicHtmlFromUrl(stringsinaUrl,Encodingencoding){mshtml.HTMLDocumenthtmldoc=newmshtml.HTMLDocument();mshtml.IHTMLDocument2htmldoc2;mshtml.IHTMLDocument3htmldoc3;IPersistStreamInitips=(IPersistStr

webview可以获取网页源码,进行重新排版吗

 private void getHtml_data(String Url, int FontSize) {                 String text = "";                try {                        URL url = new URL(Url);                        URLConnection conn;                         conn = url.openConnec

Android: 在WebView中获取网页源码

1. 使能javascript:  ? 1 webView.getSettings().setJavaScriptEnabled(true); 2. 编写本地接口 ? 1 2 3 4 5 final class InJavaScriptLocalObj {     public void showSource(String html) {         Log.d("HTML", html);     } } 3. 向网页暴露本地接口 ? 1 webView.addJavascrip