如何能够自动提取网页中的数据,并以DOM 的结构进行分析,而不是以流或者字符串的形式进行解析?

问题描述

各位大虾:小弟想下载一个网页的数据,可是发现对方的网页有种机制就是你不能直接链接到那个下载数据的网页,可能是进行了防盗链处理,必须得层层进入,这是我想解决的问题之一,可否编程解决。问题二到了链接数据的页面每次下完一条数据都有进行10秒钟的网页停顿,就是对方网页会提示等待10秒钟,这可是致命的。小菜,想解决这两个问题,不知道那位大虾赐教。其实有点类似自动注册查询完后自动下载要的数据,如果自动注册查询做不了最起码下数据的时候也不能等10秒啊。DimmywebReqAsWebRequestDimmywebRespAsWebResponseDimsrAsStreamReaderDimstrHTMLAsStringDimswAsStreamWritermywebReq=WebRequest.Create("http://www.baidu.com")mywebResp=mywebReq.GetResponse()sr=NewStreamReader(mywebResp.GetResponseStream,Encoding.Default)strHTML=sr.ReadToEndsw=File.CreateText("e:test2.html")sw.WriteLine(strHTML)sw.Close()sr.Close()简单的代码列在如上。小菜在线等。

解决方案

解决方案二:
路过帮顶=============11月6日,论坛升级公告,积分已经做了调整!http://topic.csdn.net/u/20081107/11/b27dc75f-14b1-4594-9de3-5b18d9e36a11.html此次调整增加了两个新的可用分获取渠道:1:帖子被推荐(加精)后,帖主可以获得88分的可用分奖励;2:帖子结帖后会返还帖主50%的悬赏分,无满意结帖不返还分数;3:接下来会不断增加新的可用分获取途径,比如参与活动赠送等,请大家多关注;

时间: 2024-10-09 05:09:38

如何能够自动提取网页中的数据,并以DOM 的结构进行分析,而不是以流或者字符串的形式进行解析?的相关文章

基于iframe实现ajax跨域请求 获取网页中ajax数据_AJAX相关

大家都知道,在不同域的情况下是不能发送ajax请求的,浏览器会报如下错误: 同时,内嵌的iframe中无法进行跨域通信的,也就是说不同域的iframe是无法互相读取数据的(当然利用hash变化可以从父window传入数据到子iframe,不过并没有什么意义).iframe跨域通信时,浏览器会报如下错误: 其实这两个问题都是由于跨域造成的. 下面就介绍如何解决这个问题. 其实问题的关键就在于,浏览器在解析ajax请求地址时会和当前网页的地址进行比较,如果是跨域的,那就禁止掉并且报错.那么我们如果让

怎么从网页中提取数据?

问题描述 C#程序通过HttpWebRequest和HttpWebResponse获取到网页的源码,我想从中提取出想要的数据,例如股票数据.分析源文件,想要的股票数据应该在下列JS写的网页源码中:<trclass="Tb1Now"><tdclass="Tb1Li">当前价(元)</td><tdid="itemCurrent2"class="red">-</td><

基于iframe实现ajax跨域请求 获取网页中ajax数据

大家都知道,在不同域的情况下是不能发送ajax请求的,浏览器会报如下错误: 同时,内嵌的iframe中无法进行跨域通信的,也就是说不同域的iframe是无法互相读取数据的(当然利用hash变化可以从父window传入数据到子iframe,不过并没有什么意义).iframe跨域通信时,浏览器会报如下错误: 其实这两个问题都是由于跨域造成的. 下面就介绍如何解决这个问题. 其实问题的关键就在于,浏览器在解析ajax请求地址时会和当前网页的地址进行比较,如果是跨域的,那就禁止掉并且报错.那么我们如果让

用js+flash实现网页中复制数据功能

经常在网页上看见"复制本页网址,给你的朋友分享"之类的话,点按钮,在IE下能复制成功,而在firefox和opera等其他浏览器就不行. 下面的例子使用js+flash(as)实现了在不同浏览器里复制的功能,这样做的好处就是规避了浏览器兼容的问题.也就是说支持firefox,IE,OPERA 怎样使用? 代码如下: <html> <head> <title>用js+flash实现网页上的文本复制</title> </head>

js-网页中取数据问题 ,我要在网页中取到别人的数据,存到我自己的数据库中用

问题描述 网页中取数据问题 ,我要在网页中取到别人的数据,存到我自己的数据库中用 (有截图发不了) 哎··· 现在有一个网页显示的层级关系数据,我要取到想办法存到我自己本地设计的对应数据库中, 同事说用js调试取到json,然后想办法存到sql数据库中.求大神指点 解决方案 前台用ajax拿到数据库中取到的json数组,在contorl层重新调用方法注入到你的数据库中去就行了呀! 解决方案二: 用php爬取网页数据---------------------- 解决方案三: 不能编写语言吗,比如说

《Clojure数据分析秘笈》——1.9节从网页中抓取文本数据

1.9 从网页中抓取文本数据网页中的数据并不全都存在表中.一般而言,获取非表格式的数据会更为复杂,而且取决于网页的结构. 1.9.1 准备工作首先,使用与上一种方法中相同的依赖和require声明.接下来,确定需要抓取数据的网页文件.上传一个文件至http://www.ericrochester.com/clj-data-analysis/data/small-sample-list.html.这是一个更接近于现代的网页示例.在这个网页中,使用section和article标签以及HTML5的其

asp.net中怎么在网页读取Global中cache数据?

问题描述 我写的的web程序,在Global.asax.cs文件中Global类中给HttpRuntime.Cache.Insert("JsonData",joo);插入了Json格式的数据,想在网页中把数据读取出来.if(HttpRuntime.Cache!=null){stringjo=HttpRuntime.Cache.Get("JsonData")asstring;Response.Write(jo);}读取的jo是空的,请问怎么回事?我应该怎么取到cach

一起谈.NET技术,在ASP.NET网页间传递数据的五种方法

重点总结 目前为止在ASP.NET网页中传递数据的方式至少有5种: 1.通过查询字符串传递数据. 2.通过HTTP POST传递数据. 3.通过会话状态传递数据. 4.通过源页的公共属性传递数据. 5.通过源页中的控件值传递数据. 到底使用哪种方式来进行数据的传递,这可能受到两方面的影响: 1.页面重定向的方式. 2.源页和目标页是否位于相同的ASP.NET应用程序中. 如果源页和目标页位于不同的ASP.NET应用程序中则只能通过查询字符串和HTTP POST传递数据. 而如果源页和目标页位于相

在ASP.NET网页间传递数据的五种方法

重点总结 目前为止在ASP.NET网页中传递数据的方式至少有5种: 1.通过查询字符串传递数据. 2.通过HTTP POST传递数据. 3.通过会话状态传递数据. 4.通过源页的公共属性传递数据. 5.通过源页中的控件值传递数据. 到底使用哪种方式来进行数据的传递,这可能受到两方面的影响: 1.页面重定向的方式. 2.源页和目标页是否位于相同的ASP.NET应用程序中. 如果源页和目标页位于不同的ASP.NET应用程序中则只能通过查询字符串和HTTP POST传递数据. 而如果源页和目标页位于相