问题描述
我写了一个采集网页的程序,但第一次采集的时候能采集全了网页但就是采集不到我需要的内容,只要再点一次采集就能采到了DimhttpUrlAsNewSystem.Uri(weburl)Dimi'DimhttpUrlAsNewSystem.Uri("http://www.clickbank.com/marketplace.htm?"&"method=Sort&c=1&subc=2&keywords=&sortBy=popularity&billingType=ALL&locale=EN&i=50")DimreqAsNet.HttpWebRequestreq=CType(Net.WebRequest.Create(httpUrl),Net.HttpWebRequest)DimresAsNet.HttpWebResponse=CType(req.GetResponse(),Net.HttpWebResponse)'以下获取服务器返回信息DimreaderAsIO.StreamReader=_NewIO.StreamReader(res.GetResponseStream,System.Text.Encoding.GetEncoding("GB2312"))DimrespHTMLAsString=reader.ReadToEnd()res.Close()'关闭DimdocAsHtmlDocumentWebBrowser1.DocumentText=respHTMLdoc=WebBrowser1.DocumentDimhttpx=NewArrayList'连接数组'System.Threading.Thread.Sleep(5000)'Callsleep(5000)'MsgBox(doc.Links.Count)'MsgBox(doc.All.Count)Fori=0Todoc.Links.Count-1IfInStr(doc.Links(i).getattribute("href"),"http://zzzzz")>0AndInStr(doc.Links(i).OuterText,"viewpitchpage")<1Thenhttpx.Add(doc.Links(i).OuterText)httpx.Add(doc.Links(i).getattribute("href"))Dimhtml=respHTMLDimhtml1,html2'html1是放总网页,html2是放采集的网页Ifhtml.IndexOf(doc.Links(i).outertext)>0Thenhtml1=html.Substring(html.IndexOf(doc.Links(i).outertext))Ifhtml1.indexof("<br>")-html1.indexof("</b>")-4>0Thenhtml2=html1.substring(html1.indexof("</b>")+4,html1.indexof("<br>")-html1.indexof("</b>")-4)httpx.Add(html2)EndIfEndIfEndIfNext'MsgBox(doc.Links.Count)saveFile(path,httpx)‘保存网页第一次运行的时候doc.Links.Count为空doc.All.Count里有内容如果去掉红色那两行的注视就能采到内容,如果只去掉其中一行就采不到大家帮我看看是哪里的问题啊
解决方案
解决方案二:
路过帮顶=============11月6日,论坛升级公告,积分已经做了调整!http://topic.csdn.net/u/20081107/11/b27dc75f-14b1-4594-9de3-5b18d9e36a11.html此次调整增加了两个新的可用分获取渠道:1:帖子被推荐(加精)后,帖主可以获得88分的可用分奖励;2:帖子结帖后会返还帖主50%的悬赏分,无满意结帖不返还分数;3:接下来会不断增加新的可用分获取途径,比如参与活动赠送等,请大家多关注;