关于采集程序的登陆问题

问题描述

现在要采集一个网站的数据，前提是这个网站需要登陆才能看到企业的联系方式，原以为只要我在这个网站注册登陆了用WebClient类就可以直接采集，但是发现下载的源代码企业联系方式区域还是看不到，这个网站用户信息是保存在Session中。要想看到企业联系方式区域的源代码在程序怎样实现？我在网上看了好像用Ethereal侦测Session信息，请问各位大侠具体应该怎么实现？在线跪求答案！！！

解决方案

解决方案二：
不能去抓取网页读取吗？
解决方案三：
mark
解决方案四：
http://www.cnblogs.com/hongyin163/archive/2009/02/11/1388615.html这个应该能解决你的问题
解决方案五：
保存在Session中也没有关系，可以实现抓取的功能，可能有一些必要页面没有访问，比如在Login.aspx登陆后，跳转到Main.aspx中去记录Session信息，然后又跳到Index.aspx中，如果你没有访问Main.aspx，当然你就不能保存用户信息,建议你使用Fiddler2来截获网站地址，从而分析网站的登录流程，这样你就可以抓取到页面了。使用HttpWebRequest,HttpWebResponse来抓取页面

时间： 2024-10-28 06:58:21

关于采集程序的登陆问题的相关文章

php 论坛采集程序 模拟登陆，抓取页面 实现代码_php实例

复制代码 代码如下: <?php // 吴燕军 // 2009-06-27 // 采集程序php set_time_limit(0); //cookie保存目录 $cookie_jar = '/tmp/cookie.tmp'; /*函数------------------------------------------------------------------------------------------------------------*/ //模拟请求数据 function req

怎么优化采集程序

问题描述 自己写了个采集程序练手,初学者近几天测试的时候发现个问题,一开始采集A站的时候数据和速度还可以,但越往后采集越慢,数据越少,最后IE打开A站的时候比原来的电话线还要慢后来问用其他采集程序的朋友,他们说访问还可以,不慢:后来发现重起自己的路由再次采集速度又好了,但再经过几次采集,速度又降下来了,应该得知,采集变慢的并不是服务器而是我本地的网络,程序里已经将reader.close(),response.close,request.abort(),不知道是哪里的问题导致出来这种情况但访问非

用xmlhttp编写web采集程序_小偷/采集

晰带语法着色的版本:http://gwx.showus.net/blog/article.asp?id=229 原创很辛苦,转载请注明原文链接:http://gwx.showus.net/blog/article.asp?id=229 web采集程序?网页抓取程序?小倫程序?不管怎么叫,这种程序应用倒是蛮广的.本文不讨论这种使用这种程序引起的版权或道德问题,只谈这种程序在ASP+VBScript环境下的实现 :-) 预备知识:除了一般的ASP+VBScript的知识外,你还需要了解xmlhttp

用xmlhttp编写web采集程序

晰带语法着色的版本:http://gwx.showus.net/blog/article.asp?id=229 原创很辛苦,转载请注明原文链接:http://gwx.showus.net/blog/article.asp?id=229 web采集程序?网页抓取程序?小倫程序?不管怎么叫,这种程序应用倒是蛮广的.本文不讨论这种使用这种程序引起的版权或道德问题,只谈这种程序在ASP+VBScript环境下的实现 :-) 预备知识:除了一般的ASP+VBScript的知识外,你还需要了解xmlhttp

浅谈自动采集程序及入库ASP的实现

采集|程序|采集     最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单. 原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页,然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中.其主要的优点便是无需再手工添加大量的信息了,可以指定对某一个站信息的截取进行批量录入,达到省时省力的目的.与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站.

浅谈ASP自动采集程序及入库

采集|程序 最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单.原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页,然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中.其主要的优点便是无需再手工添加大量的信息了,可以指定对某一个站信息的截取进行批量录入,达到省时省力的目的.与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站.简单事例: 1<

浅谈ASP程序实现自动采集程序及入库

采集|程序 <%'声明取得目标信息的函数,通过XML组件进行实现.Function GetURL(url) Set Retrieval = CreateObject("Microsoft.XMLHTTP") With Retrieval .Open "GET", url, False.Send GetURL = bytes2bstr(.responsebody)'对取得信息进行验证,如果信息长度小于100则说明截取失败if len(.responsebody)

浅谈自动采集程序及入库

采集|程序|采集 <SPAN id=ArticleContent1_ArticleContent1_lblContent><SPAN style="FONT-SIZE: 12px">最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单.<BR>原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页,然后批量截取或替换原有的

ASP读取XML实例 优酷专辑采集程序 雷锋版_应用技巧

复制代码 代码如下: <title>雷锋|优酷-专辑 采集程序</title></head> <form name="form1" method="post" action="?action=add"> <table width="95%" border="0" align="center" cellpadding="0&q