采集程序设计经验交流(二)——下载网页

  采集程序设计经验交流(二)——下载网页(1)

  “小网站本不需要维护,只是因为你的程序太笨了,所以你成了无休止的网站维护者。”

  网页下载方法1(XMLHTTP应用)

  用到的对象:XMLHTTP,只需三行代码,即可完成网页下载:

  第一步:创建对象

  Set ms = CreateObject("Microsoft.XMLHTTP")

  这行代码用于创建一个xmlhttp对象,其中ms为创建对象的名称,ASP编程经常用到,可以随便写,不再赘述。

  第二步:设置参数

  ms.open "GET",url,False

  其中url是要下载网页的网址,把它换成你的目标网页网址即可,格式为:http://www.99jpw.cn,一定要写完整,不可省略http://;

  “GET”是打开的方法,当然也可以用POST,产生的效果和HTML里的表单提交方式是一样的。

  第三步:发送数据

  ms.Send()

  此行代码用于发送数据并下载,下载后的数据储存在变量responsebody里。

  下面我们以下载“点点机票网(http://www.66666999.com)”首页为例进行一下说明

  代码:

  Set ms = CreateObject("Microsoft.XMLHTTP")

  ms.Open "GET","http://www.99jpw.cn",False

  ms.Send()

  response.write ms.responseBody

  运行以上代码大家可以发现,我们已经成功下载了http://www.66666999.com

  这里有个问题需要注意一下,8630.html">有时候网址很长,直接加在第二行代码里会显得很乱,那么,我们可以用一个变量来代替一下,如下:

  url="http://www.99jpw.cn"

  Set ms = CreateObject("Microsoft.XMLHTTP")

  ms.Open "GET",url ,False

  ms.Send()

  response.write ms.responseBody

  这样以来代码就变得整齐多了。

时间: 2024-12-22 11:44:35

采集程序设计经验交流(二)——下载网页的相关文章

xhtml+css网页制作中常见问题解决方法_经验交流

无论是谁,在制作页面的过程都是会碰到这样或者那样的问题,出了问题就肯定要解决.解决问题的前提是要知道问题出在什么地方,对于新手来说不一定一看到问题就知道问题出在哪里.比如在IE6中"多了一只猪"的问题,对于一些问题需要更多的经验交流分享吸收后才能更好的成长. 在网络中我想大家都有提过问题,需要别人解答的时候,但往往是你的一个问题却得不到任何人给你的解答,或者说是完全被无视了.对于这个时候的你,是不是在想"难道是因为我这个问题太简单了,他们都不想回答""他们

CSS中常用的单位_经验交流

一.长度单位  长度单位是Web页设计中最常用的一个单位.一个排列无序.杂乱无章的页面不可能给人们留下什么好的印象.于是,在设计的时候需要为元素的位置.尺寸精确地定义一些值,以使其达到预期的效果.  CSS给予人们精确控制网页的能力,这一点为人们津津乐道.它允许人们定义外观.尺寸.空间及其他的样式.但是,CSS所给出的控制同时也是一个危险的东西,这不仅表现在设计者缺乏经验,更在于如何给出一个尺寸和空间值.为什么呢?因为一个设计者虽然能够决定某一个特殊的屏幕分辨率,但是不可能决定别人的大脑

如何用C#写代码批量下载网页上提供的附件。

问题描述 如何用C#写代码批量下载网页上提供的附件. 在一个网页上有一个导出PDF文件的功能,是当点击这个按钮后,执行一个脚本,然后弹出文件下载另存为的对话框进文件的下载功能. 现在希望用C#实现自动批量的下载并保存这些PDF文件. 求实现方法,谢谢! 解决方案 用webclient.downloadfile或者httpwebrequest去下载. 解决方案二: 建议压缩成ZIP包后再下载. 解决方案三: 执行的是一个脚本,现在我可以实现通过代码模拟这个单击操作,执行这个脚本,但是如何能得到下载

nodejs通过phantomjs实现下载网页

  这篇文章主要介绍了nodejs通过phantomjs实现下载网页的方法,有需要的小伙伴可以参考下. 功能其实很见简单,通过 phantomjs.exe 采集 url 加载的资源,通过子进程的方式,启动nodejs 加载所有的资源,对于css的资源,匹配css内容,下载里面的url资源 当然功能还是很简单的,在响应式设计和异步加载的情况下,还是有很多资源没有能够下载,需要根据实际情况处理下 首先当然是下载 nodejs 和 phantomjs 下面是 phantomjs.exe 执行的 dow

Shopify的Docker实战经验(二)如何用容器支持10万的在线商店

本文讲的是Shopify的Docker实战经验(二)如何用容器支持10万的在线商店,[编者的话]Shopify是一个电子商务平台,提供专业的网上店面.目前的客户超过12万,包括GE.特斯拉汽车.GitHub等.作为首家市值超过10亿美元的加拿大网络公司,Shopify在欧美市场的影响力也与日俱增.Shopify是一个大型的Ruby on Rails应用,其产品服务器能通过给1700个处理核心和6TB RAM分配任务来完成每秒处理8000多个请求.Shopify在其博客上分享了系列内容来介绍他们的

Lotus经验交流群:93214150,欢迎你!

问题描述 Lotus经验交流群:93214150,欢迎你! 解决方案 解决方案二:....解决方案三:ggg

急~~socket下载网页

问题描述 如题我能接收到网页信息,但只有http头正常,内容全是乱码.是我接收不对,还是转换编码不对?网页编码是UTF-8,用UTF-8和ASCII都是乱码.下面是接收Byte[]bytesReceived=newByte[1024];intbytes=1;stringpage="";do{bytes=socket.Receive(bytesReceived,bytesReceived.Length,0);page+=Encoding.ASCII.GetString(bytesRece

Python使用scrapy采集数据过程中放回下载过大页面的方法_python

本文实例讲述了Python使用scrapy采集数据过程中放回下载过大页面的方法.分享给大家供大家参考.具体分析如下: 添加以下代码到settings.py,myproject为你的项目名称 复制代码 代码如下: DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.LimitSizeHTTPClientFactory' 自定义限制下载过大页面的模块 复制代码 代码如下: MAX_RESPONSE_SIZE = 1048576 # 1Mb fro

asp.net用迅雷下载文件总是变成下载网页 ,有什么办法可以解决????????

问题描述 asp.net用迅雷下载文件总是变成下载网页,有什么办法可以解决?? 解决方案 解决方案二:这是迅雷监视了下载,么有办法吧解决方案三:你下载代码是不是有问题?解决方案四:直接链接文件就不会了解决方案五:代码没问题的,用IE下载就没问题,同时文件格式不是TXT也没问题解决方案六:直接链接文件具体怎样操作