关于网站数据采集软件的问题

问题描述

看见一个网站数据采集软件，可以把卓越当当上的所有书目信息全部保存到本地。该软件还提供定时更新，修改价格等功能。（就不贴软件的网址了）。有没有知道这个软件的工作原理的？卓越那边是数据库，可那个软件怎么就能得到数据库的一些详细数据呢？在网上搜索了一下，好像有个说是什么webserver技术？知道的帮忙解答一下，谢谢！

解决方案

解决方案二：
这就是web蜘蛛啊！基本上的原理是：1、不断的发送http请求，然后得到服务器的数据，就像是使用IE浏览页面。2、得到服务器的数据后，进行分析，得到有用的字符串或者是数据。3、保存到本地服务器。至于服务器端，可以采用web的方式，如asp、jsp、php等。当然也可以采用web服务。
解决方案三：
分析HTML页面中的内容把需要的取出来，保存起来不断的发送请求，获取HTML页面，分析，保存
解决方案四：
mark
解决方案五：
原来的时候有个火车头，好象有源代码
解决方案六：
就是把网页的HTML爬下来，然后写正则分析页面的数据，再所数据保存到数据库中。。。很简单的。。HttpWebRequestrequest=(HttpWebRequest)WebRequest.Create(url);;WebResponseresponse=request.GetResponse();Streamstream=response.GetResponseStream();StreamReaderreader=newStreamReader(stream,Encoding.GetEncoding("gb2312"));//读取获得内容流stringHTML=reader.ReadToEnd();