问题描述
请求.net大神搭建一个！！！
解决方案
解决方案二：
YOUMEIYOU
解决方案三：
网络爬虫都是要定向写的，哪有通用的
解决方案四：
你说的是方法？还是爬具体某个网站？后者的话你还是老老实实自己写吧，前者，不就是获取http返回的内容么？c#发个http请求总会吧
解决方案五：
比如你抓网易新闻列表，分析列表结构，url结构，取标题，内容，生成索引
解决方案六：
都是有针对性的抓吧，不过有些通用的部分可以考虑写出来共享
解决方案七：
爬虫其实并不难写，主要是有这个需要么？难道还想做一个百度？要根据需求来做才是，比如说一些网站采CSDN的信息然后做成垃圾站，针对性做还好，不然爬N层真心没必要
解决方案八：
如果你想爬别人网站上面的数据有专门的工具，你可以百度搜索一下，你要想写代码那就每个网站么个页面都得自己写。
解决方案九：
解决方案十：
解决方案十一：
有爬虫的codeproject上面有。不过这个东西运行效率不高。爬虫一定要高效百度的爬虫是c做出来的。连c++都不能有。我那时候被面试。上面明确表明linux加c。不能写成c++因为c++效率也下降了一点。
解决方案十二：
去OSChina，看一下NCrawler，据说是C#写的
解决方案十三：
不同的站点数据匹配是不一样的。并没有通用的。
解决方案十四：
提供个思路吧：1.利用正则表达式分析网页中的连接2.递归的去爬取网页的链接3.为了去除已经爬过的网站，利用hash其实写爬虫最多遇到的问题是服务器屏蔽爬虫，所以怎么和服务器斗智斗勇是最关键的。。。
时间： 2024-09-23 20:15:54