多线程蜘蛛程序的实现

多线程蜘蛛程序是一个很有用的组件, 我在自己开发的Spider Studio中也提供了一个. 在设计上我尽量遵循使用简 单的原则, 大量使用dynamic对象的特性, 使得代码非常精简灵活, 通过17行就能实现一个功能比较齐全的蜘蛛程序. 现 在和大家分享一下:

public void Run()
{
    dynamic link = new ExpandoObject();
    link.Url = "http://news.163.com";
    Spider.AddLink(link);
    Spider.Downloaded += new DownloadedEventHandler((object sender, DownloadedEventArgs e) => {
        Logger.Log(e.Page.Link.Url);
        foreach(var l in e.Page.SubLinks)
        {
            if(l.Depth <= 2) Spider.AddLink(l); //只采集Depth在2以内的网页
        }
    });
    Spider.ErrorOccurred += new ErrorOccurredEventHandler((object sender, ErrorOccurredEventArgs e) => 

{ Logger.Log(e.Error.Message); });
    Spider.Start(10); //启动10个线程运行
    Spider.Wait(); //等待所有线程完成
    Spider.Stop();
}

Spider会用到如下几个对象, 大部分是dynamic的 (这里用JSON来示例):

Link - { Url:"string", Title:"string", Depth:1 }

DownloadedEventArgs - { Page: { Link: { Url:"string", Title:"string", Depth:1 }, Html: "string", SubLinks: [{ Url:"string", Title:"string", Depth:1 }]} }

ErrorOccurredEventArgs - { Error: ExceptionType }

简单来说, 就是:

Link有三个属性: Url (字符串), Title (字符串) 和Depth (整形);

DownloadedEventArgs有一个属性: Page, Page又有三个属性: Page.Link (Link类型), Html (字符串) 和 SubLinks (Link数组);

ErrorOccurredEventArgs有一个属性: Error (Exception类型)

运行情况:

查看本栏目更多精彩内容：http://www.bianceng.cnhttp://www.bianceng.cn/Programming/extra/

以上是小编为您精心准备的的内容，在的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索string
， 多线程
， link
， spider
， page
， 程序link
， 字符串link
一个
多线程有几种实现方法、java多线程实现方式、实现多线程的两种方法、java实现多线程、多线程实现方式，以便于您获取更多的相关知识。