Heritrix中CrawlURI类什么意思？

问题描述

Heritrix中CrawlURI类什么意思？最近在研究Heritrix源码，不明白Heritrix的CrawlURI类和CandidateURI啥意思？

解决方案

CrawlURI类和CandidateURI类都是Heritrix对URL进行处理的核心类。CrawlURI代表一个候选URL，CandidateURI也是一个URL，在被发现或检查通过后会被加到队列。CrawlURI和CandidateURI的区别在于CrawlURI是由通过了调度器(Frontier)的CandidateURI转换而来的。具体你可以看看这篇博客：http://www.yun5u.com/articles/heritrix-1-crawluri.html
解决方案二：
看下 liuxinglanyue的博客，是对Heritrix源码的分析，会给你启发的http://liuxinglanyue.iteye.com/blog/818418

时间： 2024-10-24 01:59:17

Heritrix中CrawlURI类什么意思？的相关文章

Python中的类与对象之描述符详解

 这篇文章主要介绍了Python中的描述符详解,属于Python学习过程中类与对象的基本知识,需要的朋友可以参考下     描述符(Descriptors)是Python语言中一个深奥但却重要的一部分.它们广泛应用于Python语言的内核,熟练掌握描述符将会为Python程序员的工具箱添加一个额外的技巧.为了给接下来对描述符的讨论做一些铺垫,我将描述一些程序员可能会在日常编程活动中遇到的场景,然后我将解释描述符是什么,以及它们如何为这些场景提供优雅的解决方案.在这篇总结中,我会使用新样式类来指代

Delphi从Dll中导出类

从Dll中导出类 ,想必大家首先想到的是使用 bpl 包.这种方式有一个不好 ,那就是使用者必须清楚这个包中含有那些类 ,也就是说必须知道类的名字 -- 这在一定意义上是个限制 ,试想一种情况 ,使用者定义了一个底层的抽象类 (abstract class),然后在此基础上定义了许多应用类 (concrete class),那么 ,对于使用者来说 ,他希望在不知道具体有哪些类的情况下能使用这些类 -- 这 么说似乎有些玄 ,但实际情况确实如此 ,因为定义抽象类的时候并不能预料到以 后会有多少个具

IE中伪类:hover的使用及BUG

:hover是我们在CSS设计中最常运用的伪类之一,许多绚丽效果的实现离不开伪类:hover,比如我们常见的纯CSS菜单.相册效果等等. 或许用了这么久的伪类:hover,还有部分朋友还不完全了解hover的规则: 引用:在CSS1中此伪类仅可用于a对象.且对于无href属性(特性)的a对象,此伪类不发生作用.在CSS2中此伪类可以应用于任何对象. 但目前IE5.5.IE6仅支持CSS1中的:hover,不过新出的IE7是支持CSS2中的:hover. 当我们用伪类:hover做某些特殊效果时,

PHP中的类－什么叫类（转载）------ 类入门之捷径

PHP中的类-什么叫类 Linuxaid 01-03-08 10:16 1594p Wing--------------------------------------------------------------------------------   在阐述类的概念之前我们来先说说面向对象编程的概念:面向对象的程序设计(Object-Oriented Programming,简记为OOP)立意于创建软件重用代码,具备更好地模拟现实世界环境的能力,这使它被公认为是自上而下编程的优胜者.它通过

PHP中的类

                     PHP中的类             作者:酷熊 我觉得自从使用PHP以来最难以理解的概念就是PHP的类.我除了正在学习MySQL一些基本知识以外,对于其他的数据库引擎没有经验.此前对于OOP面向对象编程我也没有经验,OOP对于我来说也是个新鲜事物,但是通过对其原理以及为何如此强大的理解,使我有了一定的我了解如果任何程序都用OOP来实现的话,无疑会得到一个强大的程序:但是对我而言,如果我只是认为自己了解了其中的机制,而不把这种理解应用到编程实践,OOP对

Java中的类反射机制

一.反射的概念 :反射的概念是由Smith在1982年首次提出的,主要是指程序可以访问.检测和修改它本身状态或行为的一种能力.这一概念的提出很快引发了计算机科学领域关于应用反射性的研究.它首先被程序语言的设计领域所采用,并在Lisp和面向对象方面取得了成绩.其中LEAD/LEAD++ .OpenC++ .MetaXa和OpenJava等就是基于反射机制的语言.最近,反射机制也被应用到了视窗系统.操作系统和文件系统中. 反射本身并不是一个新概念,它可能会使我们联想到光学中的反射概念,尽管计算机科学

关于C#中timer类 在C#里关于定时器类就有3个

定时 ·关于C#中timer类  在C#里关于定时器类就有3个   1.定义在System.Windows.Forms里   2.定义在System.Threading.Timer类里   3.定义在System.Timers.Timer类里  System.Windows.Forms.Timer是应用于WinForm中的,它是通过Windows消息机制实现的,类似于VB或Delphi中的Timer控件,内部使用API  SetTimer实现的.它的主要缺点是计时不精确,而且必须有消息循环,Co

jQuery对象中的类数组操作

我们都知道jQUery对象中有一个类数组的元素包装集,该集合类似js中的数组一样拥有length属性,因此我们称此为类数组,下面我们就来总结下这个jQuery对象中的类数组时如何进行操作的,看看我们的jQuery为我们都提供了哪些可用的方法: size():很明显,它应该是返回包装集中的元素个数,如$('a').size()表示链接元素的个数: get(index):当没指定index时就默认取包装集中所有元素,并以js中的数组形式返回,如果指定了index,则返回下标为index对应的元素,如

在你的ASP中使用类(class)

介绍作者:http://www.aspcn.com 飞刀 在不入前的一天,当我为了解决一个语法问题来翻阅VBscript文档时,偶然间发现在了下面的一句话: Class Statement Declares the name of a class, as well as a definition of the variables, properties, and methods that comprise the class. 翻译过来就是...... Class 声明 声明一个类的名字,就是定