Heritrix笔记

当前位置：维客笔记>> Heritrix笔记 >> 正文

Heritrix笔记

Frontier

负责处理下一个将要被爬的链接。他还负责一个“平衡”，不会使一个网页被过重的爬。还负责接受被爬的网页产生的新链接，将他们安排下一次的爬行。

他会纪录一些东西，比如：被发现的 URI ，被处理并抓取过的 URI ，被处理的 URI 。

他至少依赖以下几个组件： PreconditionEnforcer, LinksScoper and the FrontierScheduler 。 PreconditionEnforcer 确保在抓取前 dns 和 robots 被选中。 LinksScoper 检查 URL 是不是我们感兴趣的，抓的范围和级别，以及抓取的优先级。

ToeThreads

网络爬出是多线程的，每个 URL 被一个线程处理，这个县城就叫做 ToeThreads 。他将向 Frontier 要一个 URI 。

Processors chains:

Settings

Setting 框架被灵活的设计，若果你想写个通过用户接口可配置的模块，你就要熟悉一下 Setting 框架。

Setting框架的切入点是SettingsHandler.它负责从持久库（类似web应用的关系数据库，但在此不用传统的关系数据库）中存取，使框架中的其它部分连接。

图中的ComplexType实现javax.management.DynamicMBean，这样可以得到它有哪些属性具备标准的setter和getter.

图中最上层是全局settings，往下是”per”settings，再往下是refinements

ComplexType hierarchy：爬虫中所有的可配置模块都来自继承于ComplexType或她的子类。

他的职责是保证可配置模块的属性的定义，实际的属性的数据是存储在DataContainer里。而用户编码不能直接操纵DataContainer，而是通过ComplexType的属性设置来完成。

可配置模块所需要的公共需求（如何写模块）

前面讲过，所有的可配置模块都必须继承ComplexType。你如果要写自己的可配置模块，你就必须继承ModuleType（他是ComplexType的子类）。

要定义自己的可配置模块，必须遵守以下规则：1.必须有明确的构造函数2.所有的属性必须在构造函数中定义。

注意：如果要写自己的可配置模块，就要在src/conf/modules中的某个文件声明.如果模块是个Processor的话，要在Processor.options声明。

URI classes

URI有几个类表示，基础的是 org.archive.datamodel.UURI （貌似在org.archive.net下，不知是怎么回事，继承了org.apache.commons.httpclient.URI.它规范和相对化URI）

两个包装了UURI的类：

CandidateURI，CrawlURI 。

Writing a Frontier

Writing a Filter

Filter是判断URI是否符合一定规则的URI。Filter最显著地用在过滤范围。也用于processors，经常用于过滤掉URIS，符合特定条件的URI将会被过滤掉，这将有利于抽取掉一个Website中的特定部分

所有的Filters都必须继承Filter类。最大的问题是实现innerAccepts(Object)方法。书写filter方法要编辑src/conf/modules/Filter.options

Writing a Scope

CrawlScope定义哪些URI将在特定的Crawl中。Filter本质上，收集所有的关于CandidateURI/CrawlURI的有用信息，决定是否被安排抓取计划！

当写自己的scope时，你必须重写focusAccepts(Object)，additionalFocusAccepts(Object), transitiveAccepts(Object) .

Writing a Processor

所有的Processor 继承org.archive.crawler.framework.Processor，事实上，它本身就是一个完整的可以合法应用的Processor，只是他什么也不做。扩展类必须重写innerProcess(CrawlURI)方法来增加用户的行为。这个方法可以被被处理的每一个URI调用。

Fetchers读取CrawlURI，获得相关的文档并且将其写入HttpRecorder。Extractors读取HttpRecorder将新发现的URIS写入CrawlURIs。并不是所有的processors都需要使用HttpRecorder。

以下几个方法可以有选择的被重写：initialTasks()，finalTasks()，report()
标签： Heritrix 爬虫
打印导出Word 复制地址
评论： Heritrix笔记

potala

2007-10-31 14:56:19

potala

2007-10-31 14:59:44

。。

potala

2007-10-31 15:14:02

11

potala

2007-10-31 15:17:08

potala

2007-10-31 15:22:06

：）

benita

2008-03-10 14:05:11

你好，请问你有没有用heritrix做过项目，我想问问，如何用编程的方式来为它添加一个job，并启动这个job？谢谢！
比较急，盼复！谢谢！

发表我的评论

Email：

密码：

验证码：

(请输入图中数字) 看不清，换一个试试

提示
- 1.遵守国家有关法律、法规，尊重网上道德
- 2.承担一切因您的行为而直接或间接导致的民事或刑事法律责任
- 3.互动百科留言板管理人员有权保留或删除其管辖留言中的任意内容

potala的空间

当前位置： 维客笔记>> Heritrix笔记 >> 正文

当前位置：维客笔记>> Heritrix笔记 >> 正文