网络爬虫Larbin的学习(二)——larbin定制化

这篇主要讲larbin的配置问题,由于作者已经讲得很详细,在此我只把原文进行翻译提炼:

(1)larbin对外的接口

作者为我们提供了一个文件,叫做%LARBIN_HOME%/src/interf/useroutput.cc,用户可以在这里面进行一些扩展操作。
具体的借口请看%LARBIN_HOME%/src/interf/useroutput.h,实现在上面的文件中。larbin自身已经实现了里面的所有接口,所以用户可以选择重新实现或者在上面做一些additional function。

(2)运行配置文件
larbin.conf
这个文件主要定义了一些量化的参数。

From :爬虫的email
UserAgent:爬虫的Agent
httpPort:运行webserver的端口
depthInSite:一个网页搜索的层数
StartUrl:抓取的起始页面
limitToDomain:域限制
forbiddenExtensions:扩展名限制

option.h
这里面主要对一些策略进行定制

1.输出形式

DEFAULT_OUTPUT:不输出
SIMPLE_SAVE:只简单存储文件
MIRROR_SAVE :按站点结构存储
STATS_OUTPUT:在webserver上产生一些状态

下面还有好多,希望大家去看他的那个网页进行学习了
http://larbin.sourceforge.net/custom-eng.html(英文版)

你可能感兴趣的:(html,.net)