网络爬虫Larbin的学习（二）——larbin定制化

这篇主要讲larbin的配置问题，由于作者已经讲得很详细，在此我只把原文进行翻译提炼：

（1）larbin对外的接口

作者为我们提供了一个文件，叫做%LARBIN_HOME%/src/interf/useroutput.cc，用户可以在这里面进行一些扩展操作。
具体的借口请看%LARBIN_HOME%/src/interf/useroutput.h，实现在上面的文件中。larbin自身已经实现了里面的所有接口，所以用户可以选择重新实现或者在上面做一些additional function。

（2）运行配置文件
larbin.conf
这个文件主要定义了一些量化的参数。

From :爬虫的email
UserAgent：爬虫的Agent
httpPort:运行webserver的端口
depthInSite：一个网页搜索的层数
StartUrl：抓取的起始页面
limitToDomain：域限制
forbiddenExtensions：扩展名限制

option.h
这里面主要对一些策略进行定制

1.输出形式

DEFAULT_OUTPUT：不输出
SIMPLE_SAVE：只简单存储文件
MIRROR_SAVE ：按站点结构存储
STATS_OUTPUT：在webserver上产生一些状态

下面还有好多，希望大家去看他的那个网页进行学习了
http://larbin.sourceforge.net/custom-eng.html（英文版）