网络爬虫Larbin的学习（一）——larbin的配置

Larbin是一款历史比较悠久的网络爬虫程序，它基于C/C++编写。

目前它可以在linux下运行，对于windows下的运行情况目前尚不清楚（可能需要进行修改）

对于网络爬虫的基础知识，在此不做太多的介绍，本文只对爬虫的配置进行解说。

由于larbin的年头比较远（作者从上世纪开始编写），里面难免有一些与现在系统不一致的情况（作者于2003年停止了维护），所以我们在配置中需要修改它的源代码。

首先到它的官方网站：
http://larbin.sourceforge.net/index-eng.html

下载larbin,这个程序是由法国人写的，因此对于Chinese来说一定要进英文版的首页

由于下载到的内容是他的源代码，而非二进制版，所以我们要做编译。

（1）首先在linux 的CMD下，运行./configure，它会生成一系列的文件，当然，在结尾处可能会有错误，不过这个没有关系

（2）把所有源文件中包含“#include<iostream.h>”的内容改变为“#include<iostream>”，并且在文件中加入“using namespace std;”原因就不说了。

检查哪个文件包含了这句话，可以用grep实现：

grep -nR "include<iostream.h>" ./

具体的修改还没有好的办法。

（3）此时再运行make命令，如果不出意外，系统会报一个重定义的错误。这时我们可以找到%LARBIN_HOME%/adsn/interal.h，将其中冲突的那个函数注释掉。

（4）对于一些系统还说，可能还需要安装一个makedepend的东西，在ubuntu下，使用如下命令：
sudo apt-get install xutils-dev

（5）对于本人来说，到这里我的larbin就可以使用了。

下一节将重点讲一下larbin的配置。