larbin里的类的介绍

 url肯定需要一个单独的类进行处理，包括显示，分析url，得到主机，端口，文件数据。

 

    然后需要对url进行排重，需要一个比较大的url Hash表。

 

如果还要对网页内容进行排重，则还需要一个Document Hash表。

 

    爬过的url需要记录下来，由于量比较大，我们将它写到磁盘上，所以还需要一个FIFO的类(记作urlsDisk)。

 

    现在需要爬的url同样需要一个FIFO类来处理，重新开始时，url会从定时从爬过的url FIFO里取出来，写到这个FIFO里。正在运行的爬虫需要从这个FIFO里读数据出来，加入到主机类的url列表里。当然，也会从前一个FIFO里直接读url出来，不过优先级应该比这个里面出来的url低，毕竟是已经爬过的。

 

    爬虫一般是对多个网站进行爬取，但在同一站点内dns的请求可以只做一次，这就需要将主机名独立于url，单独有一个类进行处理。

 

    主机名解析完成后需要有一个解析完成的IP类与之应用，用于connect的时候使用。

 

    HTML文档的解析类也要有一个，用来分析网页，取出里面的url，加入到urlsDisk。

 

再加上一些字符串，调度类，一个简单的爬虫基本上就完成了。

 

    以上基本上是Larbin的设计思路，Larbin在具体实现上还有一些特殊的处理，例如带了一个webserver，以及对特殊文件的处理。Larbin有一点设计不不太好，就是慢的访问会越来越多，占用大量的连接，需要改进，另外如果对于大规模的爬虫，这仅仅实现了抓取的部分，要分布式的扩展还需要增加url的集中管理与调度以及前台spider的分布式算法