Larbin

爬虫larbin在Ubuntu下的编译

Larbin编译步骤：    编译前准备：（红色是要替换的为你自己的）     1．确认是否已经安装了build-essential程序包:           : sudoapt-getinstallbuild-essential2
leoleocmm·2013-04-21 19:00

linux 下 larbin 编译不通过

Ubuntu11.04+larbin编译出现错误如下：root@zhao:/home/torres/workspace/larbin-2.6.3#.
leoleocmm·2013-04-21 19:00

几种开源网络爬虫的简单比较

之后主要研究下larbin爬虫，如果有可能会给它添加一个删除功能，因为其排重部分用的是bloo
leoleocmm·2013-04-16 23:00

【larbin执行./configure时出错】解决办法（Fedora下安装makedepend工具）

错误信息：$./configurecheckingwhetheryourequesteddynamiclinking...yes,bydefaultcheckingforgcc...gcccheckingwhethertheCcompiler(gcc )works...yescheckingwhethertheCcompiler(gcc )isacross-compiler...nocheckin
ljiabin·2013-03-17 15:00

开源爬虫Labin，Nutch，Neritrix介绍和对比

spider的相关资料，整理在下面： -----------------------------------------------------------------------------------Larbin
kobejayandy·2013-03-16 17:00

转载 开源网络爬虫介绍及其比较

[b]Larbin[/
qn_lf·2013-02-18 20:31

Regular Binding Mode vs Regular Server Mode vs Instant Feedback Mode

RegularBindingModevsRegularServerModevsInstantFeedbackMode一般绑定模式VS一般服务模式VS即时回馈模式 Inare
freelove_2005·2013-01-11 12:00

开源爬虫Labin，Nutch，Neritrix介绍和对比

Larbin开发语言：C++http://larbin.sourceforge.net/index-eng.htmllarbin是个基于C++的web爬虫工具，拥有易于操作的界面，不过只能跑在LINUX
zplswf·2012-12-11 14:00

[sicily online]1012. Stacking Cylinders

ConstraintsTimeLimit:1secs,MemoryLimit:32MBDescriptionCylinders(e.g.oildrums)(ofradius1foot)arestackedinarectangularbin.Eachcylinderonanupperrowrestsontwocylindersintherowbelow.Thecylindersinthebottom
qiuchenl·2012-12-05 16:00

Customization larbin

配置英文原版说明： http://larbin.sourceforge.net/custom-eng.html#larbin.conf   larbin.conf #######
vergilwang·2012-10-11 16:00

Customization larbin

配置英文原版说明：http://larbin.sourceforge.net/custom-eng.html#larbin.conf larbin.conf#######################
wangran51·2012-10-11 16:00

Larbin使用方法2

http://larbin.sourceforge.net/custom-eng.html HowtocustomizeLarbin文中有介绍配置文件larbin.conf文件各项简介：（修改配置文件不需要重新编译
wangran51·2012-10-11 16:00

Larbin使用方法2

http://larbin.sourceforge.net/custom-eng.html How to customize Larbin文中有介绍 配置文件larbin.conf文件各项简介：（修改配置文件不需要重新编译
vergilwang·2012-10-11 16:00

Larbin的使用

Larbin的使用(1)运行larbin.
wangran51·2012-10-10 15:00

Larbin的使用

Larbin的使用(1)运行larbin.
vergilwang·2012-10-10 15:00

Larbin 安装遇到的问题（fedora）

NotessomeproblemforLarbin-2.6.3安装步骤：1.解压：tar–zxvflarbin-2.6.3.tar.gz   修改编译选项配置vioptions.h   修改输出选项#defineSIMPLE_SAVE2
wangran51·2012-10-10 10:00

Larbin 安装遇到的问题（fedora）

Notes some problem for Larbin-2.6.3 安装步骤： 1.解压：tar –zxvf larbin-2.6.3.tar.gz 修改编译选项配置vi options.h
vergilwang·2012-10-10 10:00

网络爬虫的设计——参考larbin

 互联网是一个庞大的非结构化的数据库，将数据有效的检索并组织呈现出来有着巨大的应用前景，尤其是类似RSS的以XML为基础的结构化的数据越来越多，内容的组织方式越来越灵活，检索组织并呈现会有着越来越广泛的应用范围，同时在时效性和可读性上也会有越来越高的要求。这一切的基础是爬虫，信息的来源入口。一个高效，灵活可扩展的爬虫对以上应用都有着无可替代的重要意义。   要设计一个爬虫，首先需要考虑的效率。对于
chengyingzhilian·2012-10-04 12:00

开源爬虫larbin安装配置指南

larbin是一个开源的爬虫，有几个优点：首先抓取效率很高，其次支持对网站进行镜像存储。不过正因为效率高，使用larbin时要非常注意，不要把硬盘搞爆。
lzt1983·2012-09-14 20:00

larbin

Larbin是一种多功能的网络爬虫,一个法国人最初为XYLEMEproject写的,当时只是为了获取网络上的XML文件.Larbin是非常灵活可订制的.最新版本的Larbin在一台普通的PC上一天可爬到
hdl2041827·2012-09-05 15:43

ubuntu下larbin配置，编译与运行

因为larbin很久之前就停止维护和开发了，现在在ubuntu下连编译都要修改代码，一般是这样修改即可：命令行sudoapt-getinstall[softname]安装gcc、g++、make、xutils-dev
fakine·2012-07-31 22:00

开源爬虫larbin分析

1.larbin简介(百度百科)   larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人SébastienAilleret独立开发，用c++语言实现。
fakine·2012-07-31 16:00

larbin分析、源码分析、结构分析

单线程非阻塞。这是目前使用的比较多的一种做法，无论在client还是server都有着广泛的应用。在一个线程内打开多个非阻塞的连接，通过poll/epoll/select对连接状态进行判断，在第一时间响应请求，不但充分利用了网络资源，同时也将本机CPU资源的消耗降至最低。这种方法需要对dns请求，连接，读写操作都采用异步非阻塞操作，其中第一种比较复杂，可以采用adns作为解决方案，后面三个操作相对
bruce0532·2012-05-25 18:00

larbin

1.larbin简介(百度百科)   larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人SébastienAilleret独立开发，用c++语言实现。
bruce0532·2012-05-25 18:00

Larbin 设计原理

互联网是一个庞大的非结构化的数据库，将数据有效的检索并组织呈现出来有着巨大的应用前景，尤其是类似RSS的以XML为基础的结构化的数据越来越多，内容的组织方式越来越灵活，检索组织并呈现会有着越来越广泛的应用范围，同时在时效性和可读性上也会有越来越高的要求。这一切的基础是爬虫，信息的来源入口。一个高效，灵活可扩展的爬虫对以上应用都有着无可替代的重要意义。   要设计一个爬虫，首先需要考虑的效率。对于网
Hins_pan·2012-04-07 10:00

爬虫larbin的运行配置说明

larbin的配置说明：（运行命令自不用再说了）     Larbin的配置基本涉及到两个文件。Larbin.conf及Options.h。larbin.conf进行一些简单的配置。
zhoubl668·2012-03-31 11:00

Larbin——一款c++编写的爬虫程序

Larbin——一款c++编写的爬虫程序2009-08-1322:01   今天我读了一篇名叫“开源网络爬虫程序（spider)一览“的文章，然后就在列表的末尾看到了这个程序"Larbin"，由于它是唯一一个用
zhoubl668·2012-03-31 10:00

开源爬虫Labin，Nutch，Neritrix介绍和对比

整理在下面： -----------------------------------------------------------------------------------**************Larbin
VLTIC·2012-03-30 15:00

开源爬虫larbin分析

1. larbin简介(百度百科)    larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人Sébastien Ailleret独立开发，用c++语言实现
linuxstuding·2012-02-06 09:00

int的取值范围

今天写larbin，突然发现他居然用了size_t存储64000000/8，写程序测试，发现居然能通过。   原来上面那个数据是16位机的范围，书过时了，知识也过时了。。。。勉励一下。  
forestLight·2011-11-18 10:00

larbin里的类的介绍

 url肯定需要一个单独的类进行处理，包括显示，分析url，得到主机，端口，文件数据。     然后需要对url进行排重，需要一个比较大的urlHash表。 如果还要对网页内容进行排重，则还需要一个DocumentHash表。     爬过的url需要记录下来，由于量比较大，我们将它写到磁盘上，所以还需要一个FIFO的类(记作urlsDisk)。     现在需要爬的url同样需要一个FIFO类来
aican_yu·2011-11-14 23:00

larbin的程序的结构

主函数：intmain(intargc,char*argv[])  {       globalglob(argc,argv)    //初始化变量、队列StartThread(startWebserver,NULL)      //web服务cron()     //配置初始化for(;;)  {       waitBandWidth(&old);   //等待带宽              
aican_yu·2011-11-14 22:00

关于爬虫Larbin

http://blog.sina.com.cn/s/blog_477759e70100wo69.html关于爬虫Larbin_胡作非为_新浪博客    折腾Larbin好多天了，时间像流水一样付出，肚子里的火气也生了灭灭了生
·2011-11-11 13:00

larbin的设计思想

第三种是单线程非阻塞。这是目前使用的比较多的一种做法，无论在client还是server都有着广泛的应用。在一个线程内打开多个非阻塞的连接，通过poll/epoll/select对连接状态进行判断，在第一时间响应请求，不但充分利用了网络资源，同时也将本机CPU资源的消耗降至最低。这种方法需要对dns请求，连接，读写操作都采用异步非阻塞操作，其中第一种比较复杂，可以采用adns作为解决方案，后面三个
aican_yu·2011-11-10 23:00

larbin队列(2)

一larbin中的2中类型的队列        staticSyncFifo*URLsPriority;        //最高优先级           staticSyncFifo*URLsPriorityWait
aican_yu·2011-11-10 19:00

larbin的队列

以前整理过的关于larbin的队列结构给需要的网友：      为什么disk和priority的队列都是成对出现的，是因为可以认为每个site在namedSiteList当中都有一个小的队列来保存它的
aican_yu·2011-11-10 17:00

Larbin:hashDup

hashDup:  功能:对于内容判重。hashTable是对URL判重。即文件内容相同的同一html，并不爬取两次，即便他们的url不同。  实现：      hashDup ：构造函数，建立hash表；包括建立空表和导入已建立的表。      ~hashDup:析构函数，删除表。      testSet :测试某个文件是否已经在hashTable中。                 输入是文
forestLight·2011-10-27 16:00

Larbin中涉及的HTML知识，以及强烈推荐的一个网站

 :链接一个外部样式表。      样式表：用来进行网页风格设计的。比如，如果想让链接字未点击时是蓝色的，当鼠标移上去后字变成红色的且有下划线，这就是一种风格。      参数：             href   :定义被链接文档的位置。             rel    :定义当前文档与被链接文档之间的关系。             type   :规定被链接文档的MIME类型。    
forestLight·2011-10-21 18:00

Larbin：Vector

 Vector:  自己提供一个vector模板。  Vector(uintsize)：构造函数，初始化参数，并产生实际的空间。  ~Vector()：析构函数，删除每个节点的元素，删除表。  recycle()：循环，删除每个节点的元素，不删除表，将pos设置为0；  addElement(T*elt)：添加元素，数组动态扩展  operator[](uinti)：重载操作符，返回第i个位置的元
forestLight·2011-10-21 10:00

Larbin：checker

 1.check: 功能：测试url是否已经在hashTable中，不在则加入相应的队列。 实现：如果不在，则hash数量加1。           如果是SpecificSearch，则判断文件是否是感兴趣的类型               是的话则加入URLsPriority这个同步队列中；               不是的话，则加入URLsDisk这个持久化的队列中；           
forestLight·2011-10-21 10:00

Larbin［1］hashtable checker 源代码分析

     昨天看Larbin源代码，觉得Larbin根本没有用bloomfilter算法，他只hash了一次。不过他的按位保存的那段代码还是蛮精辟的。
forestLight·2011-10-20 09:00

Larbin：hashTable

 hashTable：尽可能不爬两次同一url，判重。   size：尺寸。   table：char*类型，实际存值的地方。   hashTable:建立hash表，并初始化。如果标志显示从文件中载入，则初始的hashTable从文件中载入，否则hashTable初值为0.hashTable的类型是char型。   ~hashTable：删除hash表。   save()：将hashTable存
forestLight·2011-10-19 22:00

Larbin：String.cc和String.h

 1.成员变量：   chaine:保存字符串本身；   size:当前字符串允许的长度（动态扩展）   pos：当前字符串的实际长度2.成员函数：   LarbinString():新建长度为默认长度的字符串
forestLight·2011-10-17 15:00

Larbin源码分析：Url.cc

Url.cc主要功能是对url进行分析，提取出相应的host、port、file，并对file进行规格化。这里还涉及了Cookies的机制，关于Cookies，我还不是很熟。所以要继续努力。  fileNormalize:   将从url中提取出来的文件名规格化：  （1）#后面的跳过。  （2）/./当前目录字符，跳过  （3）//用/代替  （4）/../如果出现在首位置则返回false，否则
forestLight·2011-10-17 09:00

Larbin小技巧：将字符变为小写，如果本身是小写字母，则保持不变。

     看Larbin写代码，总是能学到很多蛮有意思的东西。Larbin中区分大小写的比较是StartWith，不区分大小写的比较式StartWithIgnoCase。
forestLight·2011-10-16 21:00

Cookies说明

     由于Larbin中用到了Cookies的访问模式（开始看代码的时候觉得有点奇怪，后来才知道是用了cookies），这里查了下Cookies的资料。     
forestLight·2011-10-16 20:00

larbin 编译成功后做什么

         larbin编译成功后，有两个主要方向：一是通过相关资料读Larbin的源代码，最终的目的是自己能开发个简单的爬虫；第二个是分析得到的数据，做数据的分析与挖掘。
forestLight·2011-10-03 12:00

larbin出错处理

Larbin编译步骤：   编译前准备：（红色是要替换的为你自己的）    1．确认是否已经安装了build-essential程序包:           :sudoapt-getinstallbuild-essential2
forestLight·2011-09-29 20:00

谈谈爬虫的设计

网络蜘蛛现在开源的已经有好几个了，Larbin，Nutch，Heritrix都各有用户之地，要做一个自己的爬虫要解决好多个问题，比如调度算法、更新策略、分布式存储等，我们来一一看一下。
p_x1984·2011-08-07 22:00

谈谈爬虫的设计

网络蜘蛛现在开源的已经有好几个了，Larbin，Nutch，Heritrix都各有用户之地，要做一个自己的爬虫要解决好多个问题，比如调度算法、更新策略、分布式存储等，我们来一一看一下。
p_x1984·2011-08-07 22:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他