LinkDb

linkdb-inverted link map

任务是：inverted link map 此过程也是比较简单，不过代码好像有点问题。。 1.inverted job input：将segments下所有segs的parse_data作为输入。<url ,ParseData> M：将<fromUrl,toUrls> --> <toUrl,fromUrl> list，即倒相了。 C＆R：限制同
leibnitz·2011-07-14 17:00

nutch-1.x分布式索引指定

 indexer.index(indexes, crawlDb, linkDb, Arrays.asList(HadoopFSUtil.getPaths(fstats))); 它会把crawldb
p_x1984·2011-07-04 17:00

nutch-1.x分布式索引指定

 indexer.index(indexes, crawlDb, linkDb, Arrays.asList(HadoopFSUtil.getPaths(fstats))); 它会把crawldb
p_x1984·2011-07-04 17:00

webhavest+nutch1.2抓数据，建索引流程

crawldb目录下面存放下载的URL,以及下载的日期，用来页面更新检查时间linkdb目录存放URL的关联关系，是下载完成后分析时创建的segments目录存储抓取的页面，下面子目录的个数与获取页面的层数有关系
my123spring·2011-06-07 18:00

Nutch 源码分析

Indexer分析http://hi.baidu.com/bupo_jung/blog/item/7ed51400cb7edf07728b659b.html LinkDb分析 http://hi.baidu.com
jiutao_tang·2011-06-06 16:00

爬虫调研II：Nutch的工作流程和扩展性

webDB包括crawldb和linkdb。crawldb就是Page通过描述网络上一个网页的特征信息来表征实际的网页，通过网页UR
jiutao_tang·2011-06-04 10:00

[转]nutch1.2断电或者断网后继续爬取的方式

附nutch抓取的阶段： (injector) ->generator -> fetcher -> crawldb updater -> linkdb updater ->
lovepoem·2011-05-12 16:00

Nutch的文件目录所包含的内容

linkdb目录存放URL的关联关系，是下载完成后分析时创建的，通过这个关联关系可以实现类似google的pagerank功能。
softwarexiaozhu·2010-11-25 23:00

nutch的基本工作流程理解

（一）： Nutch 的工作流程： Crawdb 、 linkdb 是 web link 目录，存放 url 及 url 的互联关系，作为爬行与重新爬行的依据
a280606790·2010-11-08 10:00

Nutch的工作流程

Nutch的工作流程：Crawdb、linkdb是weblink目录，存放url及url的互联关系，作为爬行与重新爬行的依据。segments是主目录，存放抓回来的网页。
shupan001·2010-10-02 01:00

Nutch1.0中Index的过程

代码： public void index(Path luceneDir, Path crawlDb, Path linkDb, List<Path> segments)  
yanglingstu·2010-03-23 20:00

爬虫调研II：Nutch的工作流程和扩展性

webDB包括crawldb和linkdb。crawldb就是Page通过描述网络上一个网页的特征信息来表征实际
zfrong·2009-12-24 17:00

nutch的基本工作流程理解

（一）：Nutch的工作流程： Crawdb、linkdb 是web link目录，存放url及url的互联关系，作为爬行与重新爬行的依据。
p_x1984·2009-11-21 00:00

nutch的基本工作流程理解

（一）：Nutch的工作流程： Crawdb、linkdb 是web link目录，存放url及url的互联关系，作为爬行与重新爬行的依据。
p_x1984·2009-11-21 00:00

natch常用的几个类

nbsp;  crawldb目录存放下载的URL,以及下载的日期,用来页面更新检查时间. l         linkdb
biaowen·2009-06-29 23:00

nutch输出文件的读取

Nutch的输出文件（不包括临时文件）主要可分为crawldb、index、indexs、linkdb和segments。
wq163·2007-01-03 18:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他