nutch 学习:Fetcher2,Hbase

阅读更多
1.配置nutch 在eclipse 中可以单步跟踪

2.       修改 nutch, 从 Fetcher1 到 Fetcher2 ,  每个host 一个队列的抓取方式 (同 levin)

3.       参看 nutch 把存储改为 Hbase 的文档

     http://www.nabble.com/-jira--Created:-(NUTCH-650)-Hbase-Integration-td19551301.html

4.       基本阅读了主要的 nutch 类 : Injector, Generator, Fetcher, ParseSegment, CrawlDb

参考:

1.       nutch 的几个效率低下的原因思考

a.       不方便部分选取,比如: mapreduce 在 dedup url 的时候,需要map 所有的 record from file, 然后 reduce


b.        不用 Hbase 的时候, 数据拷贝,复制,太多

我的问题:
1. 对于习惯了Dip 的编程来说,这些代码有点乱,没有心情添加代码
2. 能否用Osgi 取代nutch 现有的plug-in,重新发明轮子
3. 能否用Jmx 做管理

说白了,我不喜欢hadoop,的代码。 侵入式设计,层次不清楚。

你可能感兴趣的:(HBase,OSGI,Hadoop,Mapreduce,Eclipse)