Nutch-2.2.1

Shell编程之参数引用

最近一直在学习Nutch-2.2.1，在阅读crawl和nutch脚本时，总是遇到美元符号$后面跟一些数字、问号之类的表示方式，对于后面跟数字的情况，之前略有了解，表示脚本执行时后跟的参数，比如0表示脚本的名称
skyWalker_ONLY·2020-08-26 08:34

Nutch-2.2.1学习之五Nutch抓取数据在HBase中的存储

Nutch-2.2.1爬取的数据可以存储在HBase、Accumulo、Cassandra、MySQL、DataFileAvroStore、AvroStor中，这是与Nutch-1.x系列很大的区别，在提供多样性的同时也增加了一些复杂性
skyWalker_ONLY·2020-07-30 00:05

nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署

参考网站： http://blog.csdn.net/weijonathan/article/details/10178919 一个完整的部署过程，只是版本有所区别 http://m.blog.csdn.net/blog/WeiJonathan/9251597 杨尚川的博客（nutch 分布式运行）http://qindongliang1922.iteye.com/blog/197
·2015-10-21 12:07

Nutch-2.2.1安装时无法从资源库下载jar包的问题

在Nutch2.2.1目录下执行ant命令后，在从http://repo1.maven.org/maven2/下载所需的jar包时出现下图出现的问题，导致依赖的jar无法正常下载，编译失败。此问题的原因是http://repo1.maven.org/maven2/不存在，解决方案是寻找能使用的资源库URL。经过测试http://mirrors.ibiblio.org/maven2/在浏览器下可以正
CdTech·2014-12-02 14:36

Nutch学习笔记2： Nutch-2.2.1脚本分析

/bin/nutch 通过查看nutch的内容，我们知道这是一个shell脚本 catnutch|wc-l 244 root@idc200:/usr/local/nutch-2.2.1/runtime/
强子哥哥·2014-06-23 17:00

nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署

原文地址： http://www.cnblogs.com/i80386/p/3540389.html 参考网站：http://blog.csdn.net/weijonathan/article/details/10178919 一个完整的部署过程，只是版本有所区别http://m.blog.csdn.net/blog/WeiJonathan/9251597 杨尚川的博客（nutch 分
·2014-05-24 22:00

Nutch-2.2.1学习之九Nutch过滤URL实践

通过分析Nutch的配置文件Nutch-default.xml和阅读了部分源代码后，了解了Nutch的插件机制以及如何通过修改conf中的文件实现过滤抓取数据。默认情况下，实现URL过滤的类为RegexURLFilter，对应的过滤文件为regex-urlfilter.txt，在不修改该文件的情况下，Nutch可以过滤后缀以gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|C
sky_walker85·2014-01-04 20:00

Nutch-2.2.1学习之八过滤抓取数据

在Nutch的conf目录中有automaton-urlfilter.txt、regex-urlfilter.txt、suffix-urlfilter.txt、prefix-urlfilter.txt、domain-urlfilter.txt几个文件用于实现过滤抓取数据，比如不抓取后缀为gif、exe的文件等，通过修改其中的值可以达到只抓取感兴趣的内容的目的，在一定程度上也有助于提高抓取速度。在抓
sky_walker85·2013-12-25 20:00

Nutch-2.2.1学习之七Nutch与Solr的集成

Nutch以开箱的方式支持Solr，这极大的简化了Nutch与Solr的集成。Nutch也移除了遗留的对Tomcat运行旧的Nutchweb应用程序和ApacheLucene索引的依赖。Nutch1.x和2.x关于Solr的区别在于1.x版本可以选择是否使用Solr索引，这需要一步一步地进行爬取工作，而2.x则提供了更为简洁的方式——crawl脚本，直接将爬取成功的页面与Solr集成在一起。当然通
sky_walker85·2013-12-22 11:00

Nutch-2.2.1学习之六以伪分布模式运行Nutch

    之前运行使用Nutch都是在本地模式下，也就是执行runtime/local/bin目录下的脚本命令。本地模式主要用来熟悉Nutch的一些基本命令和调试，要想真正的使用Nutch并且发挥Nutch并行抓取网页与分布式的优势，还是要在分布式或者伪分布式下安装和运行Nutch，这里所说的分布式或者伪分布式取决于Hadoop的安装方式，也就是Nutch要想以分布式或者伪分布式的方式运行，必须基于
sky_walker85·2013-12-14 17:00

Nutch-2.2.1学习之五Nutch抓取数据在HBase中的存储

Nutch-2.2.1爬取的数据可以存储在HBase、Accumulo、Cassandra、MySQL、DataFileAvroStore、AvroStor中，这是与Nutch-1.x系列很大的区别，在提供多样性的同时也增加了一些复杂性
sky_walker85·2013-12-12 20:00

Shell编程之参数引用

最近一直在学习Nutch-2.2.1，在阅读crawl和nutch脚本时，总是遇到美元符号$后面跟一些数字、问号之类的表示方式，对于后面跟数字的情况，之前略有了解，表示脚本执行时后跟的参数，比如0表示脚本的名称
sky_walker85·2013-12-04 19:00

Nutch-2.2.1学习之四Nutch与Hbase结合使用时常见问题

    Nutch-2.2.1不再使用单一的存储结构，而是通过使用ApacheGora，是得Nutch-2.2.1可以将数据存储在诸如HBase、Accumulo、Cassandra、MySQL、DataFileAvroStore
sky_walker85·2013-12-02 17:00

Nutch-2.2.1学习之三Nutch配置文件

   Nutch2.2.1的配置文件存放在Nutch目录下的conf文件夹下，对此文件夹下的配置文件做的修改，需要执行ant命令重新编译Nutch，由于编译所依赖的jar都已经缓存，重新编译花费的时间是很短暂的。对该文件夹下的文件所做的修改，在重新编译后也会更新到runtime目录下的deploy和local目录下的conf目录中，所以大家不要奇怪，明明只是修改了根目录下的conf中的配置文件，l
sky_walker85·2013-11-27 11:00

Nutch-2.2.1学习之二编译部署Nutch及常见问题

Nutch1.x从1.7版本开始不再提供完整的部署文件，只提供源代码文件及相关的build.xml文件,这就要求用户自己编译Nutch，而整个Nutch2.x版本都不提供编译完成的文件，所以想要学习Nutch2.2.1的功能，就必须自己手动编译文件。这篇文章主要介绍了如何编译Nutch2.2.1版本，同时罗列了一些编译过程中遇到的问题及解决方案。当然不可能列举所有的问题，希望大家可以补充自己遇到的
sky_walker85·2013-11-23 21:00

Nutch-2.2.1学习之一Nutch简介

Nutch起源于ApacheLucene项目，已经是一个高度可扩展和可伸缩的开源网络爬虫软件项目，并且实现了多元化，包括两个版本的代码库，即：1.        Nutch1.x版本：一个成熟的产品化的爬虫。1.x版本依赖于ApacheHadoop的数据结构，并使用了细粒度配置。Hadoop对于批处理提供了很强大的功能。2.        Nutch2.x的版本：一个新兴的、直接受1.x版本启发的
sky_walker85·2013-11-19 15:00

Nutch-2.2.1安装时无法从资源库下载jar包的问题

在Nutch2.2.1目录下执行ant命令后，在从http://repo1.maven.org/maven2/下载所需的jar包时出现下图出现的问题，导致依赖的jar无法正常下载，编译失败。此问题的原因是http://repo1.maven.org/maven2/不存在，解决方案是寻找能使用的资源库URL。经过测试http://mirrors.ibiblio.org/maven2/在浏览器下可以正
sky_walker85·2013-11-05 10:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他