licongdong
licongdong

Nutch2.3.1版本选择

1. Nutch主页：http://nutch.apache.org/#

2. Nutch有1.X和2.X两个版本

（1）1.X依赖于Hadoop，适合做分布式。目前最高版本为1.13

（2）2.X与1.X最关键的不同是引入了Gora，数据持久化不再局限于某一种数据库。目前最高版本为2.3.1

3. 以下为官方建议的2.3.1依赖

Apache Avro 1.7.6 
Apache Hadoop 1.2.1 and 2.5.2 
Apache HBase 0.98.8-hadoop2 (although also tested with 1.X) 
Apache Cassandra 2.0.2 
Apache Solr 4.10.3 
MongoDB 2.6.X 
Apache Accumlo 1.5.1 
Apache Spark 1.4.1


* 之前已经做过单机版的MongoDB，速度会变得越来越慢，所以这次打算搞Hadoop


apache各种工具的下载地址（apache的产品基本都能在里面找到）：http://archive.apache.org/dist/

你可能感兴趣的:(Nutch2.3.1)

  • windows上Nutch2.3.1导入Eclipse详解 昵称是什么~~~
    自己搞了大半天才配置好，所以记录一下。正文：环境配置：Eclipse：Mars（4.5.2）JDK1.7Ivy：2.4.0http://download.csdn.net/detail/xiaoyaoxiaozi007/9921665Ant:：1.9.9http://download.csdn.net/detail/xiaoyaoxiaozi007/9923121Nutch：2.3.1http:/
  • nutch 安装部署 以nutch2.3.1 为例 sky_9573
    [size=x-small][/size][size=medium][/size]最近在研究nutch在Ubuntu系统上安装部署nutch，nutch安装步骤如下：1、先安装ANT(ant下载安装包就不写了百度一大把)//解压antsudotar-zxvf/usr/test/soft/apache-ant-1.9.7-bin.tar.gz-C/usr//移动ant(这里只是把安装的文件放到一目录
  • Nutch2.3.1版本选择 licongdong Nutch2.3.1
    1.Nutch主页：http://nutch.apache.org/#2.Nutch有1.X和2.X两个版本（1）1.X依赖于Hadoop，适合做分布式。目前最高版本为1.13（2）2.X与1.X最关键的不同是引入了Gora，数据持久化不再局限于某一种数据库。目前最高版本为2.3.13.以下为官方建议的2.3.1依赖ApacheAvro1.7.6ApacheHadoop1.2.1and2.5.2A
  • nutch2.3.1 updatejob时错误url导致崩溃 feihuadao 爬虫
    原因可能是错误的html解析出来的在DbUpdateMapper.java的map时加个trycatch55@Override56publicvoidmap(Stringkey,WebPagepage,Contextcontext)57throwsIOException,InterruptedException{58if(Mark.GENERATE_MARK.checkMark(page)==nu
  • nutch2.3.1源码分析——InjectorJob Horizon_wing java搜索引擎
    InjectorJob实现的功能是：从种子站点文件当中读取站点信息并且将这些站点的个数、url（url以域名：协议/端口号/路径名设为形式存储在数据库当中，为了提高读写速度）回写到Context类的实例context当中。InjectorJob类的运行流程如下：publicstaticvoidmain(String[]args)throwsException{intres=ToolRunner.r
  • nutch2.3.1在ubuntu14.04下的配置及编译过程 Horizon_wing java搜索引擎
    nutch简介：目前nutch主要有1.x版本和2.x版本，两个的主要区别在于它们的底层数据库的存储形式不一样，1.x版本是基于hadoop架构的，底层存储使用的是HDFS（Hadoop式分布式存储），而2.x版本采用的是ApacheGora，使得nutch可以访问HBase，Accumulo、Mysql、DataFileAroStore等NoSQL。另外nutch1.X版本从1.7开始不再提供完
  • nutch 安装部署 以nutch2.3.1 为例 tt9576 antmongodbjavanutchubuntu
    阅读更多[/size][size=medium]最近在研究nutch在Ubuntu系统上安装部署nutch，nutch安装步骤如下：1、先安装ANT(ant下载安装包就不写了百度一大把)//解压antsudotar-zxvf/usr/test/soft/apache-ant-1.9.7-bin.tar.gz-C/usr//移动ant(这里只是把安装的文件放到一目录下，方便管理。)sudomv/us
  • nutch 安装部署 以nutch2.3.1 为例 tt9576 antmongodbjavanutchubuntu
    阅读更多[/size][size=medium]最近在研究nutch在Ubuntu系统上安装部署nutch，nutch安装步骤如下：1、先安装ANT(ant下载安装包就不写了百度一大把)//解压antsudotar-zxvf/usr/test/soft/apache-ant-1.9.7-bin.tar.gz-C/usr//移动ant(这里只是把安装的文件放到一目录下，方便管理。)sudomv/us
  • Nutch2.3.1 新闻分类爬虫 lqleo323 hadoopSolrNutch新闻
    Contents项目介绍配置文件本地抓取分布式环境配置开发环境配置solr4.10.3配置hadoop2.5.2安装部署项目下载地址联系作者项目介绍本项目基于https://github.com/xautlx/nutch-ajax.git，xautlx的nutch-ajax项目功能很强大，本项目在此基础上，对nutch-ajax项目做了一些精简和优化，对Nutch版本进行升级，引入Mybatis进
  • java观察者模式 3213213333332132 java设计模式游戏观察者模式
    观察者模式——顾名思义，就是一个对象观察另一个对象，当被观察的对象发生变化时，观察者也会跟着变化。 在日常中，我们配java环境变量时，设置一个JAVAHOME变量,这就是被观察者，使用了JAVAHOME变量的对象都是观察者，一旦JAVAHOME的路径改动，其他的也会跟着改动。 这样的例子很多，我想用小时候玩的老鹰捉小鸡游戏来简单的描绘观察者模式。 老鹰会变成观察者，母鸡和小鸡是
  • TFS RESTful API 模拟上传测试 ronin47
           TFS RESTful API 模拟上传测试。 　　 细节参看这里：https://github.com/alibaba/nginx-tfs/blob/master/TFS_RESTful_API.markdown 模拟POST上传一个图片： curl --data-binary @/opt/tfs.png http
  • PHP常用设计模式单例, 工厂, 观察者, 责任链, 装饰, 策略,适配,桥接模式 dcj3sjt126com 设计模式PHP
    // 多态, 在JAVA中是这样用的, 其实在PHP当中可以自然消除, 因为参数是动态的, 你传什么过来都可以, 不限制类型, 直接调用类的方法 abstract class Tiger { public abstract function climb(); } class XTiger extends Tiger { public function climb()
  • hibernate 171815164 Hibernate
    main,save Configuration conf =new Configuration().configure(); SessionFactory sf=conf.buildSessionFactory(); Session sess=sf.openSession(); Transaction tx=sess.beginTransaction(); News a=new
  • Ant实例分析 g21121 ant
            下面是一个Ant构建文件的实例，通过这个实例我们可以很清楚的理顺构建一个项目的顺序及依赖关系，从而编写出更加合理的构建文件。           下面是build.xml的代码： <?xml version="1
  • [简单]工作记录_接口返回405原因 53873039oycg 工作
             最近调接口时候一直报错，错误信息是:       responseCode:405 responseMsg:Method Not Allowed        接口请求方式Post.
  • 关于java.lang.ClassNotFoundException 和 java.lang.NoClassDefFoundError 的区别 程序员是怎么炼成的
       真正完成类的加载工作是通过调用 defineClass来实现的；  而启动类的加载过程是通过调用 loadClass来实现的；  就是类加载器分为加载和定义   protected Class<?> findClass(String name) throws ClassNotFoundExcept
  • JDBC学习笔记-JDBC详细的操作流程 aijuans jdbc
    所有的JDBC应用程序都具有下面的基本流程：　　1、加载数据库驱动并建立到数据库的连接。　　2、执行SQL语句。　　3、处理结果。　　4、从数据库断开连接释放资源。 下面我们就来仔细看一看每一个步骤： 其实按照上面所说每个阶段都可得单独拿出来写成一个独立的类方法文件。共别的应用来调用。 1、加载数据库驱动并建立到数据库的连接：   Html代码  St
  • rome创建rss antonyup_2006 tomcatcmsxmlstrutsOpera
    引用 1.RSS标准 RSS标准比较混乱，主要有以下3个系列 RSS 0.9x / 2.0 : RSS技术诞生于1999年的网景公司(Netscape)，其发布了一个0.9版本的规范。2001年，RSS技术标准的发展工作被Userland Software公司的戴夫 温那(Dave Winer)所接手。陆续发布了0.9x的系列版本。当W3C小组发布RSS 1.0后，Dave W
  • html表格和表单基础 百合不是茶 html表格表单meta锚点
    第一次用html来写东西,感觉压力山大,每次看见别人发的都是比较牛逼的 再看看自己什么都还不会,   html是一种标记语言,其实很简单都是固定的格式   _----------------------------------------表格和表单 表格是html的重要组成部分,表格用在body里面的 主要用法如下; <table> &
  • ibatis如何传入完整的sql语句 bijian1013 javasqlibatis
            ibatis如何传入完整的sql语句？进一步说，String str ="select * from test_table"，我想把str传入ibatis中执行，是传递整条sql语句。         解决办法： <
  • 精通Oracle10编程SQL(14)开发动态SQL bijian1013 oracle数据库plsql
    /* *开发动态SQL */ --使用EXECUTE IMMEDIATE处理DDL操作 CREATE OR REPLACE PROCEDURE drop_table(table_name varchar2) is sql_statement varchar2(100); begin sql_statement:='DROP TABLE '||table_name;
  • 【Linux命令】Linux工作中常用命令 bit1129 linux命令
    不断的总结工作中常用的Linux命令   1.查看端口被哪个进程占用   通过这个命令可以得到占用8085端口的进程号，然后通过ps -ef|grep 进程号得到进程的详细信息   netstat -anp | grep 8085   察看进程ID对应的进程占用的端口号   netstat -anp | grep 进程ID &
  • 优秀网站和文档收集 白糖_ 网站
    集成 Flex, Spring, Hibernate 构建应用程序   性能测试工具-JMeter   Hmtl5-IOCN网站   Oracle精简版教程网站   鸟哥的linux私房菜   Jetty中文文档   50个jquery必备代码片段   swfobject.js检测flash版本号工具
  • angular.extend boyitech AngularJSangular.extendAngularJS API
    angular.extend 复制src对象中的属性去dst对象中. 支持多个src对象. 如果你不想改变一个对象，你可以把dst设为空对象{}: var object = angular.extend({}, object1, object2). 注意: angular.extend不支持递归复制. 使用方法: angular.extend(dst, src); 参数:
  • java-谷歌面试题-设计方便提取中数的数据结构 bylijinnan java
    网上找了一下这道题的解答，但都是提供思路，没有提供具体实现。其中使用大小堆这个思路看似简单，但实现起来要考虑很多。 以下分别用排序数组和大小堆来实现。 使用大小堆： import java.util.Arrays; public class MedianInHeap { /** * 题目：设计方便提取中数的数据结构 * 设计一个数据结构，其中包含两个函数，1.插
  • ajaxFileUpload 针对 ie jquery 1.7+不能使用问题修复版本 Chen.H ajaxFileUploadie6ie7ie8ie9
    jQuery.extend({ handleError: function( s, xhr, status, e ) { // If a local callback was specified, fire it if ( s.error ) { s.error.call( s.context || s, xhr, status, e ); }
  • [机器人制造原则]机器人的电池和存储器必须可以替换 comsci 制造
           机器人的身体随时随地可能被外来力量所破坏,但是如果机器人的存储器和电池可以更换,那么这个机器人的思维和记忆力就可以保存下来,即使身体受到伤害,在把存储器取下来安装到一个新的身体上之后,原有的性格和能力都可以继续维持.....        另外,如果一
  • Oracle Multitable INSERT 的用法 daizj oracle
    转载Oracle笔记-Multitable INSERT 的用法 http://blog.chinaunix.net/uid-8504518-id-3310531.html 一、Insert基础用法 语法：     Insert Into 表名 (字段1,字段2,字段3...）     Values (值1,
  • 专访黑客历史学家George Dyson datamachine on
    20世纪最具威力的两项发明——核弹和计算机出自同一时代、同一群年青人。可是，与大名鼎鼎的曼哈顿计划（第二次世界大战中美国原子弹研究计划）相 比，计算机的起源显得默默无闻。出身计算机世家的历史学家George Dyson在其新书《图灵大教堂》（Turing’s Cathedral）中讲述了阿兰·图灵、约翰·冯·诺依曼等一帮子天才小子创造计算机及预见计算机未来
  • 小学6年级英语单词背诵第一课 dcj3sjt126com englishword
    always 总是 rice 水稻，米饭 before 在...之前 live 生活，居住   usual 通常的 early 早的 begin 开始 month 月份   year 年 last 最后的 east 东方的 high 高的   far 远的 window 窗户 world 世界 than 比...更  
  • 在线IT教育和在线IT高端教育 dcj3sjt126com 教育
    codecademy  http://www.codecademy.com codeschool  https://www.codeschool.com teamtreehouse  http://teamtreehouse.com lynda http://www.lynda.com/ Coursera https://www.coursera.
  • Struts2 xml校验框架所定义的校验文件 蕃薯耀 Struts2 xml校验Struts2 xml校验框架Struts2校验
      >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年7月11日 15:54:59 星期六 http://fa
  • mac下安装rar和unrar命令 hanqunfeng mac
    1.下载：http://www.rarlab.com/download.htm 选择 RAR 5.21 for Mac OS X 2.解压下载后的文件 tar -zxvf rarosx-5.2.1.tar 3.cd rar sudo install -c -o $USER unrar /bin #输入当前用户登录密码 sudo install -c -o $USER rar
  • 三种将list转换为map的方法 jackyrong list
      在本文中，介绍三种将list转换为map的方法： 1） 传统方法 假设有某个类如下    class Movie { private Integer rank; private String description; public Movie(Integer rank, String des
  • 年轻程序员需要学习的5大经验 lampcy 工作PHP程序员
    在过去的7年半时间里，我带过的软件实习生超过一打，也看到过数以百计的学生和毕业生的档案。我发现很多事情他们都需要学习。或许你会说，我说的不就是某种特定的技术、算法、数学，或者其他特定形式的知识吗？没错，这的确是需要学习的，但却并不是最重要的事情。他们需要学习的最重要的东西是“自我规范”。这些规范就是：尽可能地写出最简洁的代码；如果代码后期会因为改动而变得凌乱不堪就得重构；尽量删除没用的代码，并添加
  • 评“女孩遭野蛮引产致终身不育 60万赔偿款1分未得”医腐深入骨髓 nannan408
    先来看南方网的一则报道： 再正常不过的结婚、生子，对于29岁的郑畅来说，却是一个永远也无法实现的梦想。从2010年到2015年，从24岁到29岁，一张张新旧不一的诊断书记录了她病情的同时，也清晰地记下了她人生的悲哀。 　　粗暴手术让人发寒 　　2010年7月，在酒店做服务员的郑畅发现自己怀孕了，可男朋友却联系不上。在没有和家人商量的情况下，她决定堕胎。 　　12月5日，
  • 使用jQuery为input输入框绑定回车键事件 VS 为a标签绑定click事件 Everyday都不同 jspinput回车键绑定clickenter
    假设如题所示的事件为同一个，必须先把该js函数抽离出来，该函数定义了监听的处理：   function search() { //监听函数略...... }   为input框绑定回车事件，当用户在文本框中输入搜索关键字时，按回车键，即可触发search():   //回车绑定 $(".search").keydown(fun
  • EXT学习记录 tntxia ext
      1. 准备   （1） 官网：http://www.sencha.com/   里面有源代码和API文档下载。   EXT的域名已经从www.extjs.com改成了www.sencha.com ，但extjs这个域名会自动转到sencha上。   （2）帮助文档：   想要查看EXT的官方文档的话，可以去这里h
  • mybatis3的mapper文件报Referenced file contains errors xingguangsixian mybatis
    最近使用mybatis.3.1.0时无意中碰到一个问题： The errors below were detected when validating the file "mybatis-3-mapper.dtd" via the file "account-mapper.xml". In most cases these errors can be d
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他