hadoop2.4 第2页

从零教你在Linux环境下（ubuntu 12.04）如何编译hadoop2.4

一、首先下载hadoop源码包下载的方式还是比较多的1.svn的方式svn下载首先需要安装SVN，如果想尝试使用svn，可以参考源码管理、获取网络源码工具：TortoiseSVN使用手册，hadoop的svn下载地址点此2.压缩包的方式这里我们介绍一种压缩包的方式。首先我们登录官网：http://hadoop.apache.org/，我们找到下面链接，点进去下载即可。如果刚接触，不知道怎么下载，可

u010022051·2015-04-27 09:00

编译hadoop-eclipse插件

以前写mapreduce，经常要做的同一件事情就是打包上传，每每做这件事情的时候都是痛苦的，由于之前hadoop2.4刚出不久，用过很多方法都没有弄到这个版本的插件，现在这个版本已经稳定，我花了半天的功夫终于搞定了这个插件

坏坏一笑·2015-04-24 12:00

hadoop2 shell简介

0简图： 1 命令所在位置：[root@h2single511-115bin]#pwd /usr/local/hadoop2.4/bin 2和hadoop1shell的区别： hadoop1hdadoopfs-ls

chengjianxiaoxue·2015-01-10 12:00

hadoop2.4 支持snappy

我们hadoop2,4集群默认不支持snappy压缩，但是最近有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算，但是直接运行时报错：Failedwithexceptionjava.io.IOException:java.lang.RuntimeException:nativesnappylibraryno

快乐程序员·2014-12-22 23:07

hadoop2.4 编译Eclipse插件

编译前的准备: 首先安装ANT、ECLIPSE、HADOOP.使用的的HADOOP版本是2.4。 1、安装ANT 解压：tar-zxvf apache-ant-1.9.4-bin.tar.gz 重命名：mv apache-ant-1.9.4 ant 添加环境变量： exportANT_HOME= #{home}/ant

ddjj1990·2014-12-21 21:45

hadoop2.4 编译Eclipse插件

编译前的准备:首先安装ANT、ECLIPSE、HADOOP.使用的的HADOOP版本是2.4。1、安装ANT解压：tar-zxvfapache-ant-1.9.4-bin.tar.gz重命名：mvapache-ant-1.9.4ant添加环境变量：exportANT_HOME=#{home}/antexport$PATH=$PATH:ANT_HOME/bin验证：ant-versionapache

ddjj1990·2014-12-21 21:45

如何通过eclipse查看、阅读hadoop2.4源码

1.导入查看hadoop源码（1）选择ExistingProjectsintoWorkspace（2）选择源码路径（3）查看源码这样我们就完成了全部的内容。2.阅读hadoop源码其中比较常用的OpenCallHierarchy：用OpenCallHierarchy可以查看方法的调用层次。如果想知道一个方法在别的什么地方被调用了，这个功能就很好用了，实际中也很常用，比如要重构一个方法时，想知道他对

cloud__L·2014-11-23 19:33

hbase 二级索引实现

环境：hadoop2.2+hbase0.94不过同样应该适用于hadoop2.4及hbase0.985，未测试二级索引可以对单个表建立索引，也可以全局建立索引，也就是对所有表：1.全局建立索引，可以修改

mlljava1111·2014-10-16 21:00

关于hadoop2.4下，使用hbase包冲突问题

最近，将之前写的hbase接口由hadoop1.2换成了2.4，将服务器上所有的hbase包都拷到本地，不停的出现各种奇怪问题，今天花了一下午时间，整理了一下hbase在hadoop2.4下的包，俱体需要如下

kingmaxno1·2014-10-10 17:59

CentOS7x86_64编译hadoop2.4

主要涉及到工具有：hadoop-2.4.0-src.tar.gz、Ant、Maven、JDK、GCC、CMake、openssl 第一步升级系统相关编译所需的软件（升级最新版）： yum install lzo-devel zlib-devel gcc autoconf automake libtool ncurses-devel openssl-devel wget http:/

cleans·2014-09-16 23:00

Yarn在Shuffle阶段内存不足问题(error in shuffle in fetcher)

最近在迁移job到新集群hadoop2.4，业务方在跑一个hql的时候shuffle阶段出现OOM，这个问题之前从来没有遇到过，看了一下相关日志和counter，看不出个所以然，在网上搜索了一下，发现网友也遇到过相同的问题

快乐程序员·2014-09-15 17:40

Hadoop 自定义Writable NullpointerException

Hadoop环境：Hadoop2.4在定义Hadoop的Writable时候，有时需要使用到数组，而不是简单的字符串或者单个的数值。

fansy1990·2014-08-09 21:00

hadoop编程小技巧（9）---二次排序（值排序）

代码测试环境：Hadoop2.4应用场景：在Reducer端一般是key排序，而没有value排序，如果想对value进行排序，则可以使用此技巧。

fansy1990·2014-07-30 16:59

hadoop编程小技巧（9）---二次排序（值排序）

代码测试环境：Hadoop2.4应用场景：在Reducer端一般是key排序，而没有value排序，如果想对value进行排序，则可以使用此技巧。

fansy1990·2014-07-30 16:00

hadoop编程小技巧（7）---自定义输出文件格式以及输出到不同目录

代码测试环境：Hadoop2.4应用场景：当需要定制输出数据格式时可以采用此技巧，包括定制输出数据的展现形式，输出路径，输出文件名称等。

fansy1990·2014-07-24 13:15

hadoop编程小技巧（7）---自定义输出文件格式以及输出到不同目录

代码测试环境：Hadoop2.4应用场景：当需要定制输出数据格式时可以采用此技巧，包括定制输出数据的展现形式，输出路径，输出文件名称等。

fansy1990·2014-07-24 13:00

hadoop编程小技巧（6）---处理大量小数据文件CombineFileInputFormat应用

代码测试环境：Hadoop2.4应用场景：当需要处理很多小数据文件的时候，可以应用此技巧来达到高效处理数据的目的。

fansy1990·2014-07-23 11:02

hadoop编程小技巧（6）---处理大量小数据文件CombineFileInputFormat应用

代码测试环境：Hadoop2.4应用场景：当需要处理很多小数据文件的时候，可以应用此技巧来达到高效处理数据的目的。

fansy1990·2014-07-23 11:00

hadoop编程小技巧（5）---自定义输入文件格式类InputFormat

Hadoop代码测试环境：Hadoop2.4应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。

fansy1990·2014-07-22 13:00

hadoop编程小技巧（4）---全局key排序类TotalOrderPartitioner

Hadoop代码测试版本：Hadoop2.4原理：在进行MR程序之前对输入数据进行随机提取样本，把样本排序，然后在MR的中间过程Partition的时候使用这个样本排序的值进行分组数据，这样就可以达到全局排序的目的了

fansy1990·2014-07-18 14:59

hadoop编程小技巧（4）---全局key排序类TotalOrderPartitioner

Hadoop代码测试版本：Hadoop2.4原理：在进行MR程序之前对输入数据进行随机提取样本，把样本排序，然后在MR的中间过程Partition的时候使用这个样本排序的值进行分组数据，这样就可以达到全局排序的目的了

fansy1990·2014-07-18 14:00

hadoop编程小技巧（3）---自定义分区类Partitioner

Hadoop代码测试环境：Hadoop2.4原理：在Hadoop的MapReduce过程中，Mapper读取处理完成数据后，会把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个

fansy1990·2014-07-17 13:17

hadoop编程小技巧（3）---自定义分区类Partitioner

Hadoop代码测试环境：Hadoop2.4原理：在Hadoop的MapReduce过程中，Mapper读取处理完成数据后，会把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个

fansy1990·2014-07-17 13:00

hadoop2.4汇总：hadoop2.4插件下载、完全分布式、伪分布、eclipse插件开发大全

地址：http://www.aboutyun.com/thread-7795-1-1.html hadoop2.4版本的发布，很多童鞋都想了解其新特性:它们做了哪些改变

aubdiy·2014-07-15 09:00

hadoop2.4汇总：hadoop2.4插件下载、完全分布式、伪分布、eclipse插件开发大全

地址：http://www.aboutyun.com/thread-7795-1-1.html hadoop2.4版本的发布，很多童鞋都想了解其新特性:它们做了哪些改变

aubdiy·2014-07-15 09:00

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了，包含windows7上eclipse连接hadoop，eclipse的配置和测试弄得烦躁的一逗比了~先上一张成功的图片，hadoop的伪分布式安装配置

Mr-稻帅·2014-07-12 15:22

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了，包含windows7上eclipse连接hadoop，eclipse的配置和测试弄得烦躁的一逗比了~先上一张成功的图片，hadoop的伪分布式安装配置

enson16855·2014-07-12 15:00

Mapreduce执行过程分析(基于Hadoop2.4)——(三)

4.4Reduce类4.4.1Reduce介绍整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这么三个步骤：Copy

can007·2014-07-10 23:00

Mapreduce执行过程分析(基于Hadoop2.4)——(二)

4.3Map类创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。4.3.1Map介绍 Mapper类是一个泛

can007·2014-07-10 23:00

Mapreduce执行过程分析(基于Hadoop2.4)——(一)

1概述该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。2为什么要使用MapReduceMap/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不太适合了。从名字可以看出

can007·2014-07-10 23:00

hadoop + spark 探索

spark官网:http://spark.apache.org/releases/spark-release-1-0-0.html安装hadoop2.4到spark官网下载tgz包

LANWENBING·2014-07-10 15:00

Mahout算法调用展示平台2.1

软件版本：windows7：Tomcat7、JDK7、Spring4.0.2、Struts2.3、Hibernate4.3、myeclipse10.0、easyui；Linux（centos6.5）：Hadoop2.4

fansy1990·2014-07-06 18:00

编译hadoop2.4

摘自 http://www.aboutyun.com/thread-8130-1-1.html、http://www.dataguru.cn/forum.php?mod=viewthread&tid=189176一、首先下载hadoop源码包下载的方式还是比较多的1.svn的方式svn下载首先需要安装SVN，如果想尝试使用svn，可以参考源码管理、获取网络源码工具：TortoiseSVN使用手册，

pandahyang·2014-06-30 10:00

【hadoop之翊】——CentOS6.5 Linux上面编译Hadoop2.4源码

今天来说说编译hadoop源码的事情吧~1、首先下载源码地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/2、加压tar包到指定文件夹：/home/hadoop/soft/hadooptarzxvfhadoop-2.4.0-src.tar.gz3、Linux编译环境准备java环境准备参照：http://blog.csdn.

enson16855·2014-06-28 16:00

hadoop2.4安装部署——亲手测试通过

机器与环境192.168.100.150redhat，jdk1.6.0_301、linuxrh下安装hadoop1）下载：http://mirror.esocc.com/apache/hadoop/common/current/hadoop-2.4.0.tar.gz2）进入/home/kris/解压文件到当前目录：tarxzvfhadoop-2.4.0.tar.gz-C./3）配制环境变量（由

coolwzjcool·2014-06-18 08:41

hadoop2.4安装部署——亲手测试通过

机器与环境192.168.100.150redhat，jdk1.6.0_30 1、linuxrh下安装hadoop 1）下载：http://mirror.esocc.com/apache/hadoop/common/current/hadoop-2.4.0.tar.gz 2）进入/home/kris/解压文件到当前目录：tarxzvfhadoop-2.4.0.tar.gz-C./ 3）配制环境

coolwzjcool·2014-06-18 08:00