m1.medium 配置选项 默认值 mapreduce.map.java.opts -Xmx512m mapreduce.reduce.java.opts -Xmx768m mapreduce.map.memory.mb 768 mapreduce.reduce.memory.mb 1024 yarn.app.mapreduce.am.resource.mb 1024 yarn.schedu

m1.medium 配置选项 默认值 mapreduce.map.java.opts -Xmx512m mapreduce.reduce.java.opts -Xmx768m mapreduce.map.memory.mb 768 mapreduce.reduce.memory.mb 1024 yarn.app.mapreduce.am.resource.mb 1024 yarn.schedu

m1.medium 配置选项 默认值 mapreduce.map.java.opts -Xmx512m mapreduce.reduce.java.opts -Xmx768m mapreduce.map.memory.mb 768 mapreduce.reduce.memory.mb 1024 yarn.app.mapreduce.am.resource.mb 1024 yarn.schedu

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23

阅读更多散仙假设你的Hadoop环境已经安装完毕（1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令：antcleanjar-withouthadoop-Dhadoopversion=23否则执行MapReduce时，会

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23

阅读更多散仙假设你的Hadoop环境已经安装完毕（1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令：antcleanjar-withouthadoop-Dhadoopversion=23否则执行MapReduce时，会

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23

软件下载地址记录： hadoop2.2： http://mirror.bit.edu.cn/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz  

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改

1.节点删除1）修改conf/hdfs-site.xml文件，excludes文件的目录。如下：     dfs.hosts.exclude     /home/hadoop/hadoop-2.2.0/etc/hadoop/excludes      Names a file that contains a list of hosts that are        not permitted t

Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。

散仙在上篇文章中，已经讲述了部署Hadoop2.2伪分布式的步骤，那么今天，我们来看下，如何在Centos6.5下，部署完全分布式集群。

图1 hadoop2.2

先去http://maven.apache.org/download.cgi下载maven（最好是下3.05好像3.10的与hadoop2.2有兼容问题）我不管那么多，就下了3.05的因为我装的是hadoop2.0cdh4

HDFS升级，是hadoop集群升级到2.0的关键，而hdfs升级，最重要的是namenode的升级。首先声明：hadoop1.x不能直接升级到HA模式下，namenode是不能升级成功的，这里也借助hadoop2.x兼容hadoop1.x的配置文件来升级。如果直接升级hadoop2.xHA模式可能会出现如下错误FATALorg.apache.hadoop.hdfs.server.namenode

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改

hadoop集群2.3.0，在eclipse下想HBASE导入数据时程序会报打不到winutils.exe的错误，这是因为hadoop2.2没有发布winutils.exe造成的。

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改

我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考，hadoop2.2完全分布式最新高可靠安装文档。在这个基础上，我们对配置文件做一些修改：1.增加

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因

为了方便，采用32位Ubuntu虚拟机和Hadoop2.2安装。

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache

一编译环境： centos5.10 64Bit，  jdk1.6.0_45   maven3.1.1 protoc2.5.0二基础环境配置：1、安装JDK1.1:  vi.bash_profile:exportPATH exportJAVA_HOME=/data/server/1.6.0_45 exportPATH=$JAVA_HOME/bin:$PATH  #首先从JAVA_HOME下寻找可调用

配置安装Hadoop2.2.0部署spark1.0的流程一、环境描述本实验在一台Windows7-64下安装Vmware，在Vmware里安装两虚拟机分别如下主机名spark1（192.168.232.147），RHEL6.2-64操作系统，用户名Root从机名spark2（192.168.232.152），RHEL6.2-64操作系统，用户名Root二、环境准备1、防火墙禁用，SSH服务设置为开