hadoop2.2

亚马逊Hadoop2.2内存参数模板

m1.medium 配置选项 默认值 mapreduce.map.java.opts -Xmx512m mapreduce.reduce.java.opts -Xmx768m mapreduce.map.memory.mb 768 mapreduce.reduce.memory.mb 1024 yarn.app.mapreduce.am.resource.mb 1024 yarn.schedu
qindongliang1922·2015-05-01 18:00

亚马逊Hadoop2.2内存参数模板

m1.medium 配置选项 默认值 mapreduce.map.java.opts -Xmx512m mapreduce.reduce.java.opts -Xmx768m mapreduce.map.memory.mb 768 mapreduce.reduce.memory.mb 1024 yarn.app.mapreduce.am.resource.mb 1024 yarn.schedu
qindongliang1922·2015-05-01 18:00

亚马逊Hadoop2.2内存参数模板

m1.medium 配置选项 默认值 mapreduce.map.java.opts -Xmx512m mapreduce.reduce.java.opts -Xmx768m mapreduce.map.memory.mb 768 mapreduce.reduce.memory.mb 1024 yarn.app.mapreduce.am.resource.mb 1024 yarn.schedu
qindongliang1922·2015-05-01 18:00

Hadoop2.2如何集成Apache Pig0.12.1？

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23
qindongliang1922·2015-05-01 16:00

Hadoop2.2如何集成Apache Pig0.12.1？

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23
qindongliang1922·2015-05-01 16:00

Hadoop2.2如何集成Apache Pig0.12.1？

阅读更多散仙假设你的Hadoop环境已经安装完毕（1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令：antcleanjar-withouthadoop-Dhadoopversion=23否则执行MapReduce时，会
qindongliang1922·2015-05-01 16:00

Hadoop2.2如何集成Apache Pig0.12.1？

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23
qindongliang1922·2015-05-01 16:00

Hadoop2.2如何集成Apache Pig0.12.1？

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23
qindongliang1922·2015-05-01 16:00

Hadoop2.2如何集成Apache Pig0.12.1？

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23
qindongliang1922·2015-05-01 16:00

Hadoop2.2如何集成Apache Pig0.12.1？

阅读更多散仙假设你的Hadoop环境已经安装完毕（1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令：antcleanjar-withouthadoop-Dhadoopversion=23否则执行MapReduce时，会
qindongliang1922·2015-05-01 16:00

Hadoop2.2如何集成Apache Pig0.12.1？

散仙假设你的Hadoop环境已经安装完毕 （1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令： ant clean jar-withouthadoop -Dhadoopversion=23
qindongliang1922·2015-05-01 16:00

软件下载地址记录

软件下载地址记录： hadoop2.2： http://mirror.bit.edu.cn/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz  
beat_it_·2015-04-11 21:00

Hadoop问题笔记之五问五答-日志配置

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2
qindongliang1922·2015-04-10 22:00

Hadoop问题笔记之五问五答-日志配置

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2
qindongliang1922·2015-04-10 22:00

Hadoop问题笔记之五问五答-日志配置

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2
qindongliang1922·2015-04-10 22:00

Hadoop问题笔记之五问五答-日志配置

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2
qindongliang1922·2015-04-10 22:00

Hadoop问题笔记之五问五答-日志配置

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2
qindongliang1922·2015-04-10 22:00

Hadoop问题笔记之五问五答-日志配置

eclipse中使用ApacheHadoop2.2.0对接CDH5.3的Hadoop2.5调试时，很顺利，所有的问题全部KO，今天散仙把项目整理了一下，上传到svn上，这次运行的地方是正宗的Apache社区版本Hadoop2.2
qindongliang1922·2015-04-10 22:00

HDFS的体系架构详解

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
超人学院·2015-04-10 15:00

鼓捣了好几天hadoop2.2集群（关于节点删除+ssh免密码登陆）

1.节点删除1）修改conf/hdfs-site.xml文件，excludes文件的目录。如下：     dfs.hosts.exclude     /home/hadoop/hadoop-2.2.0/etc/hadoop/excludes      Names a file that contains a list of hosts that are        not permitted t
jade_liucui·2015-03-23 13:00

hadoop2.2.0安装

Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。
u010022051·2015-03-14 13:00

如何在Centos6.5下部署Hadoop2.2的完全分布式集群

散仙在上篇文章中，已经讲述了部署Hadoop2.2伪分布式的步骤，那么今天，我们来看下，如何在Centos6.5下，部署完全分布式集群。
lixuguang·2015-03-14 13:00

hadoop集群配置

图1 hadoop2.2
hao707822882·2015-02-13 14:00

maven 安装

先去http://maven.apache.org/download.cgi下载maven（最好是下3.05好像3.10的与hadoop2.2有兼容问题）我不管那么多，就下了3.05的因为我装的是hadoop2.0cdh4
lyayfy·2015-02-04 14:00

hadoop1.0.4升级到hadoop2.2 详细流程步骤

HDFS升级，是hadoop集群升级到2.0的关键，而hdfs升级，最重要的是namenode的升级。首先声明：hadoop1.x不能直接升级到HA模式下，namenode是不能升级成功的，这里也借助hadoop2.x兼容hadoop1.x的配置文件来升级。如果直接升级hadoop2.xHA模式可能会出现如下错误FATALorg.apache.hadoop.hdfs.server.namenode
超人学院·2015-01-09 14:00

Hadoop2.2安装出现不支持bzip2压缩问题原因分析

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的
qindongliang1922·2014-12-16 18:00

Hadoop2.2安装出现不支持bzip2压缩问题原因分析

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的
qindongliang1922·2014-12-16 18:00

Hadoop2.2安装出现不支持bzip2压缩问题原因分析

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的
qindongliang1922·2014-12-16 18:00

Hadoop2.2安装出现不支持bzip2压缩问题原因分析

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的
qindongliang1922·2014-12-16 18:00

Hadoop2.2安装出现不支持bzip2压缩问题原因分析

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的
qindongliang1922·2014-12-16 18:00

Hadoop2.2安装出现不支持bzip2压缩问题原因分析

刚装的hadoop2.2的集群，散仙在执行bin/hadoopchecknative命令时，出现如下警告：bizip2的的本地压缩支持无效，整个编译过程，并没有出现任何错误，或异常，而且去cenots下的
qindongliang1922·2014-12-16 18:00

Hadoop核心架构(HDFS+MapReduce+Hbase+Hive) (转)

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
yunpiao·2014-12-08 20:00

windows 下eclipse 连HBASE

hadoop集群2.3.0，在eclipse下想HBASE导入数据时程序会报打不到winutils.exe的错误，这是因为hadoop2.2没有发布winutils.exe造成的。
wuxianbin_brant·2014-11-26 21:53

Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
yujin753·2014-11-26 11:00

hadoop2.X如何将namenode与SecondaryNameNode分开配置

我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考，hadoop2.2完全分布式最新高可靠安装文档。在这个基础上，我们对配置文件做一些修改：1.增加
a925907195·2014-11-14 22:35

Hadoop2.2内存调优

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因
qindongliang1922·2014-11-05 21:00

Hadoop2.2内存调优

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因
qindongliang1922·2014-11-05 21:00

Hadoop2.2内存调优

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因
qindongliang1922·2014-11-05 21:00

Hadoop2.2内存调优

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因
qindongliang1922·2014-11-05 21:00

Hadoop2.2内存调优

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因
qindongliang1922·2014-11-05 21:00

Hadoop2.2内存调优

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因
qindongliang1922·2014-11-05 21:00

vmware10上三台虚拟机的Hadoop2.2.0集群搭建

为了方便，采用32位Ubuntu虚拟机和Hadoop2.2安装。
baixlzju·2014-11-05 12:01

Eclipse4.2向hadoop2.2提交MR作业异常

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache
qindongliang1922·2014-10-31 19:00

Eclipse4.2向hadoop2.2提交MR作业异常

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache
qindongliang1922·2014-10-31 19:00

Eclipse4.2向hadoop2.2提交MR作业异常

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache
qindongliang1922·2014-10-31 19:00

Eclipse4.2向hadoop2.2提交MR作业异常

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache
qindongliang1922·2014-10-31 19:00

Eclipse4.2向hadoop2.2提交MR作业异常

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache
qindongliang1922·2014-10-31 19:00

Eclipse4.2向hadoop2.2提交MR作业异常

之前散仙也用过eclipse直接向hadoop提交MR作业，也提交成功过，这次换了集群环境，提交作业时发现几个异常，特此整理一下，以防后面再出现类似问题。 主要的问题的有2个: 第一个问题，在win7上的eclipse向hadoop提交作业时，没有权限，异常信息如下： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache
qindongliang1922·2014-10-31 19:00

Hadoop2.2版本编译运行

一编译环境： centos5.10 64Bit，  jdk1.6.0_45   maven3.1.1 protoc2.5.0二基础环境配置：1、安装JDK1.1:  vi.bash_profile:exportPATH exportJAVA_HOME=/data/server/1.6.0_45 exportPATH=$JAVA_HOME/bin:$PATH  #首先从JAVA_HOME下寻找可调用
shenxiaoming77·2014-10-28 16:00

Hadoop2.2集群安装配置-Spark集群安装部署

配置安装Hadoop2.2.0部署spark1.0的流程一、环境描述本实验在一台Windows7-64下安装Vmware，在Vmware里安装两虚拟机分别如下主机名spark1（192.168.232.147），RHEL6.2-64操作系统，用户名Root从机名spark2（192.168.232.152），RHEL6.2-64操作系统，用户名Root二、环境准备1、防火墙禁用，SSH服务设置为开
panguoyuan·2014-10-18 14:04
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他