hadoop2.4.0

HDFS集群滚动升级以及回滚相关

注：从hadoop2.4.0开始才支持滚动升级因此为了在不停机的情况下升级hdfs集群，必须使用HA设置集
fiveym·2023-08-02 04:07

在IDEA14中使用代码连接Hbase

环境准备：我用的是Hadoop2.4.0以及Hbase0.98.15，首先保证hadoop和hbase已经安装并且环境配置完成。
T_world·2020-09-15 13:34

HDFS权限

注：hadoop2.4.0版本开始支持hdfs的ACL二、HDFS基本权限管理2.1初始目录权限当
叁木-Neil·2020-09-14 00:03

Mapper中map方法下context.write的流程与代码详解

本文的分析基于Hadoop2.4.0版本任何Map任务在Hadoop中都会被一个MapTask对象所详细描述，MapTask会最终调用其run方法来执行它对应的Map任务，需要执行任务就必须要有相关的输入输出信息
woshiliufeng·2020-09-13 20:46

hadoop2.4.0源码编译

1.前言Hadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联网，否则难逐一解决所有的编译问题，但第一次之后的编译则不用再下载了。2.安装依赖在编译Hadoop2.
jiangzeyun·2020-08-24 00:35

HDFS Hedged Read

Hedgedreads是HDFS的一个功能，在Hadoop2.4.0之后引入。一般来说，每个读请求都会由生成的一个线程处理。
王小禾·2020-08-14 16:04

sqoop1.99.4搭建(hadoop2.4.0)

1.版本信息:hadoop版本:2.4.0,sqoop版本:sqoop-1.99.4-bin-hadoop2002.首先将下载好的sqoop-1.99.4-bin-hadoop200.tar.gz解压,并放到常用程序安装目录:/usr3.修改环境变量：sudo/etc/profile:添加如下内容：#sqoopexportSQOOP_HOME=/usr/sqoop-1.99.4-bin-hadoo
江南浙里·2020-08-11 01:51

Hadoop2.4.0 Eclipse插件制作

跌跌撞撞两天装Hadoop2.4.0的环境，今天终于可以尝试写点程序了，想了一想，不得其法，但有一点是肯定的，那就是需要用eclipse，查了一上午的资料，怎么讲的都有，最后锁定了这个帖子，hadoop2x-eclipse-plugin
驰驰的老爸·2020-08-10 09:30

启动Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析

网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop2.4.0是data目录，实际上这个信息已经由日志的“/data/hadoop/hadoop-2.4.0/data”指出，所以不能死死的参照网上的解决办法
爱人间·2020-08-09 09:17

hadoop2.4.0的distcp引起的问题

最近在支持业务部门将数据从hadoop0.20.203迁移到hadoop2.4.0的时候，distcp报了几个错误，在这里记录一下：1、报权限错误15/01/0610:48:37ERRORtools.DistCp
快乐程序员·2020-07-04 17:04

HDFS HA切换后missing block问题分析

我们Hadoop平台也从Hadoop1.2.1升级到了Hadoop2.4.0版本，当然HDFSHA也配置到集群中。
笛香幽谷（ouyangshourui）·2020-06-27 00:47

Eclipse下搭建Hadoop2.4.0开发环境

原文地址为：Eclipse下搭建Hadoop2.4.0开发环境一、安装Eclipse下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse4.3.1版本下载地址
dearbaba_8520·2018-07-31 10:58

Hadoop完全分布式集群搭建

  搭建环境的时候参考了以下下文章： Ubuntu14.04下安装Hadoop2.4.0 （单机模式） Ubuntu14.04下安装Hadoop2.4.0 （伪分布模式） hadoop
·2015-11-11 17:14

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了，包括 windows7上eclipse连接hadoop，eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片，hadoop的伪分布式安装配置，仅仅要依照步骤来，有点基础的 基本没什么问题的。。eclipse的配置 弄了非常长一段时间才弄好的，中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。 今天来说说
·2015-11-11 07:19

第一个hadoop程序（hadoop2.4.0集群+Eclipse环境）

一、Eclipse hadoop环境配置  1. 在我的电脑右键->属性->高级系统设置->环境变量，配置环境变量：         JAVA_HOME=D:\ProgramFiles\Java\jdk1.7.0_67，       HADOOP_HOME=D:\TEDP_Software\ha
·2015-10-30 18:57

二、Ubuntu14.04下安装Hadoop2.4.0 （伪分布模式）

在 Ubuntu14.04下安装Hadoop2.4.0 （单机模式）基础上配置   一、配置core-site.xml     /usr/local
·2015-10-27 13:35

Eclipse下搭建Hadoop2.4.0开发环境

一、安装Eclipse     下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse     4.3.1版本下载地址：http://pan.baidu.com/s/1eQkpRgu 二、在eclipse上安装hadoop插件    &
·2015-10-27 13:35

一、Ubuntu14.04下安装Hadoop2.4.0 （单机模式）

  一、在Ubuntu下创建hadoop组和hadoop用户     增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。   1、创建hadoop用户组            &nbs
·2015-10-27 11:38

Ubuntu14.04下安装Hadoop2.4.0 （伪分布模式）

一、配置core-site.xml    /usr/local/hadoop/etc/hadoop/core-site.xml包含了hadoop启动时的配置信息。    编辑器中打开此文件    sudogedit/usr/local/hadoop/etc/hadoop/core-site.xml          在该文件的之间增加如下内容：            fs.default.name
qq_20545159·2015-10-25 17:00

Ubuntu14.04下安装Hadoop2.4.0 （单机模式）

一、在Ubuntu下创建hadoop组和hadoop用户    增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。 1、创建hadoop用户组                2、创建hadoop用户        sudoadduser-ingrouphadoophadoop    回车后会提示输入新的UNIX密码，这是新建用户hadoop的
qq_20545159·2015-10-25 09:00

Ubuntu14.04下安装Hadoop2.4.0 （伪分布模式）

源文地址：http://www.cnblogs.com/kinglau/p/3796164.html在Ubuntu14.04下安装Hadoop2.4.0 （单机模式）基础上配置 一、配置core-site.xml
WMLWONDER·2015-09-12 21:00

Ubuntu14.04下安装Hadoop2.4.0 （单机模式）

原文地址：http://www.cnblogs.com/kinglau/p/3794433.html一步一步来，确实可用。一、在Ubuntu下创建hadoop组和hadoop用户    增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。 1、创建hadoop用户组                2、创建hadoop用户        sudo
WMLWONDER·2015-09-11 22:00

一、Ubuntu14.04下安装Hadoop2.4.0 （单机模式）

一、在Ubuntu下创建hadoop组和hadoop用户    增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。 1、创建hadoop用户组                2、创建hadoop用户        sudoadduser-ingrouphadoophadoop    回车后会提示输入新的UNIX密码，这是新建用户hadoop的
Yelbosh·2015-08-11 18:00

hadoop2.4.0集群安装spark1.3.0

一、spark1.3.0编译方法可参考:Linux64位操作系统（CentOS6.6）上如何编译spark1.3。二、安装软件1.在官网下载scala2.10.5，解压设置好环境变量就可以用。 环境变量设置如下：export SCALA_HOME=/usr/local/scala   export PATH=$SCALA_HOME/bin:$PATH2.将编译好的spark解压修改配置环境变量ex
liyong0802·2015-07-28 13:36

hadoop2.4.0集群安装spark1.3.0

一、spark1.3.0编译方法可参考:Linux64位操作系统（CentOS6.6）上如何编译spark1.3。二、安装软件1.在官网下载scala2.10.5，解压设置好环境变量就可以用。 环境变量设置如下：export SCALA_HOME=/usr/local/scala   export PATH=$SCALA_HOME/bin:$PATH2.将编译好的spark解压修改配置环境变量ex
liyong0802·2015-07-28 13:36

Hadoop 2.4安装与配置

一、hadoop2.4编译方法可参考：Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0。
liyong0802·2015-07-28 13:17

Hadoop 2.4安装与配置

一、hadoop2.4编译方法可参考：Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0。
liyong0802·2015-07-28 13:17

Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0

一、准备编译软件1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。环境变量设置如下：（1）执行vim/etc/profile（2）在文件尾部加入:export JAVA_HOME=/home/spark/jdk1.7  export MAVEN_HOME=/home/spark/apache-maven-3.2.1  export ANT_HOME=/
liyong0802·2015-07-28 13:05

Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0

一、准备编译软件1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。 环境变量设置如下：（1）执行vim/etc/profile （2）在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7   export MAVEN_HOME=/home/spark/apache-maven-3.2.1   export ANT_H
liyong0802·2015-07-28 13:05

Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0

一、准备编译软件1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。 环境变量设置如下：（1）执行vim/etc/profile （2）在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7   export MAVEN_HOME=/home/spark/apache-maven-3.2.1   export ANT_H
liyong0802·2015-07-28 13:05

本地搭建Hadoop伪分布式环境之四：开启搭建Hadoop2.4.0之旅

1、准备软件 64位下载包下载：   hadoop-2.4.0-64bit.tar.gz百度网盘：链接:http://pan.baidu.com/s/1hqEDe2S密码:224f链接:http://pan.baidu.com/s/1gdl95OB密码:h6dc2、安装JDK直接执行安装命令：sudoapt-getinstallopenjdk-7-jdk3、安装Hadoop3.1上传hadoop压
yaoxiaochuang·2015-07-20 10:00

hadoop2.4.0集群安装spark1.3.0

一、spark1.3.0编译方法可参考: Linux64位操作系统（CentOS6.6）上如何编译spark1.3。 二、安装软件   1.在官网下载scala2.10.5，解压设置好环境变量就可以用。     环境变量设置如下：   export SCALA_HOME=/usr/local/scala expor
liyong0802·2015-07-15 10:00

Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0

一、准备编译软件   1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。     环境变量设置如下：   （1）执行vim /etc/profile （2）在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7 export MAVEN_HOME=/ho
liyong0802·2015-07-14 15:00

2015也过去一半了，Hadoop大事件盘点

2014年4月，Hadoop2.4.0发布。包括HDFS支持ACL权限控制机制、容易升级、支
真爱无敌86·2015-05-19 10:03

2015也过去一半了，Hadoop大事件盘点

2014年4月，Hadoop2.4.0发布。包括HDFS支持ACL权限控制机制、容易升级、支
dongzhumao86·2015-05-19 10:00

hadoop 运行自带的mapreduce-examples写法

    hadoop2.4.0/share/hadoop/mapreduce:  位置下找到 example.jar      hadoop
chengjianxiaoxue·2015-04-22 17:00

GIS Hadoop 开发案例 （gis-tools-for-hadoop）

1、开发环境1）软件    Hadoop2.4.0 + eclipse3.7.0 +gis-tools-for-hadoop-master2）数据    2、引入EsriGeometryAPIJAR包3
yaoxiaochuang·2015-04-13 17:00

hadoop2.4.0 ha 搭建

问题导读：1、hadoopha是通过什么配置实现自动切换的？2、配置中mapred与mapreduce的区别是什么？3、hadoopha两个namenode之间的关系是什么？--hadoop版本：2.4.0--安装包名：        hadoop-2.4.0.tar.gz或者源码版本hadoop-2.4.0-src.tar.gz(我hadoop、hbase、hive均是用的源码编译安装)--安装
·2015-01-11 15:00

[置顶] hadoop2.0的mapreduce作业classpath研究

    hdfsraid从facebook移植过来很久了，包括hadoop0.20.203和hadoop2.4.0版本，但是最近才准备上线hadoop2.4.0版本的hdfsraid，上线前准备在好好测试测试
hit_hlj_sgy·2014-12-28 14:00

Hadoop2.4.0 Eclipse插件制作

跌跌撞撞两天装Hadoop2.4.0的环境，今天终于可以尝试写点程序了，想了一想，不得其法，但有一点是肯定的，那就是需要用eclipse，查了一上午的资料，怎么讲的都有，最后锁定了这个帖子，hadoop2x-eclipse-plugin
huoyunshen88·2014-11-24 14:00

CentOS6.5 hadoop2.4.0 HA 集群自动切换模式安装教程

    Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。hadoop2就解决了这个问题。    hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于
东方神剑·2014-11-05 13:00

Hadoop2.4.0 Eclipse插件制作及问题记录

问题导读：1.build.xml文件的作用是什么？2.hadoop2.4用的commons-lang-2.6.jar，在build.xml中该如何修改？3.插件包的制作需要经过几个步骤？参考hadoop2x-eclipse-plugin说说我的整个制作过程吧：想导入到eclipse中制作，但是导入进去之后觉得麻烦就算了，直接在win764位、JDK1.6、ANT1.8的环境下以命令行运行依葫芦画瓢
chen2009277025·2014-10-14 11:12

Eclipse下搭建Hadoop2.4.0开发环境

一、安装Eclipse    下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse    4.3.1版本下载地址：http://pan.baidu.com/s/1eQkpRgu二、在eclipse上安装hadoop插件    1、下载hadoop插件        下载地址：http://pan.baidu.com/s/1mgiHFok   此zip
white__cat·2014-10-04 11:00

Error: Could not find or load main class org.apach

版本说明：      Hadoop版本：Hadoop2.4.0      Sqoop版本：sqoop-1.4.5.bin__hadoop-2.0.4 问题说明：      将sqoop编译成对应的hadoop
哈鼎·2014-09-29 14:00

Sqoop1.4.5 with hadoop2.4.1

前言：      在使用Hadoop2.4.0的时候，想用Sqoop导出数据到MySQL中，但是Sqoop-1.4.5会出现版本不兼容的问题，所以需要对其进行重新编译。 1.   
哈鼎·2014-09-25 15:00

Hadoop2.2.0伪分布式完全安装手册

    为什么是Hadoop2.2.0，而不是Hadoop2.4.0     本文写作时，Hadoop的最
苹果草莓·2014-07-28 09:00

spark学习十二 hive on spark 环境搭建及测试

安装概览整体的安装过程分为以下几步搭建Hadoop集群(整个cluster由3台机器组成，一台作为Master,另两台作为Slave)编译Spark1.0，使其支持Hadoop2.4.0和Hive运行HiveonSpark
hao707822882·2014-07-22 21:00

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了，包含windows7上eclipse连接hadoop，eclipse的配置和测试弄得烦躁的一逗比了~先上一张成功的图片，hadoop的伪分布式安装配置，只要按照步骤来，有点基础的基本没什么问题的。。eclipse的配置弄了很长一段时间才弄好的，中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。今天来说说hadoop2.4的安装和配置
Mr-稻帅·2014-07-12 15:22

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了，包含windows7上eclipse连接hadoop，eclipse的配置和测试弄得烦躁的一逗比了~先上一张成功的图片，hadoop的伪分布式安装配置，只要按照步骤来，有点基础的基本没什么问题的。。eclipse的配置弄了很长一段时间才弄好的，中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。今天来说说hadoop2.4的安装和配置
enson16855·2014-07-12 15:00

Mac os10.9.4下安装Hadoop2.4.0，Mahout的惨痛血泪史

http://blog.csdn.net/feitongxunke​一定要大概浏览完，有个整体的布局才行！写这篇文章花了2天，犯了很多错误，比如hadoop版本，比如配置信息，下次一定要注意，留个完整记录。1.java安装java，去官网上下载，这个没什么好说的。2.Maven2.1安装Maven先从http://maven.apache.org/download.cgi ，下载Maven3.2.
feitongxunke·2014-07-09 09:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他