hadoop2.2.0)

更新 hadoop eclipse 插件

卸载hadoop1.1.2插件，并安装新版hadoop2.2.0插件。
Mrknowledge·2014-04-22 11:00

Hadoop2.2.0中HDFS的高可用性实现原理

在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（singlepointoffailure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。主要在两方面影响了HDFS的可用性：（1）、在不可预测的情况下，如果NN所在的机器崩溃了，整个集群将无法利用，直到NN被重新启动
蓝狐乐队·2014-04-22 00:00

Hadoop2.2.0集群在RHEL6.2下的安装实战

本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWareWorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间
蓝狐乐队·2014-04-21 11:00

多节点的 Hadoop-2.2.0 的安装步骤

2）VMware-player      3）Ubuntu13.10      4）Hadoop2.2.0      5)JDK1.82.准备阶段：      1）在三台电脑上安装好VMware-player
DataMing2013·2014-04-20 15:38

hadoop2.2.0对应HBase安装说明

HBase0.96.0安装说明                          注：安装配套hadoop2.2.0版本的HBase,需要hbase-0.96.2-hadoop2-bin.tar.gz1.1
kuanghongjiang·2014-04-18 15:00

hadoop2.2.0 自带jar 包和 MR程序所使用的第三方包冲突 解决

经过两天的摸索终于找到处理hadoop2.2.2中已经存在的jar包和MR里面调用的jar包冲突的问题；比如hadoop2.2.2里面用的guava是11.2的，我的工程的MR程序里面用的是16.0.1版本的；两个版本里面方法不同会导致MR的程序出现 异常；我们的目的是让hadoop运行MR的时候时候优先使用我们给项目打进去的lib包；在这里就是要使用guava.16.0.1.jar解决：    
xc635960736·2014-04-17 16:00

CentOS6.4之图解配置Hadoop1.2单机伪分布式

源文地址：http://qindongliang1922.iteye.com/blog/1962373基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了  新版本解决了1.x中的NameNode
majian_1987·2014-04-17 11:00

hadoop2.2.0 nodemanager启动后失败分析！！！

在安装好hadoop2.2.0集群后，依次执行start-dfs.sh和start-yarn.sh脚本启动hadoop相关的服务。各个服务均能正常启动。
仙剑奇侠·2014-04-16 22:00

nutch 1.8 nutch 2.2.1 与 hadoop 2.2.0

由于项目需要把nutch运行在hadoop2.2.0上，但是官方网站上给出的版本为hadoop1.2.0，于是需要做版本兼容， 我们选取的nutch版本为2.2.1，以为最大的版本是最新的，后来发现无知了
羊羊羊·2014-04-16 18:00

hadoop2.2.0安装说明

                                                            hadoop2.2.0安装                                                                    
kuanghongjiang·2014-04-16 15:00

hadoop 2.2.0 关于 fsimage & edit log 的相关配置

在运行hadoop2.2.0过程中，发现${dfs.namenode.checkpoint.edits.dir}目录下的edits_*文件越来越多，故整理一下相关配置。
Mrknowledge·2014-04-16 14:00

搭建hadoop2.2.0 HDFS，HA / Federation 和 HA&Federation

在虚拟机上安装Hadoop2环境，版本使用Hadoop2.2.0。 Hadoop2HDFS的具有HA和Federation两种形式，配置上略有不同。把过程记录下来，待以后查阅。
Mrknowledge·2014-04-15 15:00

hadoop2.2.0配置

第一部分Hadoop2.2下载         Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src源码自行编译。下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/第二部分集群环境搭建1、这里我们搭建一个由三台机器组成的
蓝狐乐队·2014-04-15 09:00

Hadoop2.2.0集群在RHEL6.2下的安装实战

题记本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWareWorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间
puma_dong·2014-04-13 14:00

编译 Hadoop2.2.0 的 Eclipse 插件

我的环境：1.git（下载需要，当然也可以下载压缩包，下载压缩包就不需要git了） 2.ant,并配置了环境变量（编译需要） 3.jdk1.7_51 4.centOS_6.5_32 5.当前目录/opt 6.eclipse主目录:/opt/eclipse，版本是 Kepler（插件最新支持到这个版本）ant编译时需要这个参数 7.hadoop主目录:/cluster/hadoop-2.2.0，an
hoodlake·2014-04-12 16:00

Yarn运行simpleyarnapp

版本：hadoop2.2.0源码在https://github.com/hortonworks/simple-yarn-app这里可以下载。
fansy1990·2014-04-10 13:00

hadoop2.2+mahout0.9实战

版本：hadoop2.2.0，mahout0.9。使用mahout的org.apache.mahout.cf.taste.hadoop.item.RecommenderJob进行测试。
fansy1990·2014-04-09 13:00

[置顶] 用java编写spark程序，简单示例及运行

我的环境：hadoop2.2.0          spark-0.9.0          scala-2.10.3          jdk1.7importorg.apache.spark.api.java.JavaPairRD
teddeyang·2014-04-08 17:00

hadoop 2.2.0 fuse 编译及安装

为hadoop2.2.0中添加fuse模块的支持步骤：1.进入目录HADOOP_SOURCE_DIR，执行mvncompile-Pnative，编译生成fuse_dfs可执行文件。   
Mrknowledge·2014-04-08 15:00

Hadoop 2.0稳定版本2.2.0新特性剖析

本文尝试解析Hadoop2.2.0中包含的新特性。
Mrknowledge·2014-04-05 22:00

hadoop2.2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid

问题照着一本书配置hadoop时启动nodemanager时报错配置 yarn.nodemanager.aux-services mapreduce-shuffle --> yarn.nodemanager.aux-services.mapreduce_shuffle.class mapreduce-shuffle 解决开始时使用被注释掉的两行，报错：mapreduce.shufflesetiny
icebergwang·2014-04-05 18:00

hadoop2.0集群搭建详解

hadoop2.2.0集群搭建本贴转载自：http://my.oschina.net/allen1088/blog/214511    PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的
bluetropic·2014-04-05 10:00

Hadoop2.2.0已经遗弃的属性名称

Hadoop自升级到2.x版本之后，有很多属性的名称已经被遗弃了，虽然这些被遗弃的属性名称目前还可以用，但是这里还是建议用新的属性名，主要遗弃的属性名称主要见下面表格：已经被遗弃属性的名称新的属性名称create.empty.dir.if.nonexistmapreduce.jobcontrol.createdir.ifnotexistdfs.access.time.precisiondfs.na
Mrknowledge·2014-04-04 13:00

hadoop2.2.0编译安装

系统版本:CENTOS6.52.6.32-431.el6.X86_641、安装JDK我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量vi/etc/profi
xiaofengge315·2014-04-03 17:12

Hadoop2.2.0的eclipse插件的编译

Hadoop2.x之后，已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具，辅助，开发调试相对起来，会稍显麻烦，特别是基于Java开发的工程师们，虽然写完MR任务后，也可以采用打成jar包的方式，上传调试，但是这种方式，也有点繁琐，不过网上也好像有一些，使用程序能够自动打包任务的程序，散仙没具体用过，在这里，就不多涉及了，有知道的朋友们，欢迎分享。 下面开始进入正题，散
cxin917·2014-04-01 21:00

hadoop2.2.0 centos 编译安装详解

搭建环境:Centos x 6.4 64bit 1、安装JDK 我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量, [html] view
清风朗月·2014-04-01 13:00

hadoop2.0集群搭建详解

hadoop2.2.0集群搭建    PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，          因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装
迪allen·2014-03-31 00:00

Hadoop2.2.0 Eclipse Plugins设置

通常我们可以用Eclipse作为Hadoop程序的开发平台。1） 下载Eclipse下载地址：http://www.eclipse.org/downloads/根据操作系统类型，选择合适的版本下载并安装。2） 下载并编译Hadoop的Eclipse插件网上可直接下载到Hadoop1.x的Eclipse插件，但是该插件和Hadoop2.2不兼容，所以无法使用。Hadoop2.2的Eclipse插件正
Mrknowledge·2014-03-30 13:00

Pig安装及简单使用(pig0.12.0 hadoop2.2.0)

我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另一方面，编写MapReduce程序，发布及运行作业都将是一个比较耗时的事情。Pig的出现很好的弥补了这一不足。Pig能够让你专心于数据及业务本身，而不是纠结于数据的格式转换以及MapReduce程序的编写。本质是
DavideyLee·2014-03-28 17:33

Pig安装及简单使用(pig0.12.0 hadoop2.2.0)

我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另一方面，编写MapReduce程序，发布及运行作业都将是一个比较耗时的事情。Pig的出现很好的弥补了这一不足。Pig能够让你专心于数据及业务本身，而不是纠结于数据的格式转换以及MapReduce程序的编写。本质是
DavideyLee·2014-03-28 17:33

SUSE Linux 64位环境下编译hadoop2.2.0源码

OS环境：SUSELinuxEnterpriserServer11SP2 (64位)Mission:由于apache官网所提供的编译好的Hadoop-2.2.0-tar.gz只兼容32位系统，安装在64位系统下会出现各种兼容性错误。故，需要在64位系统下，对hadoop-2.2.0源码进行重新编译。START:准备工作：步骤：1、安装JDK   在oracle官网下载最新的jdk包，eg:jdk-
adermxl·2014-03-27 09:00

Hadoop 2.2.0测试环境搭建

引言：基于64位的Ubuntu系统，利用VirtualBox建立两个节点，搭建Hadoop2.2.0的测试开发环境。1.准备2台虚拟机,Hadoop2-V1, Hadoop2-V2. 
blueheart20·2014-03-25 22:00

64位LINUX下hadoop2.2.0重新编译及安装步骤

yum-yinstall lzo-devel zlib-devel gccautoconfautomakelibtoolgcc-c++openssl-develncurses-devel  antmavenprotocolbuf findbugs cmake  1、Protobuf编译安装 tar-zxvfprotobuf-2.5.0.tar.gzcdprotobuf-2.5.0 ./config
DavideyLee·2014-03-24 17:47

hadoop2.2.0集群基础上安装zookeeper3.4.5和hbase0.96(双机热备)

本文非详细指南，主要记录安装步骤及问题解决思路，重点在hadoop2.2.0集群已建立的基础上部署hbase0.96和zookeeper3.4.5一、安装zookeeper3.4.51、解压这里有5个zookeeper
DavideyLee·2014-03-24 09:34

hadoop2.0 QJM方式的HA的配置

本文在《hadoop2.0的安装和基本配置》一文的基础上继续介绍hadoop2.0QJM（QuorumJournalManager）方式的HA的配置（hadoop2.0架构，具体版本是hadoop2.2.0
maisr25·2014-03-22 23:34

hadoop2.0的HA介绍

第一篇文章介绍了hadoop2.0（hadoop2.0架构，具体版本是hadoop2.2.0）的安装和最基本的配置，并没有配置HA（HighAvalability，高可用性），接下来的文章中会介绍hadoop2.0HA
maisr25·2014-03-22 21:31

使用Maven将Hadoop2.2.0源码编译成Eclipse项目

1.下载Hadoop2.2.0源码包http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
zhu_9527·2014-03-21 22:00

Yarn编译问题记录

Hadoop2.2.0的源码与Maven3.x存在兼容性问题，所以会出现java.lang.NoClassDefFoundError:org/sonatype/aether/graph/DependencyFilter
飞火流云·2014-03-21 21:27

Yarn编译问题记录

Hadoop2.2.0的源码与Maven3.x存在兼容性问题，所以会出现java.lang.NoClassDefFoundError:org/sonatype/aether/graph/DependencyFilter
cloudeagle_bupt·2014-03-21 21:00

eclipse插件的编译――Hadoop2.2.0版

下面开始进入正题，散仙来详细介绍下，怎么编译hadoop2.x的eclipse插件，在这里首先，你得具备如下几个条件，Ant工具，hadoop2.2.0的压缩包，eclipse插件的压缩包（散仙在后面已经上传
DavideyLee·2014-03-21 16:16

32位LINUX下hadoop2.2.0重新编译及安装步骤

第一部分Hadoop2.2下载     Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src源码自行编译（10楼评论中提供了一个解决方法链接）。下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/如下图所示，下载红色标记部
DavideyLee·2014-03-21 15:23

坑爹的Apache hbase 64位机安装Snappy终于成功了

Apache hadoop2.2.0 hbase 0.96 ,CentOS release 6.5 (Final)64位   1.安装基本tool yum  install gcc
xiao_2008·2014-03-20 18:00

Hadoop2.2.0伪分布式安装及测试笔记

一：环境准备：基于Windows下的VM9的ubuntu12.04-64server.下载免费的VMwarePlayer并安装好;下载免费的Ubuntu12.04server版并在VMware中安装好；二：基础安装：执行如下命令升级部分软件和把ssh安装好：  (1)sudoapt-getupdate;  (2)sudoapt-getupgrade;  (3)sudoapt-getinstallo
lifuxiangcaohui·2014-03-20 17:00

Hadoop2.2.0单节点安装和配置环境图文详解

摘要：最近也是刚刚入门hadoop，配置环境就折腾了很久，在网上也查看了给位大神的帖子，从中也学到了很多东西，但是很多都是比较杂，在这里我就贴出我配置的一些心得，望各位指教。一、简介二、在Ubuntu下创建hadoop用户组和用户三、在Ubuntu下安装JDK四、安装ssh服务五、建立ssh无密码登录本机六、安装hadoop七、在单机上运行hadoop。一：简介（这里简单用图片展示下）：二、在Ub
u011067360·2014-03-19 23:00

hadoop2.2.0定制mapreduce输出到数据库

hadoop2.2.0定制mapreduce输出到数据库：这里以redis数据库为例。
inDestiny·2014-03-19 18:00

hadoop2.2.0 的安装和基本配置

hadoop2.0的架构和1.0完全不一样，在安装配置上和1.0也有很大的不同，譬如配置文件的目录不一样了，还有要对yarn进行配置，这个在1.0是没有的。很多人第一次接触hadoop2.0的时候，会很不适应，而且官方的文档也有些写得不太清楚的地方，也有些错误。笔者在初次安装hadoop2.0的时候，看着官方的文档，中间也出现过很多问题。为了帮助大家很快的部署上hadoop2.0，笔者写了这篇文章
maisr25·2014-03-16 20:37

Hadoop2.2.0单机伪分布式安装配置

1、jdk版本的安装2、ssh安装（参见转载的Hadoop伪分布式安装中介绍的http://blog.csdn.net/myy1012010626/article/details/20311985http://blog.csdn.net/myy1012010626/article/details/20919649）sshlocalhostexit3、hadoop的安装配置http://blog.c
myy1012010626·2014-03-10 22:00

Hadoop2.2.0伪分布式安装配置

hadoop2.2.0伪分布式安装安装前解决的问题：1、hadoop官网下载的hadoop二进制文件是在32位环境下编译的（地址：http://mirrors.cnnic.cn/apache/hadoop
myy1012010626·2014-03-10 14:00

Linux——eclipse下Hadoop2.2.0的安装配置

1.安装环境  系统:ubuntu13.10  hadoop版本:2.2.0  eclipse版本：indigo2.到hadoop2.2插件下载 下载插件解压放到eclipse的plugin目录下，重启eclipse.3.配置hadoopinstallationdirectory。 如果安装插件成功，打开Window-->Preferens，你会发现HadoopMap/Reduce选项，在这个选项
myy1012010626·2014-03-09 15:00

hadoop2.2.0 分布式存储hdfs完全分布式搭建及功能测试记录（一）----架构及原理介绍

0.文档说明：本文是围绕hadoop2.2的分布式文件系统hdfs进行分布式存储功能测试，形成的hdfs分布式存储功能测试报告，其中主要包括三大部分内容：第一部分介绍了hdfs的基本原理；第二部分介绍了hadoop2.2的完全分布式集群安装以及namenode高可用HA的部署过程；第三部分介绍了hdfs存储功能测试过程（包括客户端通过不同方式来操作hdfs文件系统进行上传、下载、查看文件及设置权限
51longge·2014-03-07 14:12
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他