hadoop-2.2.0 第3页

在hadoop-2.2.0集群上使用TotalOrderPartitioner进行排序时遇到的新旧接口问题

最近我所在的一个项目进行了Hadoop版本迁移，由hadoop-0.20.2迁移至hadoop-2.2.0,旧版的mapreduceJob虽然都是用旧的API写的，但在新环境下基本上都是兼容的，只有两个涉及到

李克然·2014-11-29 19:19

Could not locate executable null 解决办法

\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exeintheHado

lanwenbing·2014-11-04 12:30

Could not locate executable null 解决办法

\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exeintheHa

LANWENBING·2014-11-04 12:00

hadoop2.2.0 搭建时错误提示

hadoop2.2.0 搭建时错误提示 You have loaded library /usr/local/hdfs/hadoop-2.2.0/lib/native/libhadoop.so

smallsilver·2014-10-19 23:00

hadoop eclipse 插件使用

所以下面我编译的都是hadoop-2.2.0的eclipse插件，但是这个插件在hadoop-2.5.0上也是可以使用的。我前面转载了一篇hadoop下eclip

chen2009277025·2014-10-14 11:24

hadoop eclipse 插件使用

所以下面我编译的都是hadoop-2.2.0的eclipse插件，但是这个插件在hadoop-2.5.0上也是可以使用的。我前面转载了一篇hadoop下eclip

chen2009277025·2014-10-14 11:24

hadoop-2.2.0配置eclipse插件(windows和linux平台)

目前配置eclipse插件主要有两个版本，一个是在windows下重新编译配置，另一个是在linux在重新配置编译。下面逐步讲解在linux下编译-配置eclipse插件的过程。环境：Ubuntu12.0464bit3.2.0-29-genericeclipse-jee-luna-R-linux-gtk-x86_64.tar.gzApacheAnt(TM)version1.8.2JDKVersio

ctoday·2014-09-26 17:22

Ubuntu12.04 64bit搭建Hadoop-2.2.0

一、准备工作：集群安装ubuntu12.0464bit系统,配置各结点IP地址开启ssh服务，方便以后远程登录，命令sudoapt-getinstallopenssh-server(无需重启)使用命令：[email protected]测试服务连接是否正常设置无密钥登录：修改主机名：sudovim/etc/hostname将各主机设置成相应的名字，如mcmaster、node1、nod

ctoday·2014-09-26 17:03

使用maven在linux上对hadoop 2.2进行编译

在linux上对hadoop 2.2进行编译0、环境介绍：Hadoop信息：Version： 2.2下载地址：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop

371690509·2014-09-24 14:25

使用maven在linux上对hadoop 2.2进行编译

maven在linux上对hadoop2.2进行编译0、环境介绍：Hadoop信息：Version：2.2下载地址：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop

371690509·2014-09-24 14:25

centos6.5-64位安装hadoop-2.2.0集群

前面的文章讲解了hadoop-2.2.0在64位linux系统下的编译步骤，以及zookeeper集群的部署，这篇主要写hadoop集群的部署，因为关于这方面的资料比较多这里就写主要的步骤：1：主机对应关系

砚羲·2014-09-20 20:24

centos6.5-64位安装hadoop-2.2.0集群

前面的文章讲解了hadoop-2.2.0在64位linux系统下的编译步骤，以及zookeeper集群的部署，这篇主要写hadoop集群的部署，因为关于这方面的资料比较多这里就写主要的步骤：1：主机对应关系

砚羲·2014-09-20 20:24

zookeeper集群搭建+hadoop集群部署

今天抓住休息的时间想在工作之余给自己补充一点大数据的知识(工作上暂时用不到)在自己电脑上安装了6台虚拟linux系统，然后在这个6台机器上分别部署了zookeeper集群以及hadoop-2.2.0集群

timer_xi·2014-09-14 00:00

zookeeper集群搭建+hadoop集群部署

今天抓住休息的时间想在工作之余给自己补充一点大数据的知识(工作上暂时用不到)在自己电脑上安装了6台虚拟linux系统，然后在这个6台机器上分别部署了zookeeper集群以及hadoop-2.2.0集群

砚羲·2014-09-14 00:22

zookeeper集群搭建+hadoop集群部署

今天抓住休息的时间想在工作之余给自己补充一点大数据的知识(工作上暂时用不到)在自己电脑上安装了6台虚拟linux系统，然后在这个6台机器上分别部署了zookeeper集群以及hadoop-2.2.0集群

weixin_34290096·2014-09-14 00:22

64位centos上用ganglia-3.6.0监控hadoop-2.2.0集群

64位centos上用ganglia-3.6.0监控hadoop-2.2.0集群参考：https://www.ibm.com/developerworks/community/wikis/home?

pointerIsNULL·2014-09-12 09:04

hadoop2.2.0 源码远程调试

hadoop源码 note:只在linux上面调试，windows下面会有脚本执行的问题，可能需要安装cygwin可以解决.1把编译好的hadoop源代码导入eclipse 2如果要调试hdfs，修改~/hadoop

zhouchaofei2010·2014-08-24 00:00

hadoop2.2.0 源码远程调试

hadoop源码note:只在linux上面调试，windows下面会有脚本执行的问题，可能需要安装cygwin可以解决.1把编译好的hadoop源代码导入eclipse2如果要调试hdfs，修改~/hadoop

zhouchaofei2010·2014-08-24 00:00

hadoop2.2.0 源码远程调试

hadoop源码 note:只在linux上面调试，windows下面会有脚本执行的问题，可能需要安装cygwin可以解决.1把编译好的hadoop源代码导入eclipse 2如果要调试hdfs，修改~/hadoop

zhouchaofei2010·2014-08-23 16:00

Shark0.9.1安装

JAVA_HOME=/usr/lib/jvm/java-7-oracle export SCALA_HOME=/usr/lib/scala export HADOOP_HOME=/root/app/hadoop

xixicat·2014-08-23 12:00

hadoop2.5.0下eclipse的配置（ubuntu14.04）

所以下面我编译的都是hadoop-2.2.0的eclipse插件，但是这个插件在hadoop-2.5.0上也是可以使用的。

kgblily205·2014-08-14 23:02

CentOS6.5、Hadoop-2.2.0、64 位的编译

1.安装CentOS6.5 下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/选择CentOS-6.5-x86_64-bin-DVD1.iso下载，注意是64位的，大小是4GB，需要下载一段时间的。其实6.x的版本都可以，不一定是6.5,一定要保持linux联网状态。说明:我把软件下载后全部复制到/usr/local目录下，以下命令执行的

manburen01·2014-08-13 12:00

搭建yarn(hadoop-2.2.0)环境详细过程

磨刀不误砍柴工，在这里我们先了解一个问题：MapReduce和YARN是什么关系？答：YARN并不是下一代MapReduce（MRv2），下一代MapReduce与第一代MapReduce（MRv1）在编程接口、数据处理引擎（MapTask和ReduceTask）是完全一样的，可认为MRv2重用了MRv1的这些模块，不同的是资源管理和作业管理系统，MRv1中资源管理和作业管理均是由JobTrack

dwzone·2014-08-02 00:00

Hadoop 2.2.0 HA配置

在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop2.2.0最基本的配置。

iAm333·2014-08-01 17:00

Spark on Yarn安装

1、安装hadoop-2.2.0下载hadoop2.2版本。

xixicat·2014-07-19 09:00

hadoop问题汇总

1、启动journalnode时存在警告信息，sbin/hadoop-daemon.shstopjournalnodestartingjournalnode,loggingto/app/hadoop-2.2.0

tjbklx33·2014-07-18 19:22

hadoop问题汇总

1、启动journalnode时存在警告信息，sbin/hadoop-daemon.shstopjournalnodestartingjournalnode,loggingto/app/hadoop-2.2.0

tjbklx33·2014-07-18 19:22

Hadoop常用命令

笔者所用的版本是hadoop-2.2.0 1、列出所有Hadoop Shell支持的命令 $ bin/hdfs fs -help 2、显示关于某个命令的详细信息

501311837·2014-07-15 10:00

HBase学习笔记-API简单操作

这里使用的版本是Hadoop-2.2.0与Hbase-0.96.0publicabstractclassAbstrUtils{ protectedstaticLoggerlogger=Logger.getLogger

wulinshishen·2014-07-10 10:00

hadoop2.x安装配置

假设hadoop安装到/usr/hadoop-2.2.0目录，则进行如下配置：（1）/etc/profile配置exportHADOOP_PREFIX=/usr/hadoop-2.2.0exportPATH

xyls12345·2014-06-30 12:00

hadoop 1.x升级至hadoop-2.2.0记录

(3)下载hadoop-2.2.0解压，用scp

zengzhaozheng·2014-06-18 15:23

hadoop 1.x升级至hadoop-2.2.0记录

(3)下载hadoop-2.2.0解压，

zengzhaozheng·2014-06-18 15:23

hadoop2.2.0安装，完全分布式安装

下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/如下图所示，下载红色标记

wenyusuran·2014-06-10 10:00

centos 64位 hadoop编译

hadoop官网给出的源码是32位的，直接运行的话，会出现下面的信息：JavaHotSpot(TM)64-BitServerVMwarning:Youhaveloadedlibrary/usr/local/hadoop

kt431128·2014-06-04 17:00

hadoop-2.2.0集群下配置zookeeper 3.4.5

+------------------------------------------------------------------ 下载zookeeper: hadoop@hadoopMaster:~$ sudo wget http://www.us.apache.org /dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.ta

侯上校·2014-05-27 09:00

hadoop-2.2.0集群下配置zookeeper 3.4.5

+------------------------------------------------------------------ 下载zookeeper: hadoop@hadoopMaster:~$ sudo wget http://www.us.apache.org /dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.ta

侯上校·2014-05-27 09:00

hadoop 2.2.0 伪分布环境搭建(草稿)

Hadoop2.20伪分布搭建20140507根据上次分布式hadoop3复制调整/home/hduser/hadoop-2.2.0/etc/hadoop/slaves调整为hadoop3格式化失败.

javastart·2014-05-25 15:00

Hadoop-2.2.0中文文档——Common-Hadoop HTTP web控制台认证

简介此文档描述了如何配置HadoopHTTPweb控制台，去要求用户认证。默认地，HadoopHTTPweb控制台(JobTracker,NameNode,TaskTrackers和DataNodes)不需要任何认证就允许访问。与HadoopRPC相似,HadoopHTTPweb控制台可以被配置为需要使用HTTPSPNEGO协议认证(由FireFox或IE支持)。还有，HadoopHTTPweb控

ozhaohuafei·2014-05-22 12:00

Hadoop-2.2.0中文文档—— Common - 服务层认证

目的此文档描述了如何为Hadoop配置和管理ServiceLevelAuthorization。预备条件确保已经安装Hadoop,配置和设置都正确了。更多细节，请看：*首次使用者的单节点设置*大的、分布式集群的集群设置。概览ServiceLevelAuthorization是一个必要的初始认证机制，其确保客户端连接到一个有必要的、预配置的、权限和认证服务的特定的Hadoop服务。例如，一个MapR

ozhaohuafei·2014-05-20 14:00

Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户

简介此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。UseCase下一部分描述的的代码示例对此用户用例是可用的。一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户joe以超级用户的kerb

ozhaohuafei·2014-05-19 16:00

hadoop2的伪分布部署

blog.sina.com.cn/s/blog_60cc026f0101hpsb.html通过我们前面的操作，已经可以编译并且打包产生适合本机的hadoop包，目录是hadoop-dist/target/hadoop

javastart·2014-05-18 16:18

hadoop2的伪分布部署

blog.sina.com.cn/s/blog_60cc026f0101hpsb.html通过我们前面的操作，已经可以编译并且打包产生适合本机的hadoop包，目录是hadoop-dist/target/hadoop

javastart·2014-05-18 16:00

win8下hadoop2.2搭建单点开发环境问题

JDK7和hadoop2.2环境变量都已经配置， hadoop安装目录D:\Java\hadoop-2.2.0 主要配置文件内容如下 core-site.xml <configuration

derekzhi·2014-05-18 01:00

Hadoop-2.2.0中文文档—— Common - Native Libraries Guide

概览这个入门教程描述了native(本地？原生？)hadoop库，包含了一小部分关于nativehadoop共享库的讨论。Thisguidedescribesthenativehadooplibraryandincludesasmalldiscussionaboutnativesharedlibraries.注意:根据你的环境，词组"nativelibraries"可能会变成*.so,这样你就需要

ozhaohuafei·2014-05-17 13:00

Hadoop-2.2.0中文文档—— Common - CLI MiniCluster

目的使用CLIMiniCluster,用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群，不需要设置任何环境变量或管理配置文件。CLIMiniCluster同时启动一个 YARN/MapReduce 和 HDFS 集群。这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序的用户很有用。HadoopTarball你需要从发布页获取tar包

ozhaohuafei·2014-05-16 08:00

Hadoop-2.2.0中文文档—— MapReduce下一代- 可插入的 Shuffle 和 Sort

简介可插入的shuffle和sort功能，允许在shuffle和sort逻辑中用可选择的实现类替换。这个情况的例子是：用一个不是HTTP的应用协议，如RDMA来shuffle从Map节点中到Reducer节点的数据；或者用自定义的允许Hash聚合和Limit-N查询的算法来代替sort逻辑。重要: 可插入的shuffle sort功能是实验性的、不稳定。这意味着提供的API可能改变或破坏未来Had

ozhaohuafei·2014-05-15 08:00

flume-ng1.4.0

环境：centos-6.5_X86_64 hadoop-2.2.0 flume-ng-1.4.0 master.hadoop:收集slave1.hadoop与slave2.hadoop发来的日志保存至

dodowolf·2014-05-14 14:34

Hadoop-2.2.0中文文档—— MapReduce 下一代 - Encrypted Shuffle

简介 EncryptedShufflecapability(加密洗牌功能?)允许用HTTPS和可选的客户端验证(也称作双向的HTTPS,或有客户端证书的HTTPS)去加密MapReduceshuffle.它包括:在HTTP和HTTPS之间绑定shuffle的一个Hadoop配置用来指定keystore和truststore属性的Hadoop配置(位置,类型,密码)用于shuffle服务和reduc

ozhaohuafei·2014-05-14 08:00

Hadoop-2.2.0中文文档—— 从Hadoop 1.x 迁移至 Hadoop 2.x

简介本文档对从ApacheHadoop1.x迁移他们的ApacheHadoopMapReduce应用到ApacheHadoop2.x的用户提供了一些信息。在ApacheHadoop2.x中，我们已经把资源管理功能放入分布式应用管理框架的ApacheHadoopYARN,而ApacheHadoopMapReduce(亦称MRv2)保持为一个纯分布式计算框架。总之，之前的MapReduce运行时(亦

ozhaohuafei·2014-05-12 08:00

Hadoop-2.2.0中文文档—— Web应用代理

Web应用代理是YARN的一部分.默认地，它会作为ResourceManager(RM)的一部分来运行,但是也可以配置成独立运行的模式。使用代理的原因就是降低通过YARN的web攻击的可能性。在YARN中，ApplicationMaster(AM)有责任提供web界面并把链接发给RM。这给一些可能的问题打开了大门。RM作为一个可信的用户在运行，访问那个web地址的用户会认为可信，它提供的链接也会

ozhaohuafei·2014-05-11 08:00

推荐频道

hadoop-2.2.0

在hadoop-2.2.0集群上使用TotalOrderPartitioner进行排序时遇到的新旧接口问题

Could not locate executable null 解决办法

Could not locate executable null 解决办法

hadoop2.2.0 搭建时错误提示

hadoop eclipse 插件使用

hadoop eclipse 插件使用

hadoop-2.2.0配置eclipse插件(windows和linux平台)

Ubuntu12.04 64bit搭建Hadoop-2.2.0

使用maven在linux上对hadoop 2.2进行编译

使用maven在linux上对hadoop 2.2进行编译

centos6.5-64位安装hadoop-2.2.0集群

centos6.5-64位安装hadoop-2.2.0集群

zookeeper集群搭建+hadoop集群部署

zookeeper集群搭建+hadoop集群部署

zookeeper集群搭建+hadoop集群部署

64位centos上用ganglia-3.6.0监控hadoop-2.2.0集群

hadoop2.2.0 源码远程调试

hadoop2.2.0 源码远程调试

hadoop2.2.0 源码远程调试

Shark0.9.1安装

hadoop2.5.0下eclipse的配置 （ubuntu14.04）

CentOS6.5、Hadoop-2.2.0、64 位的编译

搭建yarn(hadoop-2.2.0)环境详细过程

Hadoop 2.2.0 HA配置

Spark on Yarn安装

hadoop问题汇总

hadoop问题汇总

Hadoop常用命令

HBase学习笔记-API简单操作

hadoop2.x安装配置

hadoop 1.x升级至hadoop-2.2.0记录

hadoop 1.x升级至hadoop-2.2.0记录

hadoop2.2.0安装，完全分布式安装

centos 64位 hadoop编译

hadoop-2.2.0集群下配置zookeeper 3.4.5

hadoop-2.2.0集群下配置zookeeper 3.4.5

hadoop 2.2.0 伪分布环境搭建(草稿)

Hadoop-2.2.0中文文档——Common-Hadoop HTTP web控制台认证

Hadoop-2.2.0中文文档—— Common - 服务层认证

Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户

hadoop2的伪分布部署

hadoop2的伪分布部署

win8下hadoop2.2搭建单点开发环境问题

Hadoop-2.2.0中文文档—— Common - Native Libraries Guide

Hadoop-2.2.0中文文档—— Common - CLI MiniCluster

Hadoop-2.2.0中文文档—— MapReduce下一代- 可插入的 Shuffle 和 Sort

flume-ng1.4.0

Hadoop-2.2.0中文文档—— MapReduce 下一代 - Encrypted Shuffle

Hadoop-2.2.0中文文档—— 从Hadoop 1.x 迁移至 Hadoop 2.x

Hadoop-2.2.0中文文档—— Web应用代理

hadoop2.5.0下eclipse的配置（ubuntu14.04）