Hadoop2.x 第14页

Hadoop概括——学习笔记<一>

这是小象学院hadoop2.X概述第一章的笔记第一章主要讲的是hadoop基础知识。老师讲的还是比较全面简单的，起码作为一个非专业码农以及数据库管理人员，也能狗大致了解其特点。

weixin_30846599·2015-08-28 20:00

hadoop2.X本地库编译问题INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform.

官网上hadoop提供的安装包是在32位系统下编译，一般我们都现在用是64位系统，如果直接来安装的话，会有一些错误或者警告信息，这种情况下，我们最好是在自己的系统上编译hadoop源码，参照：http://blog.csdn.net/enson16855/article/details/35568049这种情况下编译不会直接输出hadoop本地库，会出现INFOutil.NativeCodeLoa

enson16855·2015-08-26 16:00

hadoop2.x的配置二

三、yarn-site.xml1.ResourceManager的配置，参考：HadoopYARN配置参数剖析(1)—RM与NM相关参数1.1.yarn.resourcemanager.hostname=0.0.0.0，推荐使用如下配置。 yarn.resourcemanager.hostname master 配置好yarn.resourcemanager.hostname，后面很多配置默认

cjun1990·2015-08-24 11:00

hadoop2.X动态添加删除节点及相关问题总结

hadoop2.X动态添加节点教程及相关问题总结设置hadoop运行的系统环境修改系统hostname（通过hostname和/etc/sysconfig/network进行修改）修改hosts文件，将集群所有节点

hyz301·2015-08-15 19:00

win7无法访问虚拟机中的hadoop2.x的web管理界面

问题描述：在Windows7下用VM虚拟机搭建的linux环境下运行hadoop，Windows7下可以ping通linux（ip为：192.168.8.158）；在linux下也能用浏览器打开hadoop的web管理界面（如：192.168.8.158:50070），但是在Windows下无法用浏览器打开hadoop的web管理界面。解决方法：按理说，应该关闭linux（楼主用的是centos7

suibianshen2012·2015-08-13 17:00

Hadoop2.x eclipse下编程环境配置

这个过程，是针对如何在eclipse中编写hadoop2.x对应的MapReduce程序，然后打包并上传到hadoop集群执行的过程。

amber_amber·2015-08-10 11:33

hadoop2.x的配置一

hadoop该怎么配置配置文件？1.找到官网的配置文件，用官网的配置文件做参考，进官网找对应版本的document，找到Configuration，下面就有相应配置文件了。2.官网的配置文件只是做参考，配置不是真实的，真实的默认配置文件是在hadoop的安装目录中使用命令：find.-namecore-default.xml，从当前目录下找core-default.xml文件，这个文件才是真实的默

cjun1990·2015-08-05 18:00

windows编译hadoop 2.x Hadoop-eclipse-plugin插件

一．简介 Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码

liuhao_sh·2015-08-04 11:00

Hadoop两个版本fsimage和edits文件运行机制对比

一、概述这篇blog的目的主要是为了对hadoop1.x和hadoop2.x的元数据运行机制进行比较。

yushaoqing·2015-08-03 11:35

Hadoop两个版本fsimage和edits文件运行机制对比

一、概述这篇blog的目的主要是为了对hadoop1.x和hadoop2.x的元数据运行机制进行比较。

yushaoqing·2015-08-03 11:35

Hadoop两个版本fsimage和edits文件运行机制对比

一、概述这篇blog的目的主要是为了对hadoop1.x和hadoop2.x的元数据运行机制进行比较。

yushaoqing·2015-08-03 11:35

CentOS7中编译Hadoop2.x

环境VirtualBox-5.0,CentOS-7.1,Hadoop-2.7.11、关于Hadoop本地库1.1、可能存在的问题Hadoop发行包自带的库文件可能与本地操作系统不兼容。特别是在Hadoop-2.5.1之前的版本，自带的本地库都是32位的，64位操作系统无法使用，只能使用java自带的，而java自带的速度会比较慢。查看本地库版本[wukong@bd01 native]$ pwd /

悟空太多啦·2015-08-03 00:00

【源码】Hadoop 2.x中fsimage和edits合并实现

/article/details/47066077在《Hadoop1.x中fsimage和edits合并实现》文章中，我们谈到了Hadoop 1.x上的fsimage和edits合并实现，里面也提到了Hadoop2

buster2014·2015-07-28 13:00

cdh4.7.0安装配置

注意：1.有关core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置，参考：hadoop2.x的配置2.有关hadoop的命令，参考：hadoop2

cjun1990·2015-07-25 16:00

hadoop2.x HDFS快照介绍

说明：因为最近正好在研究hadoop的快照机制，看官网上的文档讲的很细致，就顺手翻译了。也没有去深究一些名词的标准译法，所以可能有些翻译和用法不是很正确，莫要介意~~原文地址：（Apachehadoop的官方文档）https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html1.概述快

amber_amber·2015-07-23 14:50

求助hadoop2.X分布式搭建两个NameNode均无法正常启动

场景描述：hadoop2.5.2分布式部署，按照《传智播客7天视频》里第五天的教程部署，部署完成后，在主节点上启动hdfs，两个nameservers上的nameNode服务都没有启动（第一次是有一个启动成功，之后两个就都无法启动了），但是DataNode上的服务均启动成功，且能上传数据。MR是正常的。求教高手解答错误日志如下：2015-07-20 17:35:12,528 INFO org.ap

hyz301·2015-07-22 12:00

hadoop权威指南(第四版)要点翻译(1)——Foreword and Preface

前期已经完成了hadoop全分布模式的部署和运行，近期想更进一步的了解hadoop原理，基于hadoop2.X的书籍最好的莫过于《hadoop权威指南(第四版)》，很可惜作者年初才刚写完，没来得及翻译，

thinkpadshi·2015-07-22 11:00

求助hadoop2.X分布式搭建两个NameNode均无法正常启动

场景描述：hadoop2.5.2分布式部署，按照《传智播客7天视频》里第五天的教程部署，部署完成后，在主节点上启动hdfs，两个nameservers上的nameNode服务都没有启动（第一次是有一个启动成功，之后两个就都无法启动了），但是DataNode上的服务均启动成功，且能上传数据。MR是正常的。求教高手解答错误日志如下：2015-07-20 17:35:12,528 INFO org.ap

hyz301·2015-07-20 19:00

Centos环境下：使用ant编译hadoop2.X版eclipse插件及其通用教程

首先，介绍centos6.5环境下安装及使用ant。其次，介绍hadoop2.Xeclipse插件的编译。 Ant需要jdk环境，jdk的安装及其配置就不说了，网上搜一下很多。 OS:CentOS6.5 ant版本：apache-ant-1.9.6-bin 第１步：下载ant apache-ant-1.9.6-bin.tar.gz 第２步：解压 tar -zxvf apache-an

hyz301·2015-07-15 13:00

Centos环境下：使用ant编译hadoop2.X版eclipse插件及其通用教程

首先，介绍centos6.5环境下安装及使用ant。其次，介绍hadoop2.Xeclipse插件的编译。 Ant需要jdk环境，jdk的安装及其配置就不说了，网上搜一下很多。 OS:CentOS6.5 ant版本：apache-ant-1.9.6-bin 第１步：下载ant apache-ant-1.9.6-bin.tar.gz 第２步：解压 tar -zxvf apache-an

hyz301·2015-07-15 13:00

安装Pig

安装Pig是一项非常简单的工作，除了下载有点慢以外1、安装好hadoop2.x（略）2、安装pigwgethttp://apache.dataguru.cn/pig/latest/pig-0.15.0.

刀刀_高扬·2015-07-13 15:35

安装Pig

安装Pig是一项非常简单的工作，除了下载有点慢以外1、安装好hadoop2.x（略）2、安装pigwgethttp://apache.dataguru.cn/pig/latest/pig-0.15.0.

刀刀_高扬·2015-07-13 15:35

安装Pig

安装Pig是一项非常简单的工作，除了下载有点慢以外1、安装好hadoop2.x（略）2、安装pigwgethttp://apache.dataguru.cn/pig/latest/pig-0.15.0.

刀刀_高扬·2015-07-13 15:35

Hadoop 2.2 & HBase 0.96 Maven 依赖总结

由于Hbase0.94对Hadoop2.x的支持不是非常好，故直接添加Hbase0.94的jar依赖可能会导致问题。

·2015-07-12 09:00

hadoop2.x的命令

一、启动，按启动顺序执行命令。如果需要关闭集群，则按反顺序执行即可。1.如果使用hdfsHA，需先启动zookeeper集群，具体请查看zookeeper的相关命令。2.如果使用hdfsHA，需格式化zookeeper集群，整个hdfs集群只需第一次启动时执行一次，整个hdfs集群只需第一次启动时执行一次，整个hdfs集群只需第一次启动时执行一次，命令如下：bin/hdfszkfc-formatZ

cjun1990·2015-07-09 16:00

eclipse连hadoop2.x运行wordcount

一、新建java工程，并且导入hadoop相关jar包 4.1.2新建java工程（需要手动导入hadoop相应jar包），具体如下图所示： 4.1.2.1新建java工程完成后，下面添加hadoop相应jar包，hadoop2.3.0相应jar包在/hadoop-2.3.0/share/hadoop目录中。 4.1.2.2 进入Libraries，点击

cjun1990·2015-07-07 11:00

编译hadoop2.x的hadoop-eclipse-plugin和配置

一、编译1.安装jdk，并且配置好环境变量。2.eclipse已经下载并且配置好了。3.安装ant，并且配置好了环境变量。4.hadoop包在windows本地已经有了，要和hadoop集群上的hadoop包一样，eclipse运行MapReduce时需要调用本地的hadoop包。5.下载hadoop2x-eclipse-plugin源代码，目前hadoop2的eclipse-plugins源代码

cjun1990·2015-07-06 18:00

hadoop2.x的编译 & hadoop-snappy编译 & hadoop2.x 配置 snappy压缩

hadoop2.x 默认没有支持snappy压缩，需要我们自己编译才能支持snappy的压缩。

zhiquanliu·2015-07-05 00:00

MapReduce1和YARN(MapReduce2)运行机制

在hadoop2.x中，mapreduce运行在YARN上，通过mapreduce.framework.name属性设置，local表示本

colin_yjz·2015-06-25 18:09

Hadoop自测题及参考答案（持续更新中--2015.7.20）

2、[java基础]以下不属于线程安全的数据结构是A.HashMapB.HashTableC.CopyOnWriteArrayListD.ConcurrentHashMap3、hadoop2.x采用什么技术构建

李国冬·2015-06-25 09:50

Hadoop(6)----hadoop1.x 与 hadoop2.x之间的区别

1介绍随着企业数据化和Hadoop的应用越加广泛，hadoop1.x的框架设计越来越无法满足人们对需求，Apache一直在对Hadoop1.x进行修改，最后退出了新一代的Hadoop2.x，下面笔者将从

u011518678·2015-06-18 23:00

Hadoop学习(5)-----hadoop 2.6的安装

1介绍为了解决Hadoop1.x框架中的问题：例如单namenode节点问题等问题，Apache基金会推出新一代的hadoop框架，Hadoop2.x系列版本，在该版本中，HDFS的一些机制进行了改善，

u011518678·2015-06-16 23:00

2、HAMR两种资源访问方式以及一些配置

1、第一种是horn方式，这种模式下，HAMR并不完全具备分布特性，它适合单用户运行单实例的情况2、第二种是yarn，即hadoop2.x的资源访问模式，具备完全的分布式特性集群上的所有主机的hamr-site.xml

NB_vol_1·2015-06-16 09:00

hadoop2.x通过Zookeeper来实现namenode的HA方案以及ResourceManager单点故障的解决方案

针对这两个问题，hadoop2.x都对它进行改进和解决。其中，问题1中对namenode内存瓶颈的问题采用扩展namenode的方式来解决。

·2015-05-18 18:00

hadoop、hbase、hive版本匹配问题

1、hadoop由于快速发展，版本更新很快，已经由hadoop0.x发展到hadoop2.x，目前hadoop2.x还处于beta测试，但是hadoop0.x--hadoop1.2都是稳定版的。

erliang20088·2015-05-17 16:00