Hadoop2.0

hadoop1.0安装部署（一）

一、需求公司线上运行有hadoop1.0和hadoop2.0，由于hadoop1.0没有处理jobtracker失败机制，它是一个单点故障，但业务还是以1.0为主，会慢慢过渡到2.0。
zouqingyun·2016-01-07 18:44

hadoop1.0安装部署（一）

一、需求 公司线上运行有hadoop1.0和hadoop2.0，由于hadoop1.0没有处理jobtracker失败机制，它是一个单点故障，但业务还是以1.0为主，会慢慢过渡到2.0。
zouqingyun·2016-01-07 18:44

apache开源项目 -- tez

Tez是从MapReduce计算框架演化而来的通用DAG计算框架，可作为MapReduceR/Pig/Hive等系统的底层数据处理引擎，它天生融入Hadoop2.0中的资源管理平台YARN，且由Hadoop2.0
慧可·2016-01-06 13:00

Hadoop 2.0 中 NameNode/ResourceManager HA 总结

本文部分转自董的博客《Hadoop2.0中单点故障解决方案总结》一为什么需要HA和Federation1单点故障2集群容量和集群性能二Hadoop20三个系统简介1HDFS基础架构2YARN基础架构3MapReduce
u011414200·2016-01-01 11:00

Hadoop 历史服务器与日志详解

本文部分资料转自Hadoop日志存放路径详解本文部分资料转自Hadoop历史服务器详解本文部分资料转自董的博客：Hadoop2.0中作业日志收集原理以及配置方法一Hadoop日志存放路径详解1Hadoop
u011414200·2016-01-01 10:00

Hadoop Yarn 框架原理及运作机制

1YARN基本架构YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的
mlljava1111·2015-12-30 01:00

Hadoop HA 与 Federation

一、为什么要HA和Federation1.单点故障在Hadoop2.0之前，也有若干技术试图解决单点故障的问题，我们在这里做个简短的总结SecondaryNameNode。它不是HA，
代码浮生·2015-12-24 15:00

hadoop2.0 HA高可用笔记和搭建流程

一：hadoop2.X笔记hadoop1.0中，HDFS存在的问题-NameNode单点故障-NameNode压力过大、内存受限MapReduce存在的问题---mapReduce计算时间比较长JobStacker访问压力大，影响系统的扩容性在1.x中不支持spark。stormHadoop2.x由Hdfs、MapReduce和YARN三个分支构成：HDFS：NNfederation（联合会、联邦
BradyZhu·2015-12-15 18:00

Hadoop2.0的HA介绍

1概述 在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在
u010299467·2015-12-13 20:00

YARN内存使用优化配置

在Hadoop2.0中,YARN负责管理MapReduce中的资源(内存,CPU等)并且将其打包成Container.这样可以精简MapReduce,使之专注于其擅长的数据处理任务,将无需考虑资源调度.
shubingzhuoxue·2015-12-09 16:00

Hadoop MapReduce编程学习

一直在搞spark，也没时间弄hadoop，不过Hadoop基本的编程我觉得我还是要会吧，看到一篇不错的文章,不过应该应用于hadoop2.0以前，因为代码中有 conf.set("mapred.job.tracker
超大的雪童子·2015-12-08 23:00

Hadoop

Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。
SHANGJINYAO·2015-12-07 11:00

Hadoop-2.6.0学习笔记汇总

Hadoop是适用于大数据处理的、分布式的存储(HDFS)和计算(MapReduce)平台，在Hadoop2.0版本开始引入了yarn来实现资源管理与作业调度。
luchunli1985·2015-11-22 15:45

Hadoop-2.6.0学习笔记汇总

Hadoop是适用于大数据处理的、分布式的存储(HDFS)和计算(MapReduce)平台，在Hadoop2.0版本开始引入了yarn来实现资源管理与作业调度。
luchunli1985·2015-11-22 15:45

Hadoop2.0的HA介绍

原文 http://www.linuxidc.com/Linux/2014-05/101174.htm主题HadoopNFS前一篇文章介绍了Hadoop2.0（hadoop2.0架构，具体版本是hadoop2.2.0
lhui798·2015-11-20 16:00

hadoop2.0编译安装步骤

阅读更多在32位或64位的linux的操作系统，安装hadoop2.0d都没问题。在64位的linux上安装的时候，hadoop为了追求性能，使用linux本地库。libhadoop.so.1.0.0文件要求32位的文件。使用2中方法解决:临时办法：exportHADOOP_COMMON_LIB_NATIVE_DIR=/home/grid/hadoop-2.2.0/lib/nativeexport
nicegege·2015-11-15 21:00

hadoop2.0编译安装步骤

在32位或64位德尔linux的操作系统，安装hadoop2.0d都没问题。在64位的linux上安装的时候，hadoop为了追求性能，使用linux本地库。libhadoop.so.1.0.0文件要求32位的文件。使用2中方法解决:临时办法：exportHADOOP_COMMON_LIB_NATIVE_DIR=/home/grid/hadoop-2.2.0/lib/nativeexportHAD
nicegege·2015-11-15 21:00

Spark社区可能放弃Spark 1.7而直接发布Spark 2.x

不过也有可能移除对Hadoop2.2以下版本的支持，因为Hadoop2.0和2.1版本分
wind520·2015-11-14 09:00

hadoop2.1.0编译安装教程

由于现在hadoop2.0还处于beta版本，在apache官方网站上发布的beta版本中只有编译好的32bit可用，如果你直接下载安装在64bit的linux系统的机器上，运行会报一个INFO util.NativeCodeLoader
·2015-11-13 06:44

Hadoop2.0构成之YARN

  YARN产生背景   Hadoop1.x中的MapReduce构成图如下： 在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker； JobTracker：负责资源管理和作业调度； TaskTracker：定期向JobTracker汇报本节点的健康状况、资源使用情况以
·2015-11-13 02:54

Hadoop2.0构成之HDFS2.0

HDFS2.0之HA 主备NameNode：　　1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换；　　2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中；　　3、所有DataNode同时向两个NameNode发送心跳信息（块信息）； 两种切换方式：　　1、手动切换：通过命令实现主备之间的切
·2015-11-13 02:53

Hadoop2.0的基本构成总览

Hadoop1.x和Hadoop2.0构成图对比 Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker； Hadoop2.0
·2015-11-13 02:53

Hadoop2.0产生背景

Hadoop与Hadoop生态系统的区别 Hadoop：是一个适合大数据分布式存储和分布式计算的平台，在Hadoop1.x中对应于HDFS和MapReduce； Hadoop生态系统：是一个很庞大的概念，Hadoop是其中最重要最基础的一个部分；生态系统中的每个子系统只负责解决某一个特定的问题域（甚至可能更窄），不是一个全能系统而是小而精的多个小系统；   Hadoop1.x中存
·2015-11-13 02:52

在eclipse下编译hadoop2.0源码

Hadoop是一个分布式系统基础架构，由apache基金会维护并更新。官网地址: http://hadoop.apache.org/ Hadoop项目主要包括以下4个模块: Hadoop Common: 为其他Hadoop模块提供基础设施。 Hadoop HDFS: 一个高高靠、高吞吐量的分布式文件系统。 Hadoop MapReduce: 一个分布式的计算框
·2015-11-12 09:50

在eclipse下远程调试hadoop2.0

在《在eclipse下编译hadoop2.0源码》一文中，我详细介绍了如何在eclipse环境和命令行环境下编译hadoop2.0源代码，并简单介绍了如何构建hadoop环境，这篇文章将着重介绍如何在eclipse
·2015-11-12 09:50

Hadoop2.x集群动态添加删除数据节点

下面以DataNode的上线为例详细说明下如何动态的给HDFS集群新增数据节点(Hadoop2.0版本)。   &nbs
·2015-11-11 18:30

Hadoop2.0新特性-持续追加【干货】

1、NAME NODE HA 2、NAME NODE Federation 3、HDFS 快照（目录快照） 4、HDFS 缓存 5、HDFS ACL  6、异构层级存储结构  ------------------------------------------------------------------------------------------------
·2015-11-11 16:05

YARN

YARN Hadoop2.0与HAdoop1.0的区别： Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由 Hadoop Common、HDFS
·2015-11-11 13:27

Hadoop 2.0集群配置详细

Hadoop2.0集群配置详细教程前言Hadoop2.0介绍Hadoop是apache的开源项目，开发的主要目的是为了构建可靠，可拓展scalable，分布式的系统，hadoop是一系列的子工程的总和，
翟军铭·2015-11-11 12:35

hadoop1.0和hadoop2.0的对比（****记住***）

hadoop1.0和hadoop2.0的对比早期版本两大核心后期版本两大核心Hadoop的特点（***了解***）扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据
51zhangyanfeng·2015-11-09 16:41

Hadoop之应用程序运行过程（面试）

Hadoop2.0，YARN也采用了Master/Slave结构。
蒋一个故事·2015-11-03 14:16

Hadoop2.0安装

http://blog.csdn.net/samhacker/article/details/18802223 http://blog.csdn.net/crazyhacking/article/details/18791339 http://cloud.51cto.com/art/201311/418288.htm http://blog.csdn.net/qiaochao911/arti
·2015-10-31 09:47

Hortworks Hadoop生态圈简介

Hortworks 作为Apache Hadoop2.0社区的开拓者，构建了一套自己的Hadoop生态圈，包括存储数据的HDFS，资源管理框架YARN，计算模型MAPREDUCE、TEZ等，服务于数据平台的
·2015-10-31 08:43

Apache Hadoop2.0之HDFS均衡操作分析

1HDFS均衡操作原理HDFS默认的块的副本存放策略是在发起请求的客户端存放一个副本，如果这个客户端在集群以外，那就选择一个不是太忙，存储不是太满的节点来存放，第二个副本放在与第一个副本相同的机架但是不同节点上，第三个放在与第二个和第一个副本不同的机架上，原则是尽量避免在相同的机架上放太多的副本。随着时间的推移，在各个DataNode节点上的数据块会分布的越来越不均衡。如果集群不均衡的程度很严重，
yxl_happy·2015-10-29 13:00

Hadoop Yarn详解

Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
suifeng3051·2015-10-29 09:00

Hadoop2.0(HDFS2)以及YARN设计的亮点

YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResouceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManger申请资源，并要求N
·2015-10-27 12:26

hadoop2.0 和1.0的区别

1. Hadoop 1.0中的资源管理方案Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）三部分组成。
·2015-10-27 12:49

在eclipse下远程调试hadoop2.0

在《在eclipse下编译hadoop2.0源码》一文中，我详细介绍了如何在eclipse环境和命令行环境下编译hadoop2.0源代码，并简单介绍了如何构建hadoop环境，这篇文章将着重介绍如何在eclipse
chaijuntao·2015-10-23 15:00

hadoop2.0(chd4) 通过API获取job信息

hadoop 版本儿：hadoop-2.0-cdh4.3.0 想做一个hive的命令的schedule，所以必须获取正在运行的job的数量。 到网上查了一通，一开始用了JobClient，怎么弄都是Null pointor Exception，非常郁闷，不得已看了代码，发现在jobclient初始化的时候出现了这句话： setConf(conf); String tracker
·2015-10-23 08:12

hadoop 、hive 的一些使用经验。

1、queue的设置 　　hadoop2.0支持了queue，在hadoop程序里面进行queue的配置：　 　　job.getConfiguration().set("mapred.job.queue.name
·2015-10-23 08:12

hadoop生态系统简介

Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。
utitt·2015-10-21 15:00

Hadoop 2.0 编译问题小结

这些问题是2013年初整理的，不过到目前为止，即使最新的hadoop2.0系列，编译总体上变化不大，因此还能适用。
·2015-10-21 12:42

Yarn中如何生成状态机图

在Hadoop2.0系列的版本里，采用了状态机的方式处理ResourceManager，NodeManager，MapReduce中状态的变迁。那如何生成相应的状态机图呢？
·2015-10-21 12:41

深入理解hadoop yarn

 在学习Hadoop YARN―Hadoop2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。
郭彩峰·2015-09-25 16:21

深入理解hadoop yarn

在学习HadoopYARN—Hadoop2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。
郭彩峰·2015-09-25 16:21

YARN基本组成结构

YARN基本架构YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的
jiangshouzhuang·2015-09-23 21:00

hadoop2.7.1单机版安装部署

vmware10+ubuntu14.04(32bit)查看linux操作系统位数：getconfLONG_BIT2.jdk1.8.0_60（注意要和linux系统位数一致，我的为32位）hadoop2.7.1二、Hadoop2.0
duhm·2015-09-22 21:43

hadoop2.7.1单机版安装部署

vmware10+ubuntu14.04(32bit)查看linux操作系统位数：getconfLONG_BIT2.jdk1.8.0_60（注意要和linux系统位数一致，我的为32位）hadoop2.7.1二、Hadoop2.0
duhm·2015-09-22 21:19

Hadoop 2.0中用户安全伪装/模仿机制实现原理

该机制属于Hadoop安全机制的一部分，因此适用于Hadoop1.0之后的版本（尽管本文标题包含“hadoop2.0”字样）。
javastart·2015-09-18 17:00

ddddddddddddd

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。
小刘同学·2015-09-09 00:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他