hadoop2.0新特性剖析及应用 学习笔记

Hadoop 1.0

Ambari 安装部署工具,专门统一安装和部署Hadoop所有组件
Oozie是个作业流任务调度系统,用来调度hive,pig,mahout任务的执行
Pig是个工作流引擎

Hadoop 2.0概述

Ambari安装部署工具,专门统一安装和部署Hadoop所有组件
Oozie是个作业流任务调度系统,用来调度hive,pig,mahout任务的执行
Pig是个工作流引擎
Yarn是个分布式计算框架,管理整个集群的资源

HDFS2.0新特性

HA 单点故障的解决方案,支持多个Name Node,解决了内存受限的问题。提供了standby Name Node,相当与从Name Node,当主NameNode挂掉后可以自动切换
异构层级存储结构,集群中支持多种异构介质,如磁盘,RAM,SSD等。
HDFS ACL,实现和linux的文件/目录权限类似的功能
HDFS 快照,防止误删除和数据备份,每个目录都可以显式的设置快照
HDFS缓存,默认是无缓存
Yarn History Server,提供执行历史查询功能,方便调优

MapReduce变成了客户端类库

运行环境由JobTracker和TaskTracker组成
JobTracker只能对MapReduce作业进行资源管理和任务调度



你可能感兴趣的:(hadoop)