preview_day220601 Hadoop

 

 

 

场景：安全模式现象探究--Step3

l启动第一台机器上的Datanode进程：hdfs --daemon start datanode。继续查看页面提示信息

 场景：安全模式现象探究--Step4

l 此时执行创建文件夹操作，发现可以创建成功 了 .

l 可以发现在安全模式下，我们可以浏览文件系统目录层次结构，但是却无法创建文件夹， 安全模式下的文件系统似乎处于一种可读 不可 写 的 特殊状态 。

安全模式概述

 

l Hadoop 中的 安全模式 safe mode 是 NameNode 的维护状态，在此状态下 NameNode 不允许对文件系统进行任何更改，可以接受读数据请求 。

l 在 NameNode 启动过程中，首先会从 fsimage 和 edits 日志文件加载文件系统状态。然后，等待 DataNodes 汇报可用的 block 信息。在此期间， NameNode 保持在安全模式。随着 DataNode 的 block 汇报持续进行，当整个系统达到安全标准时， HDFS 自动离开安全模式。在 NameNode Web 主页上会显示安全模式是打开还是关闭。

l 如果 HDFS 处于安全模式下，不允许 HDFS 客户端进行任何修改文件的操作 , 包括上传文件，删除文件，重命名，创建文件夹 , 修改副本数等操作。

安全模式自动进入离开

l 自动进入时间

HDFS集群启动时，当NameNode启动成功之后，此时集群就会自动进入安全模式。

安全模式自动进入离开

l 自动离开条件（ hdfs-site.xml 、 hdfs-default.xml ）

  安全模式手动进入离开

l 手动 获取安全模式状态信息

安全模式手动进入离开

l 手动进入命令

手动进入安全模式对于集群维护或者升级的时候非常有用，因为这时候HDFS上的数据是只读的。

 

安全模式手动进入离开 

 

 理解MapReduce思想

l MapReduce 的思想核心是“ 先分再合，分而治之 ”。

l 所谓 “分而治之”就是 把一个复杂的问题，按照一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果 ， 然后 把 各部分的结果组成整个问题 的最终结果 。

l 这种思想来源于日常生活与工作时的 经验。 即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创 。

l Map 负责 “拆分”：即 把复杂的任务 分解为若干个“简单 的子任务 ”来并行处理 。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎 没有依赖关系 。

l Reduce 负责 “合并”：即 对 map 阶段的结果进行全局汇总。

l 这两个阶段合起来正是 MapReduce 思想的体现 。

l 一个比较形象的语言解释 MapReduce 。

要数停车场中的所有停放车的总数量。

你数第一列，我数第二列…这就是Map阶段，人越多，能够同时数车的人就越多，速度就越快。

数完之后，聚到一起，把所有人的统计数加在一起。这就是Reduce合并汇总阶段。

（1）如何对付大数据处理场景

l 对相互间不具有计算依赖关系的大数据计算任务，实现并行最自然的办法就是 采取 MapReduce 分而治之 的策略。

l 首先 Map 阶段进行拆分， 把大数据拆分成若干份小数据，多个程序同时并行计算产生中间结果；然后是 Reduce 聚合阶段，通过程序对并行的结果进行最终的汇总计算，得出最终的结果 。

l 不可 拆分 的 计算任务或相互间有依赖关系的数据无法进行并行计算 ！

（2）构建抽象编程模型

l MapReduce 借鉴了 函数式 语言中的思想，用 Map 和 Reduce 两个函数提供了高层的并行编程抽象模型。

map: 对一组数据元素进行某种重复式的处理；

reduce: 对Map的中间结果进行某种进一步的结果整理。

（2）构建抽象编程模型

l MapReduce 中定义了如下的 Map 和 Reduce 两个抽象的编程接口，由用户去编程实现 :

map: (k1; v1) → (k2; v2)

reduce: (k2; [v2]) → (k3; v3)

l 通过 以上两个编程接口，大家可以看出 MapReduce 处理的数据类型是 键值对 。

l （ 3 ）统一 架构、隐藏底层细节

l 如何提供统一的计算框架，如果没有统一封装底层细节，那么程序员则需要考虑诸如数据存储、划分、分发、结果收集、错误恢复等诸多细节；为此， MapReduce 设计并提供了统一的计算框架，为程序员隐藏了绝大多数系统层面的处理细节。

l MapReduce 最大的亮点在于通过抽象模型和计算框架把需要 做什么 (what need to do) 与具体 怎么做 (how to do) 分开了，为程序员提供一个抽象和高层的编程接口和框架。

l 程序员仅需要关心其应用层的具体计算问题，仅需编写少量的处理应用本身计算问题 的业务程序代码 。

l 至于 如何 具体完成这个并行计算任务所相关的诸多系统层细节被隐藏起来 , 交给计算框架去处理：从分布代码的执行，到大到数千小到单个节点集群的自动调度使用。

l

MapReduce介绍

l Hadoop MapReduce 是一 个 分布式计算框架 ，用于轻松 编写分布式应用程序 ，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多 TB 数据集）。

l MapReduce 是一种面向海量数据处理的一种指导思想，也是一种用于对大规模数据进行分布式计算的编程模型。

l

分布式计算概念

l 分布式计算是一种计算方法，和集中式计算是相对的。

l 随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。

l 分布式计算 将该应用分解成许多小的部分，分配给多台计算机进行处理 。这样可以节约整体计算时间，大大提高计算效率。

l

MapReduce产生背景

l MapReduce 最早 由 Google 于 2004 年在一篇名为《 MapReduce:Simplified Data Processingon Large Clusters 》的 论文 中 提出 。

l 论文中谷 歌 把 分布式数据处理的过程拆分为 Map 和 Reduce 两个操作函数（ 受到函数 式编程语言的启发），随后被 Apache Hadoop 参考并作为开源版本提供 支持 ，叫做 Hadoop MapReduce 。

l 它 的出现解决了人们在最初面临海量数据束手无策的问题， 同时它 还是 易于使用和高度可扩展 的，使得开发者无需关系分布式系统底层的复杂性即可很容易的编写分布式数据处理程序，并在成千上万台普通的商用服务器中运行。

l

MapReduce特点

l 易于 编程

Mapreduce框架提供了用于二次开发的接口；简单地实现一些接口，就可以完成一个分布式程序。任务计算交给计算框架去处理，将分布式程序部署到hadoop集群上运行，集群节点可以扩展到成百上千个等。

l 良好 的扩展性

当计算机资源不能得到满足的时候，可以通过增加机器来扩展它的计算能力。基于MapReduce的分布式计算得特点可以随节点数目增长保持近似于线性的增长，这个特点是MapReduce处理海量数据的关键，通过将计算节点增至几百或者几千可以很容易地处理数百TB甚至PB级别的离线数据。

l

MapReduce特点

l 高 容错性

Hadoop集群是分布式搭建和部署得，任何单一机器节点宕机了，它可以把上面的计算任务转移到另一个节点上运行，不影响整个作业任务得完成，过程完全是由Hadoop内部完成的。

l 适合 海量数据的离线处理

可以处理GB、TB和PB级别得数据量

l

MapReduce局限性

MapReduce虽然有很多的优势，也有相对得局限性，局限性不代表不能做，而是在有些场景下实现的效果比较差，并不适合用MapReduce来处理，主要表现在以下结果方面：

l 实时 计算性能差

MapReduce主要应用于离线作业，无法作到秒级或者是亚秒级得数据响应。

l 不能 进行流式计算

流式计算特点是数据是源源不断得计算，并且数据是动态的；而MapReduce作为一个离线计算框架，主要是针对静态数据集得，数据是不能动态变化得。

l MapReduce 实例进程

一个完整的MapReduce程序在分布式运行时有三类

l MRAppMaster ：负责整个程序的过程调度及状态协调

l MapTask ：负责 map 阶段的整个数据处理流程

l ReduceTask ：负责 reduce 阶段的整个数据处理流程

l

阶段组成

l MapReduce 编程模型 只能包含一个 Map 阶段和一个 Reduce 阶段

l 如果 用户的业务逻辑非常复杂，那就只能多个 MapReduce 程序串行 运行。

l

MapReduce数据类型

 

 

 

暂时看到:::::::::::::