Linux第9课：FI——华为版hadoop平台

Linux第9课：FI——华为版hadoop平台

时间 2019-03-13 下午3：30

主讲 杨成林、杨震

地点 四楼电教室

Hadoop自2012年首次发布以来，持续保持更新，至今，官方公布的最新版本是2019年2月最新更新的3.12版，专班课程使用的2.77版，是官方2018年5月31日发布的版本。Hadoop问世以来，由于其在运算、存储、稳定、安全等方面的出色表现，迅速在全世界流行起来，即使百度、阿里、腾讯等互联网巨头，也都是Hadoop的忠实用户。

市场上使用的hadoop分为三个档次，第一档是原版，官方直接下载，完全免费，第二档是社区版，由全世界的一些计算机爱好者，在原版的基础上进行改造，附加一些功能，适合不同需求的用户，第三档是商业版，由一些第三方企业，组织专业技术人员，在原版的基础上进行改造，使运行更可靠，界面更友好，功能更强大，运维更方便。

从当前国内来看，主流的商业版Hadoop平台有：1，华为——FusionInsight HD（简称FI），2，腾讯——Tbds，3，阿里——飞天（相对其他版本，修改比较大），4，明略——Nest，5，星环——Tdc，6，浪潮——云海Insight。

FI是基于hadoop2.72版开发的，坚持分层，解耦，开放的原则，得益于高可靠性，在全国各地政府、运营商、金融系统有较多案例。

一、HDFS

HDFS，即Hadoop文件系统，是Hadoop自带的两个核心组件之一。（Hadoop自带HDFS和MapReduce两个组件，分别用于分布式存储和计算，其他组件是第三方开发的）

文件系统定义：文件系统是一种存储和组织计算机数据的方法，它使得对其访问和查找变得容易。

文件名：在文件系统中，文件名是用于定位存储位置。

元数据（Metadata）：保存文件属性的数据，如文件名，文件长度，文件所属用户组，文件存储位置等。

数据块（Block）：存储文件的最小单元。对存储介质划分了固定的区域，使用时按这些区域分配使用。

如果把一个文件比作一本书，文件名即书名，元数据即目录，数据块即内容。

HDFS的特性：

a.高容错性：认为硬件总是不可靠的，认为硬件异常是常态，所以，存了好几个副本，自动恢复数据。

b.高吞吐量：为大量数据访问的应用提供高吞吐量支持，文件存储时，启动节点选举机制，就近原则，减少网络负载。

c.大文件存储：支持存储TB-PB级别的数据，一个数据块默认为128M，如果一个文件不足128M，则按128M存储，所以说它不适合小文件存储。为保持数据一致性，不允许数据修改，只能写和读，即WORM（write once,read many）。

二、FI

FI的特性：

1，高可靠性，系统可靠性，数据可靠性

所有组件无单点故障，所有管理节点HA（high 可用），软硬件健康状态监控，

跨数据中心容灾，支持硬盘热拔插

2，强大的组织支撑能力，服务到位，半年做一次全面巡检

3，安全性，系统安全，认证安全，数据安全

4，可视化集群管理，易运维

5，一键式组件安装部署

6.NTP（时钟）自动配置

7，自动配置主机映射关系

8，资源分布监控

9，自定义监控阈值

10，日志级别动态调整

11，针对元数据向导式备份管理

12，多租户管理（资源分配，只针对计算和存储资源）

13，多组件UI间单点登陆

NTP即时钟，用于保证所有节点的时间是一致的。