Hadoop大数据平台构建与应用

Hadoop大数据平台构建与应用

第一章 大数据与Hadoop平台技术

---

---

前言

1、熟悉 Hadoop平台技术的生态环境
2、熟悉 熟悉大数据关键技术
3、了解 大数据主要技术
4、了解 大数据的特点、应用领域

---

一、大数据时代

大数据就是海量资料或者称巨量资料，这些巨量资料来源于世界各地随时产生的数据，在大数据时代，任何微小的数据都可能产生不可思议的价值。
大数据有4个特点
（4V ）：
Volume（大量）
Variety（多样）
Velocity（高速）
Value（价值）

二、大数据关键技术

大数据技术涵盖了数据采集、存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为数据采集与预处理、数据存储及管理、数据处理及分析、数据隐私和安全等环节

大数据技术的不同层面及其功能
数据采集：利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析。

数据存储和管理： 利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理。

数据处理与分析： 利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据。

数据隐私和安全：在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全。

所谓大数据计算模式，是指根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象
(Abstraction)和模型 (Model)。

三、大数据涉及的主要软件

四、Hadoop平台技术的生态

1、Hadoop的特点
 Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。
 Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。
 Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。
 Hadoop 还是可伸缩的，能够处理 PB 级数据。
 此外，Hadoop 是开源的，因此它的成本比较低，任何人都可以使用。

2、Hadoop生态系统概况

---

总结

Hadoop平台搭建导读部分，熟悉大数据的由来、技术现状、涉及的主要技术，并对Hadoop平台技术的生态系统做了基本介绍。