Hadoop学习笔记---大数据概论入门

第一章：大数据概念

大数据是指无法在一定时间范围内，用常用的工具软件进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决海量数据的采集、存储和分析计算问题。
按顺序给出存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

1Byte=8bit 
1KB=1024MB
1MB=1024KB
1GB=1024MB
1TB=1024GB
1PB=1024TB

第二章：大数据特定(4V)

1.Volume(大量)
截至目前，人类的所有印刷材料的数据量是200PB，而人类历史上总共说过的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量是TB容量级，而一些大企业的数据量已经接近EB量级。

2.Velocity(高速)
这是大数据区分于传统数据挖掘的最显著特征。根据IDC的数字宇宙的报告，预计到2025年，全球数据使用量将达到163ZB，在如此海量的数据面前，处理数据的效率就是企业的生命。

3.Variety(多样)

这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、视频、音频、图片、地理位置等信息，这些多类型的数据对数据处理能力提出了更高的要求。

4.Value(低价值密度)
价值密度的高低越数据总量的大小成反比

第三章 Hadoop概述

3.1Hadoop是什么？

(1)Hadoop是由Apache基金会所研发的分布式系统基础架构。主要解决海量数据存储和分析计算问题，广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。

3.2Hadoop发展历史

(1)GFS—>HDFS
(2)Map-Reduce—>MR
(3)BigTable—>HBase

3.3Hadoop三大发行版本

(1)Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

3.4Hadoop的优势(4高)

(1)高可靠性：Hadoop底层维护了多个数据副本，所以即使某个计算元素或者存储出现故障，也不会导致数据丢失。
(2)高扩展性：在集群之间分配任务数据，可以方便的扩展数以千计的节点。
(3)高效性：在MapperReduce思想下，Hadoop是并行工作的，可以加快任务处理速度。
(4)高容错性：能够自动将计算失败的任务重新分配。

3.5 Hadoop的组成

在Hadoop1.x时代，Hadoop中的MapperReduce同时处理业务逻辑运算和资源调度，耦合性比较大，主要由MapperReduce负责逻辑计算和资源调度、HDFS负责数据存储，Common是辅助工具。在Hadoop2.x时代，增加了Yarn，Yarn只负责资源调度，MapperReduce只负责计算。Hadoop3.x和Hadoop2.x组成上没有区别。

3.6HDFS架构概述

(1)Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS主要由NameNode(nn)、DataNode(dn)和Secondary NameNode(2nn)组成。
(2)NameNode(nn)：是存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。
(3)DataNode(dn)：在本地文件系统存储文件块数据，以及数据的校验和。
(4)Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

3.6Yarn架构概述

(1)Yarn是Hadoop的资源管理器。主要包括资源管理器ResourceManager(RM)，节点管理器NodeManager(NN)、ApplicationMaster(AM)、Container等资源。可以由多个客户端提交作业，集群上可以运行多个ApplicationMaster，每个NodeManager上可以有多个Container。Client会向ResourceManager提交job作业，ResourceManager会启动一个AppMaster，AppMaster是任务的老大，AppMaster会向ResourceManager申请资源，ResourceManager就会给AppMaster分配资源，资源叫做资源容器Container，在资源容器里面运行任务，Map task加上Reduce Task才是完整的一个作业，AppMaster会在Container里面运行任务。

(2)ResourceManager(RM)：整个集群资源的老大(内存、CPU等)，管理所有的NodeManager。
(3)NodeManager(NM)：单个节点服务器资源老大。
(4)Container：容器，相当于一台独立的服务器了，容器里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。

3.7MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce。Map阶段并行处理输入数据；Reduce阶段对Map阶段的结果进行汇总。

3.8HDFS、YARN、MapReduce三者之间的关系

给ResourceManager提交一个作业，AppMaster会申请一个Container，Container中跑Map Task和Reduce Task，数据在HDFS上，Map Task和Reduce Task会读取数据，读取数据之后会开始进行计算，这样就把三者结合起来了。

3.9大数据技术生态体系

图中涉及的技术名词解释如下：
(1)Sqoop：Sqoop是一款开源的工具，主要用于Hadoop、Hive与传统数据库(MySQL)之间的数据传递，可以将一个关系型数据库，例如MySQL、Oracle等，中的数据导进Hadoop中的HDFS，也可以将HDFS中的数据导进关系型数据库中。
(2)Flume：Flume是一个高可用的，高可靠的，分布式海量日志采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于数据采集。
(3)Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统；
(4)Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
(5)Flink：Flink是当前最流行的开源大数据内存计算框架。用于实时计算的场景比较多。
(6)Oozie：Oozie是一个管理Hadoop作业的工作流调度管理系统。
(7)HBase：HBase是一个分布式的、面向列的开源分布式数据库。HBase不同于一般关系型数据库，他适合于非结构化数据存储的数据库。
(8)Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必专门开发MapReduce应用，十分适合数据仓库的统计分析。
(9)Zookeeper：是一个针对大型分布式系统的可靠协调系统，提供功能包括：配置服务、名字服务、分布式服务、组服务等。

3.10推荐系统框架图

第三章 Hadoop开发环境搭建