大数据基础架构（自学取自尚硅谷）
此文为个人平时学习对大数据的个人理解笔记分享，有不对的地方还请大佬多指正，谢谢。
一.什么是大数据技术？
大量的数据，等级在TB=1024GB,PB,EB级别
主要用于解决大量数据的 处理&分析，两大难题就是 如何存&如何算
二. 一般人找大数据工作可以做什么岗位？
难度级别（灾难到平民）：平台—》数据挖掘/报表开发—〉实时指标分析性能调优—》数据仓库
三。大数据思想和的来源。
1.GFS(Google File System) —>HDFS(Hadoop Distributed File System)
最先用到大数据的永远是搜索引擎，比如国内最早用的是百度,用的是分布式存储的思想，大意是大文件分多份小份复制之后储存在多部电脑里，目标：为了保证大数据很多细节数据不易丢失且可以提高查找数据的效率。
2.Map-Reduce (分布式计算框架）—> MR
3.BigTable（分布式数据库）—>HBase
其中，Hadoop实现了HDFS&&Map-Reduce的功能
四。Hadoop2.x的架构组成部分（目前已经到3.x时代）
1.Map-Reduce(计算)：管算的
2.Yarn(资源调度)//解藕：目标是为了分配资源（可以理解为人员）进行大数据计算
**3.HDFS(数据存储)：**管存的
4.Common（辅助工具，相比而言不重要）
大概思路：调度资源对数据存储里的数据进行计算
五。HDFS的架构?(2xx和3xx架构上没有什么大变动)
问：如果把大象（大数据）装进冰箱（储存）需要分几步？
答：第一步，把冰箱门打开（来几个10t硬盘）
第二步，把大象塞进去（冰箱的架构是什么？）
NameNode对应主机黑手党老大，记录存储大象的元数据，比如大象的体重，颜值等级，脂肪含量；；；对应的是文件名，文件目录结构，文件属性
Datanode 对应帮派小弟，打工人，具体存文件数据(quantitative)
Second NameNode(2NN) 对应黑手党会计，管家助手，每隔一段时间对数据进行备份
注：2nn不是n的热备，也就是说n挂了2nn不会顶上去（管家不能继承黑手党老大的位置）
第三部，把冰箱门关上
六。YARN的架构？
----------------------------------计算机可调用的部分为cpu和内存，磁盘为hdfs管
主机（红星老大）：resource manager
从机（陈近南，地区扛把子）：node manager 负责管理节点的cpu和内存（管自己地区 的小弟，也就是数据，这些小弟和扛把子构成集群）
每个扛把子把自己有多大能耐汇报给社长老大，老大就知道说：我这个帮的上限在哪了
client（财阀）找到红星老大（主机）办事，老大叫来陈近南，陈近南分析一下汇报给老大说：“如果把事情办成，我还需要山鸡（其他的扛把子）等一起”（资源申请），老大去分配其他扛把子给他
这个时候陈近南担任分析的职位叫app master(设计师)----陈近南有两个职位。
等事情办完了结束了，陈近南就回到了扛把子的职位
注：一个活有且只有一个app master，一个app master可以一次接很多个活（多个client），方法是以container（类似虚拟机）
七。MapReduce的架构？
这是一个java程序，不是集群，是一个计算流程
阶段1.Map分（把寻找的任务分配给小弟）
阶段2.Reduce汇总（小弟汇总情况，谁找到谁没找到给汇总服务器）
八。Hadoop生态
kafka消息队列：数据的缓冲区
推荐系统架构
