大数据基础架构(自学取自尚硅谷)

此文为个人平时学习对大数据的个人理解笔记分享,有不对的地方还请大佬多指正,谢谢。

一.什么是大数据技术?

大量的数据,等级在TB=1024GB,PB,EB级别

主要用于解决大量数据的 处理&分析,两大难题就是 如何存&如何算

二. 一般人找大数据工作可以做什么岗位?

大数据基础架构(自学取自尚硅谷)_第1张图片

难度级别(灾难到平民):平台—》数据挖掘/报表开发—〉实时指标分析性能调优—》数据仓库

三。大数据思想和的来源。

1.GFS(Google File System) —>HDFS(Hadoop Distributed File System)

最先用到大数据的永远是搜索引擎,比如国内最早用的是百度,用的是分布式存储的思想,大意是大文件分多份小份复制之后储存在多部电脑里,目标:为了保证大数据很多细节数据不易丢失且可以提高查找数据的效率。

2.Map-Reduce (分布式计算框架)—> MR

3.BigTable(分布式数据库)—>HBase

其中,Hadoop实现了HDFS&&Map-Reduce的功能

四。Hadoop2.x的架构组成部分(目前已经到3.x时代)

1.Map-Reduce(计算):管算的

2.Yarn(资源调度)//解藕:目标是为了分配资源(可以理解为人员)进行大数据计算

**3.HDFS(数据存储):**管存的

4.Common(辅助工具,相比而言不重要)

大概思路:调度资源对数据存储里的数据进行计算

五。HDFS的架构?(2xx和3xx架构上没有什么大变动)

问:如果把大象(大数据)装进冰箱(储存)需要分几步?

答:第一步,把冰箱门打开(来几个10t硬盘)

​ 第二步,把大象塞进去(冰箱的架构是什么?)

NameNode对应主机黑手党老大,记录存储大象的元数据,比如大象的体重,颜值等级,脂肪含量;;;对应的是文件名,文件目录结构,文件属性

Datanode 对应帮派小弟,打工人,具体存文件数据(quantitative)

Second NameNode(2NN) 对应黑手党会计,管家助手,每隔一段时间对数据进行备份

​ 注:2nn不是n的热备,也就是说n挂了2nn不会顶上去(管家不能继承黑手党老大的位置)

​ 第三部,把冰箱门关上

六。YARN的架构?

​ ----------------------------------计算机可调用的部分为cpu和内存,磁盘为hdfs管

主机(红星老大)resource manager

从机(陈近南,地区扛把子):node manager 负责管理节点的cpu和内存(管自己地区 的小弟,也就是数据,这些小弟和扛把子构成集群

每个扛把子把自己有多大能耐汇报给社长老大,老大就知道说:我这个帮的上限在哪了

client(财阀)找到红星老大(主机)办事,老大叫来陈近南,陈近南分析一下汇报给老大说:“如果把事情办成,我还需要山鸡(其他的扛把子)等一起”(资源申请),老大去分配其他扛把子给他

这个时候陈近南担任分析的职位叫app master(设计师)----陈近南有两个职位。

等事情办完了结束了,陈近南就回到了扛把子的职位

​ 注:一个活有且只有一个app master,一个app master可以一次接很多个活(多个client),方法是以container(类似虚拟机)

七。MapReduce的架构?

这是一个java程序,不是集群,是一个计算流程

阶段1.Map分(把寻找的任务分配给小弟)

阶段2.Reduce汇总(小弟汇总情况,谁找到谁没找到给汇总服务器)

八。Hadoop生态

kafka消息队列:数据的缓冲区

大数据基础架构(自学取自尚硅谷)_第2张图片

推荐系统架构

大数据基础架构(自学取自尚硅谷)_第3张图片

你可能感兴趣的:(笔记,大数据,hadoop,架构)