大数据计算系统学习笔记

1.大数据计算体系可归纳三个基本层次:
数据应用系统,数据处理系统,数据存储系统



大数据计算系统学习笔记_第1张图片
2.计算的总体架构

HDFS(Hadoop 分布式文件系统)
(1)设计思想:分而治之,将大文件大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析。
(2)首先,它是一个文件系统,用于存储文件,通过统一的命名空间–目录树来定位文件。然后,它是分布式的,又很多服务器联合起来实现其功能,集群中的服务器有各自的角色。有namenode和datanode两部分,有点类似索引结构,并采用备份的方式,例如第二namenode和b1出现3次。
大数据计算系统学习笔记_第2张图片
数据处理系统的比较

主要看mapreduce和spark的两个极端,包括时延和硬件的需求。
大数据计算系统学习笔记_第3张图片
mapreduce计算模型大数据计算系统学习笔记_第4张图片
大数据计算系统学习笔记_第5张图片

大数据计算系统学习笔记_第6张图片
3.计算模型和计算架构大数据计算系统学习笔记_第7张图片

你可能感兴趣的:(大数据寒假学习笔记,大数据)