大数据技术原理与应用 第一章 大数据概述

最近在学习厦门大学林子雨老师开讲的一门课程 —— 大数据技术原理与应用,决定开始做一下学习笔记。

参考材料:http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0

1. 大数据4V特征

大数据具有数据量大(Volume)、数据类型繁多(Variety)、处理速度快(Velocity)、价值密度低(Value)等特点,统称“4V”。

2. 大数据的两大核心技术

分布式存储和分布式处理

大数据技术原理与应用 第一章 大数据概述_第1张图片

3. 大数据计算模式

大数据计算模式 解决问题 代表产品
批处理计算 针对大规模数据的批量处理 MapReduce、Spark等
流计算 针对流数据的实时计算 Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
图计算 针对大规模图结构数据的处理 Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查询分析计算 大规模数据的存储管理和查询分析 Dremel、Hive、Cassandra、Impala等

对于批处理计算,它没有办法提供秒级服务,也就是它不能用于实时计算。

4. 云计算

大数据技术原理与应用 第一章 大数据概述_第2张图片

5. 大数据与云计算、物联网的关系

大数据技术原理与应用 第一章 大数据概述_第3张图片

你可能感兴趣的:(大数据技术原理与应用)