大数据概论

大数据自学笔记

1.大数据兴起

第三次信息化浪潮。核心技术云计算、大数据、物联网

(第一次信心化浪潮伴随着个人计算机的出现,第二次信息化浪潮伴随着互联网的普及)

2.大数据前提条件

(1)硬件支持:CPU、存储空间、网络带宽的增加

(2)数据生成方式改变:运营系统生成(超市销售记录) -- 用户原创内容(微博、博客) -- 感知式系统阶段(物联网)(探头、摄像头等每时每刻生成数据)

3.大数据定义和特征

(1)volume:数据量大

(2)variety:数据的来源及格式多种多样

(3)velocity:数据增长速度快

(4)value:数据价值低

4.大数据的影响

通过大量数据的分析,判断出现了什么问题,而不是具体问题具体分析;不再需要抽样分析,只做全样数据分析;更加关注数据之间的相关性

5.大数据的应用

决策与预测

6.大数据关键技术

(1)分布式存储

(2)分布式处理

7.典型的计算模式

(1)批处理计算:mapreduce、spark

(2)流计算:数据是实时更新的,不能批处理,需要秒级响应

(3)图计算

(4)查询分析计算

8.物联网基础概念

(1)物和物相连,物和人相连。通过网络把现实世界中的物和人连接起来。

(2)物联网基础架构:感知层(摄像头、探头)-- 传输层(互联网)-- 处理层(数据处理)-- 应用层

(3)示例:掌上智能公交,通过GPS传输每个公交车的实时位置。

(4)关键技术。识别技术(识别现实中各个事物并唯一标识的能力)感知技术(公交卡芯片等依据电磁感应进行数据交互)
9.云计算基础概念
请参考云计算概论
( ̄▽ ̄)

你可能感兴趣的:(大数据)