大数据技术原理与应用笔记（1）——大数据概述

大数据概述

《大数据技术与原理》课程笔记

目录

1.1大数据概念

1.2数据产生方式

1.3技术支撑

1.4大数据的影响

1.5大数据的关键技术

1.6大数据的计算模式

---

---

1.1大数据概念

（1）数据量大/“大量化”

（2）数据类型繁多/“多样化”

10%结构化数据，90%非结构化数据

（3）处理速度快/“快速化”

1秒定律——秒级决策

（4）价值密度低，商业价值高/“价值化”

1.2数据产生方式

运营式系统阶段——>用户原创内容阶段——>感知式系统阶段

感知式系统阶段也就是物联网的大规模普及，物联网的迅速发展让大数据最终到来。

1.3技术支撑

（1）存储设备容量不断增大

（2）CPU处理能力大幅提升

（3）网络带宽不断增加

1.4大数据的影响

（1）科学研究范式的改变

实验——>理论——>计算——>数据

• 实验：以实验的方式验证科学问题

• 理论：以理论的方式研究科学问题

• 计算：用计算机(计算)去解决科学问题

• 数据：以数据为驱动研究问题，即大数据分析

数据研究范式和其他范式的区别：一开始并不清楚问题所在，通过大数据分析发现问题(问题发现)；而不像以前，知道是什么问题，我们去找答案(答案查找)。

（2）思维方式的改变

• 全样而非抽样

  以前做数据分析，因为计算能力的限制，只能做抽样分析；而现在分布式计算网络的出现，使得成百上千的CPU可以同时计算，因此也不需要抽样，而是全样的数据分析。

• 效率而非精确

  抽样分析通常最求算法精确度高，因为如果抽样精确度不高，放到全样误差会被放大。而大数据时代是对全样进行分析，误差不会被放大，误差是多少就是多少，因此我们不会刻意的追求算法的精度，所以我们更最求时效性，很多数据在一瞬间没有得出结果的话，它的价值就丢失了。

• 相关而非因果

  关注事物之间的相关性，而不是因果性

1.5大数据的关键技术

（1）大数据技术的不同层面及其功能

• 数据采集

  利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析。

• 数据存储和管理

  利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理。

• 数据处理与分析

  利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据。

• 数据隐私和安全

  在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全。

（2）大数据核心技术

• 分布式存储

  解决海量数据的存储

• 分布式计算

  解决海量数据的分析

1.6大数据的计算模式

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批处理	MapReduce、Spark
流计算	针对流数据的实时计算	Storm、S4
图计算	针对大规模图结构数据的处理	Pregel、GraphX
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive