大数据系统基础 | 绪论

1 什么是大数据

1、Big data is an all-encompassing term for any collection of data sets so large and complex that it becomes difficult to process using traditional data processing apllications.
-http://en.wikipedia.org/wiki/Big_data
2、如果一个数据集的规模或者是其处理的复杂性，用传统的数据处理系统难以驾驭的话，我们就把这样的数据集称为大数据。
3、大数据系统是用于大数据分析处理的软件系统。

2 大数据典型应用

1、沃尔玛“啤酒加尿布”经典案例，1993年
2、塔吉特百货孕妇营销分析，2002年
3、谷歌对流感的成功预测，2009年
4、奥巴马借助大数据连任成功，2012年
5、微软大数据成功预测奥斯卡21项大奖，2013年

3 大数据的特点

1、大数据的规模，从TB,PB,EB,ZB甚至到了ZB级
2、多样的数据类型
（1）结构化数据（关系）：先有模式，后有数据
（2）半结构化数据（XML）：先有部分模式
（3）非结构化数据（文本）：先有数据，后有模式
3、大数据分析生命周期
获取、记录–>抽取、清洗–>集成、聚合–>分析、建模–>解释、展示
5个共性的基础问题：异构、规模、时效、隐私、协同
4、大数据深度加工
（1）数据Raw data
i.e.,uprocessed data,refers to a collection of numbers,characters and is a relative term
（2）信息Information
is that which informs,i.e. that from which data can be derived.
（3）知识Knowledge
can refer to a theoretical or practical understanding of a subject.
（4）智慧Insight
is the understanding of a specific cause and effect in a specitfic context
5、大数据处理方式
（1）批量 Batch
（2）在线 Online
（3）实时 Real-time
6、大数据的用户：内部用户和外部用户
（1）Data Provider - makes available data internal and/or external to the system
（2）Data Consumer - uses the output of the system
（3）System Orchestrator - governance,requirements,monitoring
（4）Big Data Application Provider - instantiates application
（5）Big Data Framework Provider - provides resources and platforms
7、大数据的质量
（1）精确性：数据是否精确表述一个事实
（2）完整性：是否所有必要的数据都已经实现
（3）一致性：不同数据实体间关系是否一致
（4）时效性：数据及其起源是否能够及时获取
8、大数据的价值
（1）价值密度的稀疏
（2）大量样本的长尾

4 大数据技术体系

1、大数据技术体系现状

2、数据质量-无法回避的挑战
（1）传统数据质量仅通过ETL方式执行
–即抽取、转换、加载，包括解析、模式分析等
–没有完全覆盖数据质量的基本性质
（2）挑战
–分布式环境中，如何保障全局数据的一致性、精确性、完整性
–流处理环境中，如何保证时效性，例如，时序一致性。
（3）在大数据中保证绝对的数据质量并不现实
–高维、异质、模糊、海量、多变
3、存储的老问题、新挑战：多副本、高并发、分布式索引、流式技算、磁盘压缩、集群管理等。
4、某些（核心）转变
（1）Hash大于扫描
（2）单副本转向多副本
（3）单阶段转为多阶段
（4）压缩不再解压
5、大数据分析的特点

类别	传统BI	数据科学&大数据分析
焦点	发生了什么	将要发生什么
数据	小规模、干净数据，简单的统计模型	大规模、多样化、无关联数据、语义模糊、复杂的预测模型
支持	因果分析：事件及其发生的原因	关联分析：利用多个弱关联数据源发现有潜在价值的结果

6、大数据要解决的主要问题
（1）监控动态流数据，跟踪变化趋势，而非仅仅考虑静态数据
（2）和数据科学家一起工作，而非仅依靠数据分析师
（3）将分析工具集成到核心业务和营运环节
7、可视化的挑战
将大规模数据中蕴含的信息、知识与规律，利用计算机软件更好地揭示出来

8、计算范型
（1）数据找程序 -> 程序找数据
（2）Scale Up -> Scale Out
（3）传统计算 -> 云计算 Virtual Machine & Multi Tenants
（4）CPU -> HPU (Crowdsourcing)

5 大数据生态系统

1、大数据生态系统

2、Hadoop的生态圈

3、Berkeley大数据处理平台（BDAS）

BDAS的优势
（1）综合性的解决方案：在统一的框架内开发大数据音乐
（2）高效的解决方案：BDAS的目标是快速处理大量数据

\	主流解决方案	BDAS解决方案	BDAS的优势
文件系统	HDFS	Tachyon	数据读写速度提高300倍
MapReduce	Hadoop	Spark	运行速度提高10-100倍
SQL查询	Hive	Shark	查询速度提高40倍
处理数据流	Storm	Spark Streaming	处理速度提高2倍
图运算	Hadoop	GraphX	运算速度提高10倍

6 大数据技术挑战

1、人们普遍认识到了数据“大”（Volume），不是数据科学面临的全部挑战，甚至不是主要挑战。来自不同数据源的、不同类型、不同语义（Variety）的数据集合的深度综合与融合问题远没有解决，同时，物联网、传感网、穿戴设备等机器数据的快速到达（Velocity），对数据处理的时效性提出了更大的挑战，除此之外数据隐私与可用性（包括数据质量）问题更是存在挑战
2、数据科学（包括大数据技术）的创新与探索刚刚起步，并行进在泥泞当中。