大数据时代的思考

参考文档：https://www.360docs.net/doc/a913738881-4.html

1、概念简介

随着互联网、移动互联网和各种智能终端的极速发展，各种数据无时无刻地生成，新数据的产生呈大爆炸趋势，人们也称当前为一个大数据时代或数字化时代；数据的价值逐步被重视和挖掘。大数据具备一些比较显著的特征：
1）规模性（Volume）
2）多样性（Varity）
3）高速性（Velocity）
4）价值性（Value）

2、应用场景

2.1、面临的挑战

1）法规要求必须保留更长时间的历史数据，以便更多的历史数据中更有效地分析各种业务变化的历史趋势，为未来业务发展提供科学依据；
2）企业的各种部门都需要对原始数据进行深入分析和挖掘，以便即时改进业务决策。

数据井喷式的增长，也给目前传统的分析系统带来了巨大挑战：

A：数据越来越多，超越了传统数仓的I/O极限；
B：分析查询性能低下，相应时间由原来的秒级延长到小时级甚至天；
C：传统分析系统无法基于海量数据进行数据分析和价值挖掘；
D：数据分析无法满足时效性要求，降低了数据的利用率；

高并发下的解决方案

IO瓶颈 + 扩展能力

3、架构设计

当然，某些传统分析数据库产品也意识到了行式数据库在分析领域的弊端，在行式数据库的基础上增加一些列式存储和压缩特性，以降低I/O消耗。然而，由于其执行引擎仍然是行式的，在执行查询的过滤、关联、分组等操作之前，仍然要把读出的列解压缩并组成行，对内存和CPU的消耗依旧很高，在大数据面青所获得的性能提升也比较有限。

某些传统分析数据库产品摒弃了传统的共享磁盘架构而采用MPP架构来增强水平扩展能力。然而，由于它们继承了传统数据库的执行引擎，仍然需要一个主节点来分析SQL语句、制定执行计划等，造成了主节点成为单点故障点和水平扩展障碍，线性水平扩展能力仍然有限。

4、资源壁垒

公有云、私有云
混合云
多云异构
OLAP
OLTP

4.1、平台迁移

4.2、调度监控