大数据特征（4V + 1O）
- 数据量大（volume）：第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。
- 类型繁多（Variety）：第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
- 价值密度低（Value）：第三个特征是数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。
- 速度快时效高（Velocity）：第四个特征数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。
- 数据是在线的（Online）：数据是永远在线的，是随时能调用和计算的，这是大数据区别于传统数据最大的特征。现在我们所谈到的大数据不仅仅是大，更重要的是数据变的在线了，这是互联网高速发展背景下的特点。比如，对于打车工具，客户的数据和出租司机数据都是实时在线的，这样的数据才有意义。如果是放在磁盘中而且是离线的，这些数据远远不如在线的商业价值大。
新的数据处理技术、产品和创新
为了应对数据处理的压力，过去十年间在数据处理技术领域有了很多的创新和发展。除了面向高并发、短事务的OLTP内存数据库外（Altibase， Timesten），其他的技术创新和产品都是面向数据分析的，而且是大规模数据分析的，也可以说是大数据分析的。
在这些面向数据分析的创新和产品中，除了基于Hadoop环境下的各种NoSQL外，还有一类是基于Shared Nothing架构的面向结构化数据分析的新型数据库产品（可以叫做NewSQL），如：Greenplum（EMC收购），Vertica（HP 收购），Asterdata（TD 收购），以及南大通用在国内开发的GBase 8a MPP Cluster等。目前可以看到的类似开源和商用产品达到几十个，而且还有新的产品不断涌出。一个有趣的现象是这些新的数据库厂商多数都还没有10年历史，而且发展好的基本都被收购了。收购这些新型数据库厂商的公司，比如EMC、HP，都希望通过收购新技术和产品进入大数据处理市场，是新的玩家。SAP除了收购Sybase外，自己开发了一款叫HANA的新产品，这是一款基于内存、面向数据分析的内存数据库产品。
这类新的分析型数据库产品的共性主要是：
架构基于大规模分布式计算（MPP）；硬件基于X86 PC 服务器；存储基于服务器自带的本地硬盘；操作系统主要是Linux;拥有极高的横向扩展能力（scale out）和内在的故障容错能力和数据高可用保障机制；能大大降低每TB数据的处理成本，为“大数据”处理提供技术和性价比支撑。
总的来看，数据处理技术进入了一个新的创新和发展高潮，机会很多。这里的主要原因是一直沿用了30年的传统数据库技术遇到了技术瓶颈，而市场和用户的需求在推动着技术的创新，并为此创造了很多机会。在大数据面前，越来越多的用户愿意尝试新技术和新产品，不那么保守了，因为大家开始清晰地看到传统技术的瓶颈，选择新的技术才有可能解决他们面临的新问题。
现在的总体趋势是在数据量快速增长、多类数据分析并存的需求压力下，数据处理技术朝着细分方向发展，过去30年一种平台满足所有应用需求的时代已经过去。我们必须开始根据应用需求和数据量选择最适合的产品和技术来支撑应用。世界数据处理市场格局正在发生革命性的变化，传统数据库（OldSQL）一统天下变成了OldSQL+NewSQL+NoSQL+其他新技术（流、实时、内存等）共同支撑多类应用的局面。在大数据时代，需要的是数据驱动最优平台和产品的选择。
MPP关系型数据库与Hadoop的非关系型数据库
大数据存储技术路线最典型的共有三种：
第一种是采用MPP架构的新型数据库集群，重点面向行业大数据，采用Shared Nothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。
这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析，目前最佳选择是MPP数据库。
第二种是基于Hadoop的技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，例如针对非结构化数据的存储和计算等，充分利用Hadoop开源的优势，伴随相关技术的不断进步，其应用场景也将逐步扩大，目前最为典型的应用场景就是通过扩展和封装Hadoop来实现对互联网大数据存储、分析的支撑。这里面有几十种NoSQL技术，也在进一步的细分。对于非结构、半结构化数据处理、复杂的ETL流程、复杂的数据挖掘和计算模型，Hadoop平台更擅长。
第三种是大数据一体机，这是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。
数据仓库的重要性
在互联网高速发展之前，无论是电信运营商，还是大银行，保险公司等都花费了巨额资金建立了自己的企业级数据仓库。这些仓库主要是为企业决策者生成企业的一些关键指标（KPI），有的企业有几千张、甚至上万张KPI报表，有日表，周表，月表等等。这些系统有几个主要特征：
技术架构主要基于传统RDBMS + 小型机 + 高端阵列 （就是大家说的IOE），当然数据库有部分DB2，Teradata等。
报表基本都是固定的静态报表，产生的方式是T+1 （无法即时产生）。
数据量增长相对缓慢，DW的环境变化很少。
最终用户只能看汇总的报表，很少能够基于汇总数据做动态drilldown （钻取）。
多数领导基本上认为花了很多钱，但看不出是否值得做，有鸡肋的感觉。最后大家对大量的报表都视而不见了。
这类系统属于“高富帅”，是有钱的企业给领导用的。
最后，目前多数企业和部门根本就没有数据仓库。其实大家对传统数据的分析还没做得太好、还没有普及，现在又遇上了大数据。
数据仓库对企业是真正有用的，其关键还是如何把数据用好。
数据处理技术的核心问题到底是什么？
其实我们一直面临着数据处理中最核心、最大的问题，那就是性能问题。性能不好的技术和产品是没有生命力的。数据处理性能问题不是因为大数据才出现，也不会有了大数据技术而消失。处理性能的提升将促进对数据价值的挖掘和使用，而数据价值挖掘的越多、越深入，对处理技术要求就越高。
目前的数据仓库只能满足一些静态统计需求，而且是T+1模式；也是因为性能问题，运营商无法有效构造超过PB级别的大数据仓库，无法提供及时查询、自助分析、复杂模型迭代分析的能力，更无法让大量一线人员使用数据分析手段。
今天如果做“大数据”数据仓库，运营商面临的挑战比上个10年要大的多。目前没有单一技术和平台能够满足类似运营商的数据分析需求。可选的方案只能是混搭架构，用不同的分布式技术来支撑一个超越PB级的数据仓库系统。这个混搭架构主要的核心是新一代的MPP并行数据库集群+ Hadoop集群，再加上一些内存计算、甚至流计算技术等。
大数据需要多元化的技术来支撑。当前数据处理对企业的挑战越来越大，主要是下面几个原因：
第一个原因是数据量已经是上一代的一个数量级了，1个省份级运营商1年就可超越1PB结构化数据。
第二个原因是“大数据”关注的更多是用户行为、群体趋势、事件之间的相关性等，而不仅仅是过去的KPI，。这就对数据分析平台对数据的分析能力和性能提出了新的要求和挑战。
总结——新型MPP数据库的价值
技术：基于列存储+MPP架构的新型数据库在核心技术上跟传统数据库有巨大差别，是为面向结构化数据分析设计开发的，能够有效处理PB级别的数据量。在技术上为很多行业用户解决了数据处理性能问题。
用户价值：新型数据库是运行在x-86 PC服务器之上的，可以大大降低数据处理的成本（1个数量级）。
未来趋势：新型数据库将逐步与Hadoop生态系统结合混搭使用，用MPP处理PB级别的、高质量的结构化数据，同时为应用提供丰富的SQL和事务支持能力；用Hadoop实现半结构化、非结构化数据处理。这样可同时满足结构化、半结构化和非结构化数据的处理需求。
下图是南大通用正在做的大数据处理平台架构图，将逐步把MPP与Hadoop技术融合在一起，为用户提供透明的数据管理平台。
参考：# 三种最典型的大数据存储技术路线