大数据时代：搭建自己的大数据平台可以很容易！

一、基础应用篇：构建历史数据查询系统

最初开始尝试大数据技术的客户，除互联网行业外就是电信行业的客户了。不管从是IT技术储备还是从需求的迫切程度来看，电信行业的客户都具有应用大数据技术的强烈驱动力：一方面电信业内部系统每时每刻都在产生大量的数据，如详单数据、计费数据、活动日志数据等；另一方面电信行业的客户拥有大量精干的技术团队，积累了强大的技术力量，为新技术的探索和应用打下了良好的技术基础。客户最初的想法是通过搭建大数据平台解决现有海量历史数据的存储问题，同时又能够利用 Hadoop 的分布式处理能力满足数据的查询需求，为现有在线数据查询系统进行分流。对于运营商来说，SQL语言已经是通用的数据访问标准：很多已有的应用通过SQL访问数据，现有技术人员对SQL语言的使用已经得心应手，于是通过SQL来访问保存的历史数据成为首选。因此不难看出为什么最终客户会选择BigSQL：BigSQL提供了SQL2011标准的数据访问接口，可以帮助客户实现如下图所示的历史数据查询功能。

二、进阶应用篇：实现增强型数据仓库平台

让我们再来看看某汽车制造行业的客户如何使用BigInsights。该客户传统的数据库仓库系统已经运行了很多年，主要支撑现有营销业务等分析型应用。随着互联网的飞速发展，现有分析系统日益显示出局限性：现在客户可以从外部数据源获取越来越多的数据，如从保险公司获取的汽车保险数据、从互联网论坛获取的用户关于车型的评价和使用反馈等数据，但是由于传统数据仓库平台只能将数据模式化、转换成结构化数据后才能存储和分析，导致没有办法直接利用这些宝贵的用户数据。在进行了技术调研之后，客户提出了利用大数据技术整合现有数据、扩充现有营销平台能力，并最终建立以客户为核心的精准营销系统的思路。在IBM的帮助下，客户基于IBMBigInsights产品搭建了增强型数据仓库平台：在BigInsights平台里存储和处理各种内外部数据，并通过 BigSheet 等工具进行预览、探索数据，再通过进一步数据分析将提取出来的高价值结构化信息返回到原始数据仓库。

三、高级应用篇：综合大数据分析平台

大数据分析的魅力在于可以使用一系列高级数据分析技术，如数据建模分析，进行数据挖掘、深度分析，从现有数据中获取高价值的信息。我们在银行业的某客户就是基于IBM解决方案构建了综合大数据分析平台：基于IBM BigInsights搭建基础大数据平台，在平台内部保存和处理从各个渠道得到的数据，通过专用的指标生成工具对数据进行处理，处理结果用于建模分析；数据分析方面，基于IBM SPSS Modeler定制营销分析模型，并通过SPSS AS(Analytic Server)管理运行在BigInsights内部的各项分析任务，最终分析结果可直接导出至营销平台使用。

四、总结：

通过以上应用案例的简单介绍，可以看出其实利用大数据技术可以很容易：从自己的实际需求出发，确定业务场景再选择不同的组件，依靠成熟的商用大数据产品可以快速搭建能为自己所用的大数据平台, 让大数据技术真正为我所用。IBM BigInsights已经打包好常用的各类组件，只等你来试试了！包含的开源组件：Ambari、Avro、Flume、Hadoop、HBase、Hive、Knox、Oozie、Pig、Parquet、Spark、Snappy、Sqoop、Solr、Slider、Zookeeper；IBM产品组件：Big SQL、BigSheets、Text Analytics、Machine Learning、Big R、POSIX Distributed Filesystem、Adaptive MapReduce 、Multi-tenant scheduling。

有些客户一直担心IBM的产品价格不菲？别担心，在 IBM BigInsights V4 产品模块中，IBM提供了两个完全免费的产品包：

BigInsights快速启动模块包含BigInsights 大部分功能，可在非生产环境进行部署和体验； IOP(IBM Open Platform)模块包含了 Apache Hadoop 社区中主流的大数据组件，可帮助您快速搭建自己的大数据环境。完整的版本和模块说明如下图所示：