大数据技术全解之三分虚拟化技术、七分分布式管理、十二分大数据

    三分虚拟化技术、七分分布式管理、十二分大数据

       谷歌（Google）利用大数据技术在短短十多年内将寂寂无名的草根企业迅速打造成为全球著名的IT企业，这段商业传奇将全球的目光都聚焦到了大数据上，人们一致认为大数据时代已不可阻挡地到来了，任何个人和组织都将无法逃避大数据时代带来的挑战。眼下大数据已成为全社会关注的热点，政府、学校、企业等都积极投身于对大数据的讨论、研究和建设中，因为人们都深刻地认识到，大数据必将改变社会的未来。

      在大数据时代，企业信息化建设该如何借助大数据技术来支撑商业模式、业务模式以及经营模式的创新和变革，以适应时代变化的需要，是当下企业最迫切需要解决的问题。早在20世纪80年代，美国著名学者诺兰就提出了著名的企业信息化建设六阶段的诺兰模型，模型中指出了数据管理和数据治理是企业信息化建设的最高阶段，在这个阶段，企业数据的发展和企业的发展是同步的。在诺兰模型提出30年后的今天，大数据技术的出现在证明了诺兰的先见性的同时，也为企业信息化建设向高级阶段迈进奠定了坚实的技术基础。

      “三分虚拟化技术、七分分布式管理、十二分大数据”将是企业在大数据时代下信息化建设的指导思想。作者遵循这一思想，重点阐述了企业如何利用开源的大数据相关产品来进行企业大数据系统的设计和开发。企业可以通过本书所描述的方法，在现有信息化建设的基础上快速构建出企业大数据系统。

      《大数据技术全解》国内首本讲清大数据系统研发全流程图书，由6篇共24章组成：

      基础篇重点讲述企业的大数据从哪里来、如何存储、怎样加工和可以用到哪里去的问题。该篇力图揭开大数据的神秘面纱，让读者尤其是企业的信息建设管理者清楚大数据和大数据技术并不神奇，离人们并不遥远。

      技术篇主要围绕着HDFS（分布式文件系统）、MapReduce分布式编程框架和HBase分布式数据库系统这三个大数据的核心技术，分别对其实现原理、开发方法和具体应用进行讲述。这三大技术是整个大数据的核心，清楚其原理对大数据的驾驭会有很大帮助

      设计篇以一个企业大数据系统为例，详细阐述其逻辑架构、物理架构、数据架构、运行架构、集成架构和开发架构等内容。读者可以发现大数据系统的架构与传统的企业管理信息系统并没有太大的不同，只是在个别层次和局部细节上有变化，而大数据的神奇之处正体现在这些地方

      安装篇讲述如何利用开源的HDFS、HBase、ZooKeeper、Pig、Hive、Chukwa这几个系统来搭建一个企业的大数据库系统。只要按照安装篇中描述的方法，就可以迅速搭建出一个大数据系统的运行环境。不用花费一分钱，就能构建出一个大数据运行系统，这对企业来说是一件非常向往的事

      开发篇是开发人员最关注的部分，作者针对HDFS、HBase、ZooKeeper、Pig、Hive、MapReduce这些系统给出了详细的开发过程，同时提供了大量的代码范例。

      实践篇中给出了企业大数据盘系统和Hadoop日志系统的开发实例。在实例中按照书中讲述的设计和开发方法，对每一个系统的开发背景、体系架构、功能结构、代码开发进行了描述。这两个例子实际上是本书设计和开发方法的具体应用。当企业提出大数据系统的相关需求时，读者可以参照这些方法进行大数据系统的开发。

本文节选自《大数据技术全解：基础、设计、开发与实践》，杨巨龙 编，电子工业出版社