FusionInsight，让数据“慧”说话

文/范昭赋 华为弹性计算云Marketing部主任工程师

大数据时代来了

有人说现在是个信息大爆炸的时代，其实用“爆炸”来形容当今信息时代的特征是不确切的，“爆炸”不仅意味着多（多的容器装不下了），还意味着无法控制和毁灭。我们当然不能让信息“爆炸”，而要为我们所用，化危机为财富。

信息的载体是数据，新摩尔定律表明，每18个月所产生的数据相当于有史以来产生的数据的总和，也就是说每一年半，数据就翻番。移动互联网、物联网等成为海量数据的催化剂，传统的数据处理技术已渐渐对海量数据无能为力，如果不想让海量暴增的数据失控，我们就需要对其进行“治理”，治理包括管理、开发、利用，要从大数据中挖掘出有价值的东西，为人类创造更多的智慧，这就是所谓的“大数据技术”，其核心就是要让大数据“慧”说话（说出有智慧的话）。

大数据技术是一个笼统的概念，它包括了海量数据的分布式存储技术、面向海量数据查询和分析的并行计算技术、各种海量数据的挖掘算法、行业海量数据建模、各种使得大数据价值变现的应用，以及承载海量数据的硬件基础设施等。大数据技术构成了一个完整的信息生态链，将各行各业更紧密地联系起来，“开放”、“融合”、“创新”成为大数据时代出现频率最高的词汇。

如今，大数据技术已经在各行各业开始应用，特别是大型互联网公司、运营商以及政府和金融等行业。相信5~10年内大数据技术的应用会全面铺开，充斥到社会的每一个角落，并且成为未来IT的基础架构。因此，确切地说，我们这个时代不是信息“爆炸”的时代，而是一个“大数据时代”！

运营商要向IT和互联网转型，金融机构、政府组织也要向IT和互联网转型，全球最大的通信设备提供商——华为公司也在向IT和互联网转型。实际上，将来的每一个企业首先都是一个互联网企业。用马云的话说，企业在大数据时代和技术变革之前，必须要掌握对于未来的研判，重塑自己的文化基因和组织架构，必须“有所为有所不为”，去做一个社会化的企业。我的解读就是企业要找准自己在大数据生态链上的位置，大数据技术必将把全社会各行业组织成一个有机的整体，任何企业都不能独立于这个肌体之外。

FusionInsight：完全开放的大数据平台

在大数据领域，华为公司当然不会袖手旁观。为社会创造价值、丰富人们的沟通和生活、成就客户是华为人的使命。从2009年开始，华为在大数据领域投入了大量的资金和人力进行研发，2011年，华为大数据解决方案横空出世，最初命名为Galax HD，2013年改名为FusionInsight Hadoop。到目前为止，FusionInsight已在全球拓展了100多个大数据项目，有40多个项目已经在交付，其中10多个已经在商用。客户主要分布在电信、金融、科研、公安和政府等行业。

FusionInsight是企业级大数据存储、查询、分析的统一平台，为企业快速构建海量数据信息处理系统，通过对各类海量数据信息实时和非实时的分析和挖掘，帮助企业从海量数据信息中获取到真正的价值，及时洞察和决策新的机会与风险。

FusionInsight是完全开放的大数据平台，可运行在任意标准的x86服务器上，无需任何专用的硬件或存储，并针对金融、运营商等数据密集型行业的运行维护、应用开发等需求打造了高可靠、高安全、易使用的运行维护系统和全量数据建模中间件，让企业可以更快、更准、更稳地从各类繁杂无序的海量数据中发现价值。

Google虽然是大数据技术的鼻祖，但Apache Hadoop开源社区却是最有影响力的开源大数据技术的孵化器，大数据要走向开放、融合，开源是必然的趋势。华为将大数据明确为ICT融合时代公司的战略方向并加大投入，在美国以及中国香港、深圳、北京、西安汇集了各路大数据专家，持续回馈并引领Apache Hadoop开源社区，对Apache Hadoop社区的贡献在所有IT设备商中排名第一，持续推动社区的开放与发展。

华为FusionInsight团队具备强大的本地化工程服务能力，不仅可以帮助客户定位大数据内核级问题，还针对行业应用开发了数据服务和能力开放使能环境，兼容客户原有开发和使用环境，让大数据更易使用并产生价值。FusionInsightHadoop发行版紧随开源社区的最新技术，快速集成最新组件，并在可靠性、安全性、管理性方面进行了企业级的增强和持续改进，始终保持技术领先。而且FusionInsight Hadoop保持了100%的开放性，决不使用私有架构和组件。

FusionInsight Hadoop的企业级增强

FusionInsight Hadoop的企业级增强主要表现在以下几个方面：

● 高可靠性

FusionInsight Hadoop所有管理节点组件均实现HA；HBase集群实现1000公里以上的异地灾备；表级集群备份、全量、增量、日志追赶、数据恢复（对本地存储的业务数据进行完整性校验，在发现数据遭破坏或丢失时进行自恢复）。

● 高安全性

FusionInsight Hadoop实现了基于用户和角色的统一认证体系，实现对角色进行权限管理和审计，WEBUI服务还支持单点登录认证。对HBase的权限控制支持HBase库、表、列族和列等不同级别。Hive还支持合法用户之间的数据安全隔离，保障用户数据安全；支持合法用户之间的授权访问，允许用户数据交叉访问。

FusionInsight还可以对文件系统进行加密，Hive、HBase可以对表、字段加密，集群内部用户信息禁止明文存储。加密算法插件化，可进行扩充，亦可自行开发，并且加解密过程业务完全不感知。

高安全性还体现在对操作系统的安全加固，通过裁剪不必要组件，工具自动测试扫描，在业务节点、管理节点和用户管理Portal等组件采取业界标准来实现操作系统加固，保证基础设施的安全性。

● 高性能

针对数据密集型行业传统数据库、数据仓库的大量关联表设计，创新地实现了CTBase方案。CTBase可以将多个具有类似功能或存在关联的业务表聚簇到一个HBase大表中，可提升一些关键场景的多表关联查询性能。另外，CTBase还提供了二级索引，RowKey Schema的维护管理等关键能力。同时，CTBase对HBase原生态API进行了封装，提供更友好的二次开发界面。

FusionInsight Manager（FusionInsight运行维护中心）支持系统双机和分布式并行处理，可10分钟完成集群安装；全自动化在线运行维护、自定义Dashboard、自动化的应用开发助手，让企业可以轻松地管理大数据系统；提供向导式升级、回退的界面操作，当升级过程异常时，支持自动安全回退，也支持观察期手工触发安全回退，可以在6分钟内完成Hadoop集群升级。

FusionInsight Hadoop还提供了北向接口，实现与企业现有网管系统集成；当前支持syslog接口，接口消息可通过配置适配现有系统；整个Hadoop集群采用统一的集中管理，未来北向接口可根据需求灵活扩展。

● 解决方案配套能力

为让开发者更方便地使用大数据技术，在开源Hadoop平台基础上，华为FusionInsight Hadoop围绕数据的采集、分析和消费，在典型场景如数据中心运维日志分析、历史数据查询、实时事件处理、客户特征画像等形成了系列解决方案，并跟随客户业务的发展不断丰富。

FusionInsight总体架构图

绽放智慧的光彩

华为FusionInsight大数据平台可以为电信、金融、政府等行业大型企事业单位量身定制企业级的大数据解决方案，本着让数据“慧”说话的目标，对企业数据全量建模、深度分析、深刻洞察，为企业的精准营销、实时决策、客户维系、数据开放等各种应用场景提供全面的技术保障。

用任正非总裁的话讲，大数据时代也是大机会时代，但是华为不可以机会主义，华为人总是本着求实创新的精神，不惜10年磨一剑。经过华为人的努力，FusionInsight必将成为大数据领域的一颗耀眼明珠，在茫茫的数据海洋中，绽放属于它的智慧的光彩。

（更多华为资讯请关注华为开发者社区，华为自己的对外开放门户:http://developer.huawei.com/cn/ict/ ,不要问我叫啥，别人都叫我雷锋）