【大数据】AI、IoT、区块链这些技术与大数据融合，大数据基础软件干货不容错过
作者：刘学习 | 小编：阿软
在IT产业发展中，包括CPU、操作系统在内的基础软硬件地位独特，不但让美国赢得了产业发展的先机，成就了产业巨头，而且因为技术、标准和生态形成的壁垒，主宰了整个产业的发展。错失这几十年的发展机遇，对于企业和国家都是痛心的。
当大数据迎面而来，并有望成就一个巨大的应用和产业机会时，企业和国家都虎视眈眈，不想错再失这一难得的机遇。与传统的IT产业一样，大数据除了应用的巨大市场机会以外，依然需要基础软硬件技术，来存储、处理、分析和利用这些数据。
那么，在大数据基础软件领域，中国处于什么位置？2017年全球的大数据基础软件有哪些看点？中国企业的表现又如何呢？接受中国软件网采访的中国Hadoop大数据厂商红象云腾的CEO童小军，向我们总结了2017年大数据基础软件方面的亮点、看点，让记者打开眼界，大家也确实不容错过。
红象云腾CEO童小军
大数据基础软件发展进入相对平稳阶段
目前，大数据产业还处于起步阶段，核心因素是数据没有被发现、整理和利用，大数据的价值还没有被充分的发掘。在国内，政府大数据的开放正在积极推进中，大数据交易的规则正在建立中，企业大数据的成功案例在逐渐增多。
相对于大数据产业，大数据基础软件经过10年特别是近几年的发展，已经渡过了起步阶段，进入相对平稳的发展阶段，在技术上已经可以满足大数据产业对数据存储、处理、分析、分发等的需求，正在朝更高性能、更高效率发展。
在市场格局上，国内的以Hadoop开源技术为核心的大数据基础软件领域，出现华为、星环、红象云腾三强鼎立的格局。三家公司的Hadoop技术和产品，让大数据从非常技术，很难商业化，发展到2017年Hadoop在互联网公司、政府部门、国防等领域规模部署，帮助企业与组织实现高效率的数据变现，并带动各种各样的大数据创业公司井喷式发展。
而在国外也出现了Hadoop 商业化的三驾马车Hortonworks、Cloudera和MapR，其中，Hortonwork和Cloudera先后上市，市值冲天，MapR也加快了上市步伐。近日，该公司完成了最后一轮融资，金额5600万美元，并已经将目光锁定在未来的IPO上。
童小军认为，资本青睐基于Hadoop 的大数据基础软件公司，国外这样，国内也不例外。目前资本投入还处于快速增长阶段。
五大技术与大数据结合，应用范围不断扩大
2017年大数据基础软件的五大技术与产品突破，进一步扩大了大数据基础软件的应用范围，具有非常积极的作用。
第一，在数据库方面，针对“流式处理”、“事件数据”以及“实时”等需求，出现了一家独立流式数据平台公司Confluent，并推出了业界第一个基于流式数据库平台Apache Kafka的企业级流计算平台。童小军认为，这为大数据基础软件发展指明了一个专业化发展的方向。
和大多数开发人员相同，你可能将自己系统的大部分数据保存在各种数据库中：关系型数据库（Oracle、MySQL和Postgres）或者新兴的分布式数据库（MongoDB、Cassandra和Couchbase），这些数据可能不容易理解为事件或者事件流。数据库中存放的是数据的当前状态，当前状态是过去的某些动作（action）的结果，这些动作就是事件。当谈论大数据时，这些事件流所表示的业务逻辑是传统的数据库没有反应出来的一面。
Apache Kafka是专门处理流式数据的分布式系统，具备良好的容错性、高吞吐量、支持横向扩展，并允许地理位置分布的流式数据处理。其流式数据平台有两个主要应用：首先是数据整合：流式数据平台搜集事件流或者数据变更信息，并将这些变更输送到其他数据系统，如关系型数据库、key-value存储系统、Hadoop或者其他数据仓库。
其次是流式处理：对流式数据进行持续、实时的处理和转化，并将结果在整个系统内开放。
第二，在物联网方面，Eclipse IOT推出的技术，让通过开源Hadoop技术和产品重新定义工业4.0成为可能。 Eclipse IOT可能不是第一个去研究物联网的开源组织，但是远在IoT家喻户晓之前，该基金会在 2001年左右就开始支持开源软件发展商业化。
Eclipse IOT的贡献是提供满足任何物联网解决方案的核心基础技术，通过使用开源技术，每个人都可以使用，从而可以获得更好的适配性。Eclipse IOT将物联网视为包括三层互联的软件栈。从更高的层面上看，这些软件栈（按照大家常见的说法）将物联网描述为跨越三个层面的网络。特定的实现方式可能含有更多的层，但是它们一般都可以映射到这个三层模型的功能上：一种可以装载设备如设备、终端、微控制器、传感器用软件的堆栈；将不同的传感器采集到的数据信息聚合起来并传输到网上的一类网关，这一层也可能会针对传感器数据检测做出实时反应；物联网平台后端的一个软件栈。这个后端云存储数据并能根据采集的数据比如历史趋势、预测分析提供服务。
童小军认为，物联网与大数据融合，为大数据在工业云领域的应用，打下基础，前景非常广阔。
第三，在数据仓库方面，新技术和产品不断涌现。其中，俄罗斯的“百度”——Yandex公司开源了一款高性能的分布式数据库ClickHouse，采用列式存储、多核并行化处理和向量化，它相比MySQL快数百倍，比Hive快200倍以上，比Vertica快5倍，支持实时数据写入，能够支持万亿级别的数据量。
同样，2017年8月，中国的“Yandex”——百度公司开源了分布式数据分析数据库Palo，该产品已经服务百度内部数十个项目。它基于列式存储、向量化执行、MVCC的实现，并且结合了谷歌mesa以及Impala的优势，号称比大部分数据库有5 到 10 倍的性能提升。
第四，在人工智能领域，虽然深度学习随着大数据的红利消耗殆尽，其局限性尤其体现在依赖大规模标注数据和难以有效利用先验知识等方面，其天花板日益迫近。
童小军认为，因为 AI 本身就是一种大数据的应用。特别是在对于 AI 的系统进行训练的时候，使用的数据越多，AI 系统就越先进。 Hadoop 和 AI 是非常适合、非常匹配的一项技术。人工智能逐渐回归焦点位置，主要原因可以归结为四点：数据、算法、计算力、平台。2017年，基于Hadoop大数据能力的人工智能平台呈现快速发展格局，AI开发平台开始提供易用的半自动化开发工具，方便数据与算法的结合，以提高效率。
如MapR宣布推出了一款名为Quick Start Solution（QSS）的新解决方案，专注于深度学习应用。MapR强调，QSS是一款分布式深度学习产品和服务，能够大规模训练复杂的深度学习算法。
作为大数据协同安全技术国家工程实验室牵头公司的360，开发了基于Hadoop大数据能力的人工智能平台XLearning。XLearning平台将大数据与深度学习相融合，基于Hadoop Yarn完成了TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用深度学习框架的集成，是典型的“AI on Hadoop”的实现。
红象云腾在CRH5.0 中引入了新的时下流行深度学习计算平台 RedDL，底层建立在 TensorFlow之上，并且与Yarn集成，实现统一资源调度管理。
第五，在区块链方面，大数据技术有了更多的用武空间。
童小军认为，一方面，区块链提供的是账本的完整性，数据统计分析的能力较弱。大数据则具备海量数据存储技术和灵活高效的分析技术，能够极大地提升了区块链数据的价值和使用空间。
特别是 BigChainDB 项目，结合来区块链和大数据两者的技术优势，支持超大规模的企业级别区块链数据库。在大数据的系统上使用区块链技术，可以使数据不能被随意添加、修改和删除。突破现有区块链在每秒交易笔数和数据量级等限度。
红象云腾2017年的五大突破
面对2017年，作为中国大数据基础软件三大巨头之一，红象云腾在2017年取得了5大重点突破。
第一，发布大数据基础软件CH5.0，把x86的应用生态带入到国产系统生态中。红象云腾的大数据基础平台产品CRHV5.0，为企业大数据实施提供一套完整的一站式大数据解决方案，将大数据技术带给更多中国企业。
它具有三大特点：
首先是支持5种CPU，包括主流的国产CPU。如IBM Power、ARM结构的飞腾和华芯通，基于MIPS的龙芯，基于Alpha的国产CPU申威，以及基于x86的国产CPU兆芯。同时取得基于这些CPU的服务器企业厂商级认证，如已经完成浪潮、中太、航天科工飞腾服务器等兼容性测试。
其次，支持红旗、中标麒麟、银河麒麟、普华等多种主流的国产服务器操作系统，当然也支持市场上主流的其他操作系统。
最后，红象云腾的CH5.0采用标准的API，可以将其旗下7大行业的应用，移植到国产CPU+OS系统上，并因为大量应用在x86系统上得到广泛应用，可以将x86的应用与生态，带入到国产生态系统中。
童小军认为，企业级应用需要对国产CPU和操作系统兼容性应用检测与验证。国产CPU和操作系统需要基础软件的支持，红象云腾的大数据基础软件首先实现了多主流国产CPU和操作系统的适配，未来将与国产CPU共进退。
第二，产业发展方向符合国家的产业政策，得到国家投资基金的投资。2017年7月，红象云腾获得1000万人民币Pre-A投资，投资方为华耀资本。此前，2014年4月，红象云腾获得了110万人民币天使轮融资，投资方为极客帮创投。华耀资本成立于2013年，立足于中国并面向全球投资培育伟大企业的私募股权基金管理平台，其中多支基金均获国家引导基金参股。直接管理和参与管理的基金规模超百亿元，主导投资的项目目前近百个。
第三，参与国家重点科技专项和重大工程。2017年，红象云腾加入中国卫星全球服务联盟，成为遥感协会理事单位，参与多项国家重大工程，提供大数据基础软件。同时在国家16项重大科技专项中，红象参与其中的多个重大专项，提供大数据基础软件，完成大数据存储和计算应用。
第四，国际合作蓬勃开展。红象云腾与IBM合作，在其基于最新的Power9服务器上，首先完成兼容检测。与Mellanox合作，在其最新IB RDMA加速芯片上，实现兼容性测试。走出国门，和美国大数据技术实验室合作，开展研发工作。
第五，在大数据基础软件上，实现了AI功能的布局，并推出相关的产品和应用。红象云腾与新云东方共建大数据和人工智能实验室，双方将在国家全面支持IT系统自主可控和国产化基础架构稳步发展的背景下，联合构建国内大数据基础软硬件生态，搭建更适合国家安全要求的“安全稳定，坚若磐石”的大数据、人工智能生态系统，为企业和政府提供一站式的，面向应用领域优化的创新解决方案。最近，实验室与清华大学合作，完成了人脸表情识别的案例。
童小军认为，随着互联网的发展，共享经济盛行，各行业数据激增，大数据被投入更多领域的建设如社会管理、金融科技、物联网、移动互联网等，与构成依赖关系的云计算、人工智能、物联网、区块链等技术协同，共同促进技术的创进步与产品创新。
中国软件网
专注有深度的
互联网软件趋势分析
作者
刘学习
前15年，专注于服务器、存储以及云计算
后5年，爱上基础软件、管理软件，以及国产化系统
冀望与企业一起成长，与产业一起发展！
微信：Fiyinghare
作品概览
云上安全的舞步，能否跟上云计算的节奏？
西安工业云上线，工业云平台搭建有哪些真金白银?
PaaS要热起来了！云计算最大的看点是应用！
报告研究文章
CRM之一 | CRM之二 | CRM之三
移动办公之一 | 移动办公之二 | 移动办公之三
HR应用之一 | HR应用之二 | HR应用之三
扫描二维码，关注我们吧