Hadoop Summit 2016欧洲峰会开幕Keynote回顾

2016年4月13日，都柏林的Liffey河畔，Hadoop Summit 2016在Convention会展中心盛大开幕。以下是Kyligence CTO李扬在现场为我们带来的开幕Keynote回顾。

在可容纳2000人的Auditorium大厅，爱尔兰风十足的打击乐和踢踏舞过后，Hortonworks总裁Herb Cunitz首先亮相。开场白很简单，除了强调与会人数和讲演场次的再攀新高，着重说明了为什么要在都柏林举办大会--因为大家最爱的Guinness黑啤酒的产地就在都柏林！

第一个Keynote来自Hortonworks CEO RobBearden，他的主题是“数据正在改变商业世界”。Hadoop技术走过了十年，大数据不再是象牙塔和实验室里的玩具，它已经能切实地创造商业价值，深切地改变商业世界。零售商通过大数据技术做精准市场预测，洞察物流效率，每年可以节省7000万美元系统开支，营收增长8%，利润增长3%。保险公司通过实时分析司机的驾驶模式，动态计算行驶风险并奖励安全驾驶，带来每年26亿美金的保险金增长，减少4%的理赔损失。

之后Hortonworks联合创始人Arun Murthy登台，从技术角度展望Hadoop平台。HDFS和YARN作为大数据的操作系统已经非常成熟，将来是中间件和上层应用百花齐放的年代。Apache Nifi是集群系统之间的胶水，能实时和可视化地操控数据的流转和对接。Apache Range和Apache Atlas一并可以实现基于标签的全局访问策略。最后YARN.NEXT技术可以根据应用的组装描述文件自动适配资源，部署集群应用，并自动伸缩，重新定义了Hadoop应用这一概念。原本的组件如Zookeeper，Solr，Search UI都弱化为应用的一个部分，不再是YARN.NEXT的一等公民。

此外EMC和微软也都做Keynote，展示各自公司的大数据解决方案。其中微软提出的Tiered HDFS可以根据数据的特性（比如活跃度）透明地在多种性价比不同存储介质之间移动数据，同时保证就近计算的原则。

最后Emer Coleman女士关于Technoethics（技术伦理学）的演讲将Keynote环节提升到了一个新的高度。大数据和人工智能技术一旦被滥用，将对整个人类社会造成及其可怕的后果，这不是科幻小说里的妄想，而很可能正在我们身边发生。我们应当立即行动，为技术伦理制定规范。

作者介绍：李扬，Kyligence联合创始人兼CTO，Apache Kylin联合创建者及项目管理委员会成员(PMC), 主创团队架构师和技术负责人，专注于大数据分析，并行计算，数据索引，关系数学，近似算法，压缩算法等前沿技术。曾任eBay全球分析基础架构部大数据资深架构师、IBM InfoSphere BigInsights的技术负责人，负责Hadoop开源产品架构，“杰出技术贡献奖”的获奖者、摩根士丹利副总裁，负责全球监管报表基础架构。