开源大数据周刊-第41期

原文链接： https://yq.aliyun.com/articles/70754

阿里云E-MapReduce动态

• 云数据库HBase公测开始
• EMR产品价格全面优惠，价格和ECS自建一致

资讯

• Spark Summit East 2017

Spark Summit East 2017 recap

• 阿里云VS亚马逊AWS：两者之间到底有多大差距？

随着阿里巴巴与亚马逊公司先后发布2016年第四季度的财报，云计算鼻祖亚马逊AWS与云计算新贵阿里云最新业绩之间的比较又成为了云计算领域的一个热点。亚马逊AWS季度销售额达到35亿美元，全年销售额达到122亿美元，两个数字都创下历史新高；阿里云单季度营收达到2.54亿美元，连续第7个季度保持三位数增长。一家在业绩上独领风骚，一家在增长的跑道上极速狂奔。虽然两家公司都是云计算领域的明星企业，但两者之间显然存在着差距。这种差距到底有多大？

• 乐视云基于Kubernetes的PaaS平台建设

本次分享主要介绍乐视云两代PaaS平台的变迁过程，着重介绍第二代PaaS平台LeEngine的架构设计和遇到的问题。

技术

• 谷歌发布新的全球分布式关系数据库服务：Cloud Spanner

谷歌今天宣布推出Cloud Spanner的测试版，这是一种新的全球分布式数据库服务，面向关键任务应用程序。Cloud Spanner加入了谷歌其他基于云的数据库服务的阵营，比如Bigtable、Cloud SQL和Cloud Datastore，不过其重大的区别在于，让开发人员可以同时享用传统关系数据库和NoSQL数据库两者的最大优点――也就是说，事务一致性和易于扩展性。

• Spark上的深度学习框架再添新兵：Yahoo开源TensorFlowOnSpark

Yahoo Big ML团队宣布开源TensorFlowOnSpark，他们用来在大数据集群的分布式深度学习最新的开源框架。

• HDFS NameNode重启优化

在Hadoop集群的整个生命周期里，由于优化参数、Patch、升级等种种原因难免需要重启NameNode甚至全集群的情况，其中NameNode重启尤其比较频繁。不管是重启NameNode或者整个集群，快速的的重启会极大提升运维操作效率。 本文基于Hadoop-2.x和HA with QJM，通过梳理NameNode的重启流程，并在此基础上，基于社区当前架构和系统设计，提供几个加快NameNode重启的重要关注点，其中包括了社区已成熟的一些Patch及相关参数优化，虽然实现逻辑都很小，但是实践中的收益非常明显。

• Hadoop 3中的磁盘管理大招解密

本文深入研究 HDFS 磁盘平衡的新特性，这是 Hadoop3 中加入的一个特性。

欢迎加入阿里云开源大数据交流钉钉群

版权声明

信息都是来自互联网，都给出了原文的链接，如果侵权，请联系我们，我们负责删除。

阿里云E-MapReduce团队 出品