开源大数据周刊-第13期

摘要： 本周周刊内容有：2016年6月份的hadoop Summit的见闻，数据可视化的理论实践，spark的一些精彩文章的推荐。

阿里云E-Mapreduce动态

E-Mapreduce团队

1.3.4版本 (已经发布)

• 升级jdk到1.8
• 升级Hadoop到2.7.2
• 添加python2.7.1及python3.4版本
• 添加numpy库
• 支持Presto、phoenix、jstorm、oozie
• 支持Hadoop跟Hbase混合部署
• 支持深圳、上海机房

1.4版本（正在研发）:

• 用户执行计划及集群运行状态自定义报警

1.4.1版本

• 集群整体运行情况的仪表盘
• 集群状态监控报警

资讯

从Hadoop Summit 2016看大数据行业与Hadoop的发展
总体来讲，Hadoop在各行各业得到了广泛的应用，在IOT、机器学习、实时方向是最近的热点。

从理论到实践，深谈大数据可视化
大数据的挑战在于数据采集、存储、分析、共享、搜索和可视化。本文的目的是通过介绍传统可视化方法及其在处理大数据时的扩展方法，来展现大数据可视化的前沿技术。同时讨论大数据可视化的挑战，并其取得的进步

spark结构化数据处理：Spark SQL、DataFrame和Dataset
spark的三种查询语言的详细对比。

Spark数据分析实战：大型活动大规模人群的检测和疏散
主要是以一个数据分析者的角度来与大家分享如何使用spark进行大数据分析。

spark流数据处理：Spark Streaming的使用
已经有越来越多的公司使用spark streaming，本文深入分析了spark streaming及在用的过程中遇到的问题，值得一看。

Spark大数据处理系列之Machine Learning
对spark mllib有一个简单的介绍，新入门的同学可以看下。

spark 应用程序性能优化|12 个优化方法
讲述了spark 12个性能优化的点，例如：avoid shuffle when possible、use reduceByKey instead of GroupByKey when possible等