开源大数据周刊-第38期

摘要： 本期关注：梨视频基于阿里云E-MapReduce搭建视频推荐系统的实践，Apache Eagle成为新的顶级项目，英特尔开源的分布式深度学习库BigDL，Hadoop 3.0新功能测评

阿里云E-Mapreduce动态

• E-MapReduce 2.3.1镜像版本（已发布）

  • 基础镜像CentOS 6.5内核版本升级到2.6.32-642
  • 支持Hadoop YARN Job failover

资讯

• 大数据的寒冬已至，谁将倒下，谁成巨人？

本文就近期百分点和亚信数据内部人事调整的新闻出发，提出了“大数据寒冬已至”的观点，而过度竞争是大数据寒冬的主要因素。对于未来大数据公司如何生存，文章中提出了产品聚焦、成本控制等方向，为度过寒冬做准备。

• 大数据第一案，微博为什么赢了?

微博赢得了“脉脉非法抓取使用微博用户信息”案件的胜利，作者认为脉脉主要输在以下几点：1、非法获取用户信息，并用于商业化；2、行为构成了不正当竞争；3、脉脉没有起到保护用户信息的作用。此案对行业也有警示作用：各平台方都有责任推动数据生态的繁荣，积极建立数据使用规则，对那些滥用数据，过度使用数据额行为进行制止。

• Apache软件基金会宣布Apache Eagle成为顶级目

Apache软件基金会正式宣布Eagle从Apache孵化器项目毕业，正式升级成为顶级项目。Eagle是由eBay开源的大数据分布式实时监控和预警解决方案，已被应用于eBay，Paypal，1号店等公司。以Hadoop为代表的开源大数据解决方案正在朝着安全、稳定、可观测等企业级需求方案演进。

技术

• 梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践

梨视频是一款脱胎于传统媒体的创业型短视频软件，在视频领域异军突起，本文介绍了如何通过阿里云快速构建核心的数据平台和推荐系统，实现业务落地，整套系统利用ECS，OSS，SLS，EMR，Redis，RDS全套产品搭建完成，数据流全打通。

• 基于Docker的京东大数据实时计算平台

文章介绍了京东公司内部使用Storm平台时遇到的问题，比如用户资源需求多样复杂、大集群维护、成本节省等，以及如何使用docker技术对storm进行改造，达到了用户申请即可用、配置个性化、大规模集群的要求，操作高效且自动化。

• 英特尔开源分布式深度学习库BigDL：支持高性能大数据分析

近日，英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库 BigDL，其可以利用已有的 Spark 集群来运行深度学习计算，并且还能简化从 Hadoop 的大数据集的数据加载。在 Xeon 服务器上的测试表明BigDL相比于Caffe、Torch 或 TensorFlow 等开源框架实现了显著的速度提升。其速度可与主流的 GPU 相媲美

• Hadoop 3.0 纠删码之性能评测

Hadoop 3.0.0-alpha1 新版本中增加的主要功能之一是纠删码技术，本文先简单介绍纠删码技术，然后主要评测纠删码技术的性能，以及纠删码技术和 HDFS 默认3备份技术的性能比较。