开源大数据周刊-第30期

摘要: 开源大数据周刊-第30期:阿里云E-MapReduce上的案例分享;重磅新闻,阿里云在CloudSort上夺冠;Beam,Flink,KV技术分享。

阿里云E-MapReduce实践

  • 泰为在E-MapReduce上的考量与实践
    阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户将数据在存储平台和计算平台之间进行输入输出,以满足不同业务类型的需要,所以对阿里云EMR充满期待。
  • HIVE MapJoin在E-MapReduce上的调优与处理总结
    HIVE被很广泛的使用,使用过程中也会遇到各种千奇百怪的问题。这里就遇到的MapJoin Local 内存不足的问题进行讨论,从问题描述、mapjion原理以及产生该问题的原因,解决方案做一下介绍,最后对该问题进行了进一步的思考,希望对解决该类问题的朋友有所帮助。

资讯

  • CloudSort 夺冠,阿里云性价比高出 AWS 保持的世界记录三倍
    重磅新闻。2016 年 11 月 10 日,Sort Benchmark 在官方网站公布了 2016 年排序竞赛 CloudSort 项目的最终成绩。阿里云以$1.44/TB 的成绩获得 Indy(专用目的排序)和 Daytona(通用目的排序) 两个子项的世界冠军,打破了 AWS 在 2014 年保持的纪录 4.51$/TB。这意味着阿里云将世界顶级的计算能力,变成普惠科技的云产品。
  • 2016年10月大数据投融资分析报告:精准营销最终将实现“无营销”的营销
    根据不完全统计,2016年10月大数据行业共计发生42起投融资事件,相比上个月环比增长24%,其中已披露具体金额的有39起,涉及金额33.83亿人民币。
  • 基于大数据技术的二手车交易服务商大搜车完成1亿美元融资
    11月15日,二手车交易服务商——大搜车宣布获得了C轮1亿美元融资,蚂蚁金服和神州租车共同参与了此次投资。大数据技术功不可没啊。
  • 大数据加持 自动化快递物流支撑电商千亿时代
    2016年天猫“双十一”全球狂欢节签收的第一单,物流反应速度之快,也创了新纪录。 反应速度提速背后,是大数据加持的结果。伴随着“双十一”电商狂欢进入第八个年头的快递物流行业,已经全面进入数据化、信息化、自动化发展路径,初步摆脱最初“双十一”时爆仓、损耗,累垮快递员的局面,而开始收获订单激增与口碑变好的双重福利。
  • MIT科技评论:阿里巴巴成为大数据变革者
    阿里已经成为一家大数据公司,阿里巴巴大数据价值不仅体现在数量上,更体现在数据的质量上,巨头推进大数据向前发展。
  • (技术)大数据统一的批处理和流处理标准Apache Beam
    Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员,这个项目的名称表明了设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。
  • (技术)深入理解Flink核心技术
    Flink项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统的开发者也能有所裨益。
  • (技术)大数据时代的9大Key-Value存储数据库
    各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。本文介绍了9种用于大数据处理的免费键值存储数据库。

你可能感兴趣的:(云栖社区开源大数据周刊)