hadoop 大数据技术会议见闻

    分享下这次在北京参加本月12月5, 6日举行的中国大数据技术会议的一些见闻和感触。大数据技术大会前身是2008年开始 每年举办一次的hadoop技术会议。这几年随着hadoop平台在中国互联网等行业应用的越来越广泛,以及这两年大数据这个名词越来越热,各行业都掀起了大数据概念潮流,于是hadoop技术大会也随之改名为大数据技术大会,旨在为广大开发者提供一次大数据行业的讨论交流学习的机会,而不仅仅只局限于hadoop分布式处理这个话题,而从目前的形式看,各行业的数据量呈爆炸式增长,如何处理大数据确实也是接下来许多公司有待挖掘的金矿,同时当前许多分布式数据分析处理技术也如雨后春笋一般冒出来,Tez,Spark,Impala,MPI...越来越的各种处理模型让我们眼花缭乱,同时hadoop作为一种应用广泛的批处理计算模式,它本身也发生了巨大的变化,hadoop本身的进化 一定程度上代表了当前大数据处理技术的发展方向,从单一的大数据处理模型上升到统一的分布式集群管理平台,达到资源的优化分配以及多种数据处理模型的并存,作为一名hadoop 2.0 即Yarn平台下的开发人员以及机器学习的爱好者,简要的说下个人在本次大数据会议上的一些见闻和获得启示。

      当前大数据这个概念,不仅仅局限在我们熟悉的互联网行业,其他许多行业内的一些领先的企业,如通信行业的移动 华为等,都在会议上提出了各自的大数据处理方案。像移动,将目光不仅仅局限在大数据量的存储和统计,而且在此基础上基于机器学习领域的一些聚类,关联规则 等技术,为移动用户推出更加精准的电信增值业务。从这一点可以看出,大数据时代 机器学习 数据挖掘 深度学习等 在深度挖掘大数据的内在价值 将会有更大的前景和应用,因此一些基于分布式模型的数据挖掘 机器学习平台应运而生,有基于mapreduce批处理计算的mahout平台,也有基于分布式内存计算模型的spark 等等,而在本次大会上,spark是yarn2.0之外的另一个备受瞩目的新计算模型。图计算,迭代计算 流计算 等等 似乎spark天生就很强大 有点当前苹果智能机的概念,各种功能集于一身。前段时间工作之余开始spark的学习,之后会将个人的一些学习中的见解和问题放在博客中,期待各位的讨论交流。

     YARN,大家已是非常熟悉了,随着hadoop 2.2 稳定版的发布 越来越多的公司和个人开发者使用YARN平台。未来的趋势,mapreduce spark  storm mpi等等各种处理模型 将以application的模式 集成于yarn平台,有yarn进行计算资源的管理。yarn将更好地发挥分布式操作系统的角色。

   传统的机器学习 数据挖掘也已进入了分布式计算的时代,这就要求我们的处理平台能够很好地支持图计算 迭代计算等等,而传统的mahout 由于mapreduce的运行机制所限制,在流计算 迭代计算以及时间消耗上存在天生的不足,因此 伯克利大学研发的spark内存计算系统,我个人相信会有广泛的前景,目前spark 就想hadoop 刚在国内开始兴起时那会,许多方面还有待完善,但未来的数据挖掘  深度学习等领域一定有spark的一席之地。

     总结来说,

  • YARN作为下一代hadoop平台,多种计算模型即将随由YARN来完成整合资源。
  • 硬件厂商将更好的结合hadoop来提升性能。
  • 准实时的时代即将到来,也可以说spark等基于内存的分布式时代即将到来。

个人的水平有限  仅此寥寥数语  简述一下个人的本次会议的见闻

 

 

 

 

 

你可能感兴趣的:(hadoop 大数据技术会议见闻)