hadoop3.0x 后要比spark快10倍!

Apache  hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据

其实最大改变的是hdfs,hdfs 通过最近black块计算,根据最近计算原则,本地black块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算结果。

hadoop 3.0后会大改mapreduce 计算模型,就让我们拭目以待吧!

目前hadoop版本是2.6


你可能感兴趣的:(hadoop,spark,内存,mapreduce,spark,hdfs,hadoop)