【快速入门大数据】Hadoop3.x新特性

3.x必须在java8环境为前提
在这里插入图片描述

  • Common改进
    shell被重写 过时api方法可能被删除 向下兼容老版本命令

  • hdfs改进(ec代替副本机制 50%提升空间利用率)
    删除编码方式
    支持两个以上的namenode(高可用 可用+备用)
    datanode平衡
    单个datanode管理多个磁盘目录。
    添加或替换磁盘导致datanode数据倾斜。
    现有hdfsbalanse没办法解决倾斜 ,使用新的diskbalance去cli解决
    对应临时端口冲突,改进
    【快速入门大数据】Hadoop3.x新特性_第1张图片

  • yarn改进
    timeline历史版本稳定性
    contain队列稳定性
    【快速入门大数据】Hadoop3.x新特性_第2张图片

  • mapreduce
    task提升30%
    添加新方法、减小mr 的heap大小

  • 其他
    hadoop jar,避免hadoop的依赖和应用程序的依赖有关系上的泄露
    继承微软 阿里存储系统文件系统

你可能感兴趣的:(#,Hadoop)