Apache Hadoop 3.3.0 版本特性介绍

Apache Hadoop 3.3.0在以前的主要发行版本（hadoop-3.2）上进行了许多重大增强。

新特性如下:

1.ARM支持

这是第一个支持ARM体系结构的版本。

2.将Protobuf从2.5.0升级到新版本

因为protobuf-2.5.0已经停止更新，Protobuf升级到3.7.1。

3.Java 11运行时支持

Java 11运行时支持已完成。

4.支持对AuthenticationFilter的模拟

外部服务或YARN服务可能需要根据使用Web协议的用户行为来调用WebHDFS或YARN REST API。最好在AuthenticationFilter或类似的扩展中支持模拟机制。

5.s3A增强功能

S3A代码的很多增强功能，包括委托令牌支持，对404缓存的更好处理，S3guard性能，弹性改进

6.ABFS增强功能

解决现场出现的问题并调整需要调整的内容，并在适当的地方添加更多测试。改善文档，尤其是故障排除。

7.HDFS RBF稳定

HDFS Router现在支持安全性。还包含许多错误修复和改进。

8.在HDFS缓存指令中支持非易失性存储类内存（SCM）。

旨在首先在读取缓存中启用存储类内存。尽管存储类内存具有非易失性特征，但是为了保持与当前只读缓存相同的行为，目前不使用其持久性特征。

9.YARN应用程序的应用程序目录。

应用程序目录系统，为YARN应用程序提供编辑和搜索界面。这提高了YARN在管理应用程序生命周期中的可用性。

10.整合腾讯云COS文件系统实施

腾讯云是中国市场上排名第二的云供应商，对象存储COS已在中国云用户中广泛使用。该任务实现了一个COSN文件系统，以在Hadoop中本地支持腾讯云COS。

11.机会容器的调度 [scheduling of opportunistic container]

通过中心RM（YARN-5220），分布式调度（YARN-2877）以及基于实际节点利用率（YARN-1011）和容器提升/降级（YARN-5085）的容器调度来调度机会容器）。

 

 

官方原文: https://hadoop.apache.org/docs/r3.3.0/