[CDH安装]--关于Spark版本的支持

原文：

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html

Spark 2要求

以下部分介绍了Apache Spark 2的Cloudera Distribution的软件需求。

继续阅读：

·        CDH版本

·        Cloudera Manager版本

·        Scala 2.11要求

·        JDK 8要求

CDH版本

CDH的适用版本如下所述。

Cloudera的Hive兼容性问题Apache Spark 2.0发行版1的分发会影响CDH 5.10.1及更高版本，CDH 5.9.2及更高版本，CDH 5.8.5及更高版本以及CDH 5.7.6及更高版本。

如果您正在使用这些CDH版本之一，则必须升级到Spark 2.0版本2或更高的宗地，以避免在使用Hive功能时出现Spark 2作业失败。

Cloudera分发的Apache Spark 2版本	CDH版本
2.2版本1	CDH 5.8，CDH 5.9，CDH 5.10，CDH 5.11，CDH 5.12
2.1版本1	CDH 5.7，CDH 5.8，CDH 5.9，CDH 5.10，CDH 5.11
2.0版本2	CDH 5.7，CDH 5.8，CDH 5.9，CDH 5.10
2.0版本1	CDH 5.7高达5.7.5，CDH 5.8高达5.8.4，CDH 5.9高达5.9.1，CDH 5.10.0。任何这些CDH版本中的任何更高维护版本都需要Spark 2.0 Release 2。

Spark 1.6服务可以与Spark 2在同一个集群上共存。这两个服务配置为不冲突并在同一个YARN集群上运行。

如果Spark 1已安装，Spark 2将使用CDH安装中的外部随机播放服务，如有必要，则安装随机播放服务。

由单个ClouderaManager实例管理的所有CDH群集必须使用完全相同的Spark2版本。

确保同时在所有集群的所有计算机上安装或升级CSD和包裹。

Cloudera Manager版本

Cloudera Managerfor Spark 2的适用版本如下所述。

Cloudera分发的Apache Spark 2版本	Cloudera Manager版本
2.2版本1	Cloudera Manager 5.8.3,5.9及更高版本
2.1版本1	Cloudera Manager 5.8.3,5.9及更高版本
2.0版本2	Cloudera Manager 5.8.3,5.9及更高版本
2.0版本1	Cloudera Manager 5.8.3,5.9及更高版本

Scala 2.11要求

Spark 2不适用于Scala 2.10。仅使用Scala 2.11。

JDK 8要求

Cloudera发行版Apache Spark 2.2需要JDK 8。