查看Spark与Hadoop等其他组件的兼容版本

安装与Spark相关的其他组件的时候，例如JDK，Hadoop，Yarn，Hive，Kafka等，要考虑到这些组件和Spark的版本兼容关系。这个对应关系可以在Spark源代码的pom.xml文件中查看。

一、 下载Spark源代码

打开网址https://github.com/apache/spark，例如选择v2.4.0-rc5版本，再点击“Clone or download”按钮，点击下方的“Download ZIP”进行下载。
二、查看pom.xml文件

将下载的源代码压缩包解压后，打开里面的pom.xml文件，查看properties标签内各配置项，里面有列出其他组件的兼容版本信息，例如2.6.5表示hadoop版本为2.6.5。如下：

  
    UTF-8
    UTF-8
    1.8
    ${java.version}
    ${java.version}
    3.5.4
    spark
    1.7.16
    1.2.17
    2.6.5
    2.5.0
    ${hadoop.version}
    1.6.0
    3.4.6
    2.6.0
    org.spark-project.hive
    
    1.2.1.spark2
    
    1.2.1
    10.12.1.1
    1.10.0
    1.5.2
    nohive
    1.6.0
    9.3.24.v20180605
    3.1.0
    0.9.3
    2.4.0
    2.0.8
    3.1.5
    1.8.2
    hadoop2
    1.8.10
    
    1.11.271
    
    0.12.8
    
    4.5.6
    4.4.10
    
    3.1
    3.4.1
    
    3.2.2
    2.11.12
    2.11
    1.9.13
    2.6.7
    2.6.7.1
    1.1.7.1
    1.1.2
    1.2.0-incubating
    1.10
    2.4
    
    2.6
    
    3.5
    3.2.10
    3.0.9
    2.22.2
    2.9.3
    3.5.2
    1.3.9
    0.9.3
    4.7
    1.1
    2.52.0
    
    2.8
    1.8
    1.0.0
    
    0.10.0

    ${java.home}
    
    

    
    org.spark_project

    
    ${project.build.directory}/scala-${scala.binary.version}/jars

    
    prepare-package
    none

    
    compile
    compile
    compile
    compile
    compile
    test

    
    ${session.executionRootDirectory}

    512m
  

完毕。