Spark2 ON CDH5.15.1

　　CDH stable最新版本CDH5.15.1，Hadoop基于2.6.0，Spark基于1.6。Spark版本太低，急需升至Spark2。刚开始从Spark官网下，基于hadoop 2.6.0-cdh5.15.1 版本更改pom文件的依赖，改到后面发现是个巨坑，parquet版本不兼容，后面隐性的一大堆Jackson依赖不兼容。Spark2官网，最低从hadoop 2.7.5开始支持，没办法，CDH6(基于Hadoop 3.0)还是Beta版本，不敢用。

　　好在cloudera推出来Spark2.2/2.3的 CDH5.12/CDH5.13 parcels包，从里面拿出的Spark2可以使用。spark-env.sh和spark-defaults.xml从1.6-cdh5.15.1安装的spark中可以拿过来用，少了很多手工配置。

吐下TEZ编译，从tez-7版本后，开始使用node+npm安装JS，在我大局域网内，花费时间极长，只能设置https_proxy。

从tez-9开始，最低hadoop版本也是2.7.5，不得不说cloudera推阵出新的速度太慢。