hadoop各大组件兼容性测试

Hadoop最佳兼容性测试

1. 软件版本Alpha,Beta,RC

开发期

– Alpha(α)：预览版，或者叫内部测试版；一般不向外部发布，会有很多Bug；一般只有测试人员使用。

– Beta(β)：测试版，或者叫公开测试版；这个阶段的版本会一直加入新的功能；在 Alpha版之后推出。

– RC(Release Candidate)：最终测试版本；可能成为最终产品的候选版本，如果未出现问题则可发布成为正式版本

多数开源软件会推出两个RC版本，最后的 RC2 则成为正式版本。

完成期Stable,GA,RTM,RTL

– Stable：稳定版；来自预览版本释出使用与改善而修正完成。

– GA(General Availability)：正式发布的版本；在国外都是用GA来说明release版本的。

– RTM(Release to Manufacturing)：给生产商的release版本；RTM版本并不一定意味着创作者解决了软件所有问题；仍有可能向公众发布前更新版本。

另外一种RTM的称呼是RTW（Release To Web），表示正式版本的软件发布到Web网站上供客户免费下载。

– RTL(Retail)：零售版；是真正的正式版，正式上架零售版。

以Windows 7为例，RTM版与零售版的版本号是一样的。

2.包下载网站

https://mirrors.tuna.tsinghua.edu.cn/apache/
https://www.apache.org/dyn/closer.lua/hbase/

2. Hbase

参考官方链接 （https://hbase.apache.org/2.1/book.html）

2.1 Hbase与jdk

2.2 Hbase与Hadoop版本

Hadoop version support matrix

• “S” = supported

• “X” = not supported

• “NT” = Not tested

3.Hive

参考官方链接（http://hive.apache.org/downloads.html）

3.1 Hive和hadoop

基本对应关系是hive2.x.x对应着hadoop2.x.x，hive2.x.x对应着hadoop2.x.x

4. Spark

4.1 spark和hadoop

最新版2.3.x和2.4.x对应hadoop2.7+ （即hadoop2.7.x以上)

4.2 spark和scala

最新版2.3.x和2.4.x对应scala2.12

5. Phoenix

phoenix 5.0.0对应着hbase-2.0系列
phoenix 4.x.x系列对应着hbase-1.x 系列

6. 总结

所以最佳对应版本是,稳定且版本互相兼容，自2019.10.16日之前，

组件	说明
jdk 1.8	(看过很多安装教程都是oracle jdk，但是我用openjdk也能运行，没有报错)
hadoop 2.7.7	（官方最新版是3.2.0，虽然经我测试可以成功运行，但毕竟不是官方推荐）
hive 2.3.6	(对应着hadoop，是hive2.x.x系列的最新版，对应着hadoop2.x.x系列)
hbase 2.1.7	(官方最新稳定版是2.2.1，但是官网找不到兼容性报告)
spark 2.4.3	(因为之前下过2.4.3,最新版是2.4.4,兼容性一致)
scala 2.12	maven引用的时候选择此版本
Phoenix 5.0.0	对应着hbase2.x.x系列,phoenix 4.x 系列对应 hbase1.x系列
sqoop 1.99.7	没有依赖其他，没有兼容性问题