HDFS:不同版本评比分析
1、版本功能对比
| 版本名称 |
版本时间 |
功能名称 |
说明 |
| 0.20.x |
2009.4.22-2011.10.17 |
目前线上基本功能 |
Avatarnode,cloudera3均以该版本作为基础版本 |
| 0.23.x |
2011/11/11-现在 |
Federation WebHDFS REST API； HttpFS Gateway |
与2.x.x相似，但是没有HA |
| 1.0.x（稳定版本） |
2011.12.27-2012.10.12 |
配额功能（某目录存储文件大小）; Synthetic Load; 权限改进; WebHDFS REST API; C API libhdfs; |
弃用secondary namenode，引入checkpointnamenode（在snn基础上有改进），backupnode（温备，元数据存储在内存和磁盘）； |
| 1.1.x（测试版本） |
2012.10.13-现在 |
同上 |
|
| 2.0.x（与cdh4类似） |
2012.5.23-现在 |
HA（NFS,bookKeeper,QJM）；Federation； WebHDFS REST API； HttpFS Gateway（支持类似curl等shell命令）； RPC可定制（比如thrift，arvo，protocal Buffer）； |
共享存储edits共享不仅支持NFS，还支持bookkeeper，QJM方式，支持自动，手动切换 |
注：
1）此处比较apache相关版本；
2）此处没有再列出HDFS基础功能；
2、改造相关版本对比
| 版本名称 |
版本功能 |
说明 |
| Cdh3 |
目前线上HDFS基本功能 |
有稳定的hive，hbase与其兼容 |
| Avatarnode |
HA；手动切换；snapshot；raid |
Facebook内部应该广泛，开源动力不足，开源的HA有不少bug；client端不能做到无缝failover；对zk依赖比较大； |
| Jhdfs |
HA；手动，自动 |
与hbase，hive等兼容；Client不能完全做到无缝failover；自动切换功能不成熟待升级； |
| Cdh4 |
HA；手动，自动；支持nfs，bookkeeper，QJM等方式日志同步； |
版本不稳定；有相应的hbase，hive等版本与其兼容； |
| Apache 2.X |
HA；手动，自动；支持nfs，bookkeeper，QJM等方式日志同步； |
由cloudera，hortonwork等开源，版本不稳定，有相应的hbase，hive等版本与其兼容； |
3、成本优劣对比
| 版本名称 |
人力成本 |
社区 |
风险 |
| Jhdfs |
客户端failover； 升级自动切换功能； 引入federation机制； 日志共享机制多样化； RPC协议机制 性能优化； 测试； |
基于cdh3，与avatarnode改造，社区不活跃 |
目前几轮测试均通过；生产检验不足 |
| Apache 2.x |
需代码深入研究； 测试； 跟踪修改bug； |
社区活跃，大量开发者提交代码；发表意见； |
代码不成熟； 有相应的hbase，hive等版本与其兼容； |
| Cdh4 |
需代码深入研究； 测试； 跟踪修改bug； |
社区不活跃； |
代码不成熟；有相应的hbase，hive等版本与其兼容； |
注：
1） hbase之前使用的版本与apache2.0不兼容（见下面的jira连接地址），目前cloudera提供了与其相兼容的版本；
2） hive之前使用的版本与apache2.0兼容；
4、总结
根据各个角度比较的结果，及其我们这边需求，我们将版本选择的关注点集中到jhdfs，apache2.x，cdh4三个版本，具体如下：
1、 jhdfs兼容性没有问题，也完成了初期HA改造并测试通过，但还需要生产检验；基础版本为cdh3；相比cdh4及其apache2.x,还有比较多的新功能需要加入进去；
2、 apache2.x，cdh4与hbase等兼容性均没有问题，相比jhdfs，有比较多的新功能和性能方面的优化，并且3个版本中，apache2.x社区是最活跃的；
5、参考资料
1）QJM设计文档：
https://issues.apache.org/jira/browse/HDFS-3077；
2）snapshot机制：
http://hortonworks.com/blog/snapshots-for-hdfs/；
3）bookkeeper与nfs等性能对比测试：
https://cwiki.apache.org/BOOKKEEPER/hdfs-bookkeeperjournalmanager.html；
4）hadoop版本发布相关信息：
http://hadoop.apache.org/releases.html；
5）hadoop性能测试工具
http://hortonworks.com/blog/delivering-on-hadoop-next-benchmarking-performance/；
6）High AvailabilityFramework for HDFS NN
https://issues.apache.org/jira/browse/HDFS-1623;
7）分布式namenode实现方案
http://yanbohappy.sinaapp.com/?m=201204；
8）Likely hadoop23 vshadoop 20.x/1.x incompatibility
https://issues.apache.org/jira/browse/HBASE-5680；
9）cloudera推出与hadoop 2.0兼容版本
https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs；