HDFS数据兼容拷贝

系统中使用了hadoop 19.2 20.2 2个版本,为啥有2个版本,历史原因不便多诉,然而杯具的是2个版本中一些API差异比较大,然后存在hdfs上的文件头信息也不一致,直接使用hdfs://xxx.xxx:57000在2个版本之间传递数据是有问题的。

 

发现无版本限制的兼容性数据拷贝 要使用 hftp://xxx.xxx:57000 ,这样hdfs会使用HftpFileSystem,这里读到的文件头信息就正确了,还好提供了这种方案,否则文件兼容性问题很折腾。

你可能感兴趣的:(hdfs)