HDFS文件导出本地合并为一个文件

HDFS受限于Block大小,大文件会分割成多个块分布在多个节点,导出本地的时候直接用:

hadoop fs -get 

命令会在本地创建一个目录存放多个块。

要想合并为一个大文件可以这样:

hadoop fs -getmerge hdfs:///user/nixm/news_rank1.txt /nixm/gcy/out1.txt

你可能感兴趣的:(大数据运维)