hadoop使用getmerge和cat合并文件的区别

1.getmerge方法只能将文件夹底下的全部文件合并,不支持通配符;

2.使用cat命令,cat支持通配符,但是它合并成的文件还是在hdfs上,只能合并完之后拉到本地。见下面hadoop dfs -cat /app/ecom/fcr/ztc-datas/tmp/liuxiao/test/*A | hadoop dfs -put - /app/ecom/fcr/ztc-datas/tmp/liuxiao/test/merge.txt

这个命令是将test文件夹底下的全部以A结尾的文件合并成merge.txt;然后再hadoop dfs -get将merge.txt拉到本地就可以了;

3.getmerge命令第二个参数是本地路径,所以不用再拉到本地;cat命令第二个参数是hdfs路径,所以需要拉下来

你可能感兴趣的:(hadoop使用getmerge和cat合并文件的区别)