/bin/cat: Argument list too long

因做一个统计,下载了一个星期的统计日志,

有2000多个文件,每一个文件里面的格式都是一样的,

得先把这些日志文件进行合并,

然后再放到hadhoop上面去运算,问题就这样产生了,

这些日志文件都放在logdeal目录下,我想用 cat/logdeal/* > merge.lst文件里面。

结果就产生了/bin/cat: Argument list too long 这个错误,google了一下,发现是cat文件数目是有多少限制了。


解决办法

用命令  find ./logdeal/ -name *.log | xargs cat  > merge.lst


成功的解决了此问题, 以后要处理多个文件,还是用find这种方式来处理




你可能感兴趣的:(list,Google)