去掉csv文件的第一行

在用MR或Spark处理较大的csv文件时,经常会遇到这么一个问题,csv文件的第一行往往是列名,怎么办呢?

我有一个简单的方法

guo@guo:~$ sed 1d dual.txt > noheader.txt
用sed 1d就可以把dual.txt文件的第一行去掉,>是指将前面的命令的结果覆盖到noheader.txt,>>就是追加了。还不懂可以看一下我写的shell基础。

你可能感兴趣的:(去掉csv文件的第一行)