shell脚本根据某一列去重

sort -t $'\t' -k 3 -u filename

sort 排序命令
-t 指定分隔符为‘\t’
-k 指定第三列
-u 去重

sort的其他一些选项:
-r 降序排列
-o 把排序结果输出到源文件

sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如
sort filename>newfile
如果将结果输出到原文件,用重定向相当于清空

-n 看为数字来比较

你有没有遇到过10比2小的情况。我反正遇到过。出现这种情况是由于排序程序将这些数字按字符来排序了,排序程序会先比较1和2,显然1小,所以就将10放在2前面喽。这也是sort的一贯作风。
我们如果想改变这种现状,就要使用-n选项,来告诉sort,“要以数值来排序”!

-f 会将小写字母都转换为大写字母来进行比较,亦即忽略大小写

-c 会检查文件是否已排好序,如果乱序,则输出第一个乱序的行的相关信息,最后返回1

-C 会检查文件是否已排好序,如果乱序,不输出内容,仅返回1

-M 会以月份来排序,比如JAN小于FEB等等

-b 会忽略每一行前面的所有空白部分,从第一个可见字符开始比较。

你可能感兴趣的:(linux)