linux uniq命令(去除排序之后的重复)

    uniq命令可以去除排序过的文件中的重复行,因此uniq经常和sort合用。也就是说,为了使uniq起作用,所有的重复行必须是相邻的

 

语法:uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]

 

补充说明:uniq可检查文本文件中重复出现的行列。

 

参数:

    -c或--count   在每列旁边显示该行重复出现的次数。

    -d或--repeated   仅显示重复出现的行列。

    -f<栏位>或--skip-fields=<栏位>   忽略比较指定的栏位。

    -s<字符位置>或--skip-chars=<字符位置>   忽略比较指定的字符。

    -u或--unique   仅显示出一次的行列。

    -w<字符位置>或--check-chars=<字符位置>   指定要比较的字符。

    --help   显示帮助。

    --version   显示版本信息。

 

[输入文件]   指定已排序好的文本文件

 

[输出文件]   指定输出的文件。 uniq命令的作用:显示唯一的行,对于那些连续重复的行只显示一次!

 

[root@auc-test2 11]# cat abc.txt |uniq
a
b
c
b
dd
d
c
[root@auc-test2 11]# sort abc.txt
a
b
b
c
c
d
dd
[root@auc-test2 11]# sort abc.txt  | uniq
a
b
c
d
dd

 

你可能感兴趣的:(linux)