shell学习笔记之uniq、join、cut

uniq

uniq用来从一个文本文件中删除或者禁止重复行,一般uniq假定文件已经分类,并且结果正确。

sort中的唯一性选项去除所有重复行,而uniq命令并不是这样。在uniq中,重复行是不断重复出现的行,中间不夹杂任何文本内容,如:

1 May Day
2 May Day
3 May Day
4 Going DOwn
5 May Day
6 May Day.
7 May Day

uniq将前三行看作是重复行,第四行是不同文本,所以第五行的May Day将被保留。uniq命令的格式为:

$ uniq -u d c -f input_file out_file

各个选项的含义:

-u : 只显示不重复行

-d : 只显示有重复数据行,每种重复行只显示其中一行

-c : 打印每个重复行出现的次数

-f : n为数字,前n个域被忽略,有些系统并不识别-f,这时替代使用-n。

 

使用-n只测试一行一部分的唯一性。注意:域从1开始计数。

1 AK123 33 46 6u OPP ty yu
2 DK122 5h 67 y8 OPP ty yu
3 EK999 56 56 78 IIY ty yu

从第五个域开始比较:

1 $ uniq -f4 -c parts.txt 
2 2 AK123 33 46 6u OPP ty yu
3 1 EK999 56 56 78 IIY ty yu

uniq在读取行时,会对它们进行比较并将只除去两个或更多的连续行。


join

join用来将两个分类文本文件的行连在一起。假设有两个文件file1和file2,当然已经分类,每个文件中都有一些元素与另一个文件相连,由于这种关系,join将两个文件合并在一起。

为了有效使用join,需分别将输入文件分类。

其命令格式为:

1 join [options] input-file1 input-file2

选项:

an : 表示连接时显示第n个文件不匹配行。
o n.m : n表示文件号,m表示域号。

t : 分隔符

j n.m o.p 表示连接的字段参数。

缺省j o i n删除或去除连接键的第二次重复出现,这里即为名字域。

 

cut

cut用来从标准输入或者文本文件中剪切列或者域。剪切文本可以粘帖到一个文本文件中。

格式为:

1 cut [options] file1 file2

选项:

-c list 指定剪切字符数。
-f field 指定剪切域数。
-d 指定与空格和t a b键不同的域分隔符。
- c用来指定剪切范围,如下所示:
- c 1,5-7 剪切第1个字符,然后是第5到第7个字符。
-c1-50 剪切前5 0个字符。
-f 格式与- c相同,剪切域。
-f 1,5 剪切第1域,第5域。
- f 1,10-12 剪切第1域,第1 0域到第1 2域

 

paste

c u t用来从文本文件或标准输出中抽取数据列或者域,然后再用p a s t e可以将这些数据粘贴起来形成相关文件。粘贴两个不同来源的数据时,首先需将其分类,并确保两个文件行数相同。
p a s t e将按行将不同文件行信息放在一行。缺省情况下, p a s t e连接时,用空格或t a b键分隔新行中不同文本,除非指定- d选项,它将成为域分隔符。
p a s t e格式为;

1 paste -d -s -file1 file2

选项含义如下:
-d 指定不同于空格或t a b键的域分隔符。例如用@分隔域,使用- d @。
-s 将每个文件合并成行而不是按行粘贴。
- 使用标准输入。例如ls -l |paste ,意即只在一列上显示输出。

 

split

split将大文件分割成小文件。

命令格式:

1 split -output_file-size input-filename output-filename



你可能感兴趣的:(shell)