sed与awk去除重复行

转 http://butterflymacro.iteye.com/blog/846540

 

1 如果仅仅是删除内容完全一样重复行 

则可以使用sort先进行排序 然后使用 uniq进行删除重复数据即可

例如  CUST.TXT

130000006800,17,151,01,250100
130000006800,17,151,01,250101
1300001077,17,151,01,256600
1300002764,17,151,01,256600
1300002764,17,151,01,256630
1300003690,17,151,01,256600
1300001077,17,151,01,256600
1300004771,17,151,01256600
1300006064,17,151,01,251900
130000693300,17,151,01370102690715295
1300013082,17,151,01,51700

 

 第3行与第7行完全相同

 第一步：sort 进行排序

第二部： uniq 去除重复(必须先进行排序，否则uniq无法去除重复 uniq 是比较前后两行的数据，如果相邻两行数据不同则认为数据不同)

 

sort CUST.TXT | uniq > Target.TXT

 

 查看Target.TXT

 

130000006800,17,151,01,250100
130000006800,17,151,01,250101
1300001077,17,151,01,256600
1300002764,17,151,01,256600
1300002764,17,151,01,256630
1300003690,17,151,01,256600
1300004771,17,151,01256600
1300006064,17,151,01,251900
130000693300,17,151,01370102690715295
1300013082,17,151,01,51700

 发现 1300001077,17,151,01,256600 这条记录只有一条了

2 根据指定列进行去除重复行

 这里的重复是指如果两行的某一列数据相同，则认为是重复数据

例如第1行与第2行数据根据域分隔符","分割的第一列（CUST_ID）

第4行与第5行数据也是CUST_ID 相同 现在我们如何去除列相同的重复项

第一步： sort 进行排序

第二步： 用awk对相邻两行数据进行比较如果第一列的数据相同则去除重复行(保留第一个相同的行，)

 这里的去除重复行 并不是真正的删除重复行而是 利用unix shell 管道 对重复行的不进行重定向输出

 

sort -t, -k1 CUST.TXT | awk -F, '
{
$1 == CUST_ID {

}
$1 != CUST_ID {
  CUST_ID = $1;
  print $0;
}' > Target.TXT

 运行结果如下：

 

130000006800,17,151,01,250100
1300001077,17,151,01,256600
1300002764,17,151,01,256600
1300003690,17,151,01,256600
1300004771,17,151,01256600
1300006064,17,151,01,251900
130000693300,17,151,01370102690715295
1300013082,17,151,01,51700

 语法解释：

  sort -t, -k1   

 -t,   指定文件记录域分隔符为","  

 -k1  是指根据第1列进行排序

 

 awk -F, ' {

 $1 == CUST_ID {

 }

 $1 != CUST_ID {

  CUST_ID = $1;

  print $0;

 } ' > Target.TXT

 

 -F, 指定域分隔符为","

 $1 == CUST_ID 判断 第一列是否与变量 CUST_ID 相等  (不必要担心 CUST_ID变量的值 在初始化时 awk 为 CUST_ID 赋值 为"")

 如果相等什么多不做

$1 != CUST_ID { CUST_ID = $1 ;print $0;}   如果 一列不等于 CUST_ID 变量的值  将 $1 赋值为 CUST_ID

然后打印 这行数据 ，然后进行下一行  比较 下一行数据与上一行数据的CUST_ID 是否相等 相等 什么都不敢 也就是说

不打印着一行 如果不相等则打印着一行 从而起到去除重复数据的作用