1 如果仅仅是删除内容完全一样重复行
则可以使用sort先进行排序 然后使用 uniq进行删除重复数据即可
例如 CUST.TXT
130000006800,17,151,01,250100
130000006800,17,151,01,250101
1300001077,17,151,01,256600
1300002764,17,151,01,256600
1300002764,17,151,01,256630
1300003690,17,151,01,256600
1300001077,17,151,01,256600
1300004771,17,151,01256600
1300006064,17,151,01,251900
130000693300,17,151,01370102690715295
1300013082,17,151,01,51700
第3行与第7行完全相同
第一步：sort 进行排序
第二部： uniq 去除重复(必须先进行排序，否则uniq无法去除重复 uniq 是比较前后两行的数据，如果相邻两行数据不同则认为数据不同)
sort CUST.TXT | uniq > Target.TXT
查看Target.TXT
130000006800,17,151,01,250100
130000006800,17,151,01,250101
1300001077,17,151,01,256600
1300002764,17,151,01,256600
1300002764,17,151,01,256630
1300003690,17,151,01,256600
1300004771,17,151,01256600
1300006064,17,151,01,251900
130000693300,17,151,01370102690715295
1300013082,17,151,01,51700
发现 1300001077,17,151,01,256600 这条记录只有一条了
2 根据指定列进行去除重复行
这里的重复是指如果两行的某一列数据相同，则认为是重复数据
例如第1行与第2行数据根据域分隔符","分割的第一列（CUST_ID）
第4行与第5行数据也是CUST_ID 相同 现在我们如何去除列相同的重复项
第一步： sort 进行排序
第二步： 用awk对相邻两行数据进行比较如果第一列的数据相同则去除重复行(保留第一个相同的行，)
这里的去除重复行 并不是真正的删除重复行而是 利用unix shell 管道 对重复行的不进行重定向输出
sort -t, -k1 CUST.TXT | awk -F, '
{
$1 == CUST_ID {
}
$1 != CUST_ID {
CUST_ID = $1;
print $0;
}' > Target.TXT
运行结果如下：
130000006800,17,151,01,250100
1300001077,17,151,01,256600
1300002764,17,151,01,256600
1300003690,17,151,01,256600
1300004771,17,151,01256600
1300006064,17,151,01,251900
130000693300,17,151,01370102690715295
1300013082,17,151,01,51700
语法解释：
sort -t, -k1
-t, 指定文件记录域分隔符为","
-k1 是指根据第1列进行排序
awk -F, ' {
$1 == CUST_ID {
}
$1 != CUST_ID {
CUST_ID = $1;
print $0;
} ' > Target.TXT
-F, 指定域分隔符为","
$1 == CUST_ID 判断 第一列是否与变量 CUST_ID 相等 (不必要担心 CUST_ID变量的值 在初始化时 awk 为 CUST_ID 赋值 为"")
如果相等什么多不做
$1 != CUST_ID { CUST_ID = $1 ;print $0;} 如果 一列不等于 CUST_ID 变量的值 将 $1 赋值为 CUST_ID
然后打印 这行数据 ，然后进行下一行 比较 下一行数据与上一行数据的CUST_ID 是否相等 相等 什么都不敢 也就是说
不打印着一行 如果不相等则打印着一行 从而起到去除重复数据的作用。
转自：http://butterflymacro.iteye.com/blog/846540