linux 去重

linux 去重

1. uniq 参数解析

参数	说明
-c	统计行出现的次数
-d	只显示重复的行并去重
-u	只显示唯一的行
-i	忽略大小写
-f	忽略前N个字段（字段间用空白字符分隔）

2. 使用 awk 去重

1️⃣ 两个文件去重

示例：

• aa 文件内容

  123
  234
  345
  456
  123
  234

• bb 文件内容

  123
  234
  aaa
  345
  456
  ccc
  123
  234
  bbb

# 使用 awk 对两个文件进行去重
[root@localhost ~]# awk '{print $0}' aa bb | sort | uniq -u
aaa
bbb
ccc

2️⃣ 一个文件去重

示例：

• aa 文件内容

  123
  234
  345
  456
  123
  234

# 使用 awk 对单个文件去重（去重后不会打乱顺序）
[root@localhost ~]# awk '!x[$0]++'  aa
123
234
345
456

# 查找文件中的一行
# 保留重复项
[root@localhost ~]# awk '{print $0}' aa | sort | uniq -d
123
234

# 保留未重复项
[root@localhost ~]# awk '{print $0}' aa | sort | uniq -u
345
456

3. sort 结合 uniq 去重

示例：

• bb 文件内容

  123
  234
  aaa
  345
  456
  ccc
  123
  234
  bbb

# 查看文件中重复的行
[root@localhost ~]# sort bb | uniq -d
123
234

# 查看文件中不重复的行
[root@localhost ~]# sort bb | uniq -u
345
456
aaa
bbb
ccc

# 统计出现的行数
[root@localhost ~]# sort bb | uniq -c
      2 123
      2 234
      1 345
      1 456
      1 aaa
      1 bbb
      1 ccc