sort -nu 参数的实验记录，各种条件去重

最近有一个需求，就是我公司的数据，需要从A公司给的数据中提取。然后呢，这个数据中，是一个个的数据对，

先写上，然后在总结，直接举个例子最方便了，一看你就知道怎么回事

cat是从上到下读，tac是从下到上读

$ cat aaa.log|sort -u > test1
$ tac aaa.log|sort -u > test2
$ cat aaa.log|sort -nu > test3
$ tac aaa.log|sort -nu > test4
$ wc -l *
  1422057 test1
  1422057 test2
   774445 test3
   774445 test4
  2082926 aaa.log
  4393004 总计
$ md5sum *
f8947342c995a9ab3fc831cc5e1fa9f9  test1
f8947342c995a9ab3fc831cc5e1fa9f9  test2
950496d8fa74f2cffc176311c201768a  test3
e09e68c109f7debbc83f7a2e0ab0051f  test4
bc87246cf74953ce6f13342d9b8258e1  aaa.log
$ cat aaa.log|grep 123456
123456:3525
123456:3515
123456:3550
123456:3515
$ cat test1|grep 123456
123456:3515
123456:3525
123456:3550
$ cat test2|grep 123456
123456:3515
123456:3525
123456:3550
$ cat test3|grep 123456
123456:3525
$ cat test4|grep 123456
123456:3515

 

 

 

本文出自 “周旭光_不断进取” 博客，谢绝转载！