Linux&UE去除文件重复行

• 前言
  在实际开发过程中经常要处理文本，那么今天就浅谈一下我在两种不同环境下是如何对文本进行去重的。

一、Linux 环境

我现在的开发环境是HP-UX，这些命令在 Linux 同样适用，我想做的就是对文件的重复行去重（无关于文本顺序），这里我多提一句就是“提防”文本中你“看不见”的不同之处，这个事先放下不提，后面我会有详细的解释，先看下面代码吧

etl@bejedw09:/home/etl/cya> cat test
BBBBB
CCCCC
AAAAA
AAAAA
BBBBB
BBBBB
CCCCC
BBBBB
etl@bejedw09:/home/etl/cya> cat test | sort | uniq
AAAAA
BBBBB
CCCCC

上面Linux命令可以实现对文本的去重，先来解释下 cat test | sort | uniq 这条命令，首先cat test 显示文本然后重定向给sort，sort实现对文本的排序，然后uniq命令是Linux环境下对文件去重的命令，这样就实现了对文件的排序去重了，你可能会问直接对文件使用uniq命令去重不行吗？看下面的代码你就了解了uniq的去重机制了

256f9bebb486b61f8f216ff3ed29da1.png

首先，uniq只会对相邻且内容完全相同的行进行去重，通过-c选项可以查看重复出现的次数，那么想要对文件实现真正的去重就需要配合sort命令，聪明如你，这样就应该明白cat test | sort | uniq 这条命令了吧 ，可是现实开发中经常要进行忽略大小写的匹配，那么有什么好办法吗？当然有了，既然是忽略大小写，就可以理解为文本全是大写或者全是小写对文本是不影响的，这样配合tr命令，就可以实现喽（这里只是提一个思路，具体情况还应具体分析），如下所示：

08c55b64bef979b303c846f4a1018bc.png

二、Windows环境

在Windows环境主要里用UE这个文本工具，下面介绍下处理过程

1. 文本

   
   
   e1fa28480b779107ac3bb6f07dde078.png

2.处理过程
点击UE左上角 文件 —> 排序(R) —> 高级排序/选项(A)

774867765830241452.jpg

然后出现下面的界面

2120ad2ac9ab5eeb1c8bf77c3bbe346.png

点击 删除重复(RD) 就可以实现去重，再点击忽略大小写(I)就可以实现忽略大小写的删除重复行，而且排序方式可以选择升序或是降序，我这里选的是升序，下面是排序去重后的效果图：

322a109da66eea25a06e590d1d39514.png

三、文本中的“陷阱”

还记得我在本文开头中提到的“提防”文本中你“看不见”的不同之处吗？
看下一段文本（Linux环境）：

bf675375830a37f7bf96709892caff8.png

这就是看不见的“不同”，就是因为我在文本的第二行结尾多打了一个空格，如何能了解其“庐山真面目”并且将结尾的空格去掉哪？接着往下看

db57e2285778b62e4dc3fc275ea36e8.png

再来看看在Windows里的UE是如何处理，通过Ctrl+A全选后就可以发现“端倪”

4f21a4721ed6fd1cb2b6e68b6575b1a.png

替换文本末尾空格

c907b91762920a3743d64f5a19eb159.png

替换后的结果

a735024aaddc056795259272cbd439d.png

• 结尾
  本文在现实开发中还是非常有实际意义的，工作中经常要处理文件去重的问题，而且掌握好处理文本的技巧是最基础的技能，因为在实际开发中无论是脚本还是日志其实都是文件，无论是 Linux还是Winows都有处理文件的工具（命令），掌握了这些，你的开发效率就会提高，解决问题的能力也自然而然的提高了。