uniq处理全角字符时的问题

一个进程运行了整整一天还没结束，本来应该只需要半天左右就可以全部build完成了，一步一步查原因，发现在uniq处理全角字符的问题上。

先看下面这个现象

[root@localhost build]$ cat text 
１２５８０
１００８６
２００８６
５８０
００８
５
８
[root@localhost build]$ uniq text
１２５８０
５８０
５
[root@localhost build]$

这个输出，明显不是想要的，这主要是全角字符所带来的问题

在很多数据处理时，可能数据都是来源于用户的输入，所以这时一些全角字符或者是大小写不一致的问题，就随处可见了，大小写的问题很容易想到要处理，全角字符也是需要处理或者设置处理环境的。

uniq命令在判断两个字符串是否相等的时候，和LC_ALL这个环境变量是有很大关系的，如果将其设置为UTF8，那么有可能一些不同的字符被判断为相同的。我们可以把这个环境变量的值设置为C，这样的话uniq就会一个一个字节的对两个字符串进行比较，这也是我们想要的结果和方式。

如下：

[root@localhost build]$ export LC_ALL=C
[root@localhost build]$ uniq text
１２５８０
１００８６
２００８６
５８０
００８
５
８
[root@localhost build]$