awk过滤重复的单词

http://bbs.chinaunix.net/thread-2309494-1-1.html

awk '! a[$0]++' file

这是一个非常经典的去重复项的awk语句，虽然短小，不过涉及到了不少知识点，下面一一解读：

<1> ：”!” 即非。

<2>：a[$0]，以$0为数据下标，建立数组a

<3>：a[$0]++，即给数组a赋值，a[$0]+=1

<4> ：那么组合起来，awk是怎么执行!a[$0]++的呢？我用一个实际例子来解释：

1. cat file
   
2. 111
   
3. 222
   
4. 111
   
5. 222
   
6. 333
   
7. 
   
8. awk '{print a[$0],!a[$0]++,a[$0],!a[$0],$0}' file
   
9.   1 1 0 111
   
10.   1 1 0 222
    
11. 1 0 2 0 111
    
12. 1 0 2 0 222
    
13.   1 1 0 333

复制代码

原来，第一个a[$0]的值为空，所以!a[$0]++是先作判断，结果为1（非空为真，即为1），再作数组赋值a[$0]++。这也就是为什么前面的!a[$0]++并不一定等于后面的!a[$0]。

awk ‘++a[$0]==1’ 和上面的代码作用一样，你理解了么?