去掉文本中重复的行

    今天要分析下 nginx 的日志 统计下访问的 ip 

一行搞定

对于文本去重复 需要先 sort 再 uniq 因为 uniq 只能去除连续的重复行

[root@03_25 logs]# awk -F ' '   '{ print $1 }'  localhost.access.log | sort | uniq
114.147.99.111
114.167.245.194
116.125.127.151
117.136.23.21
153.129.176.90
153.137.41.154
157.109.169.131
。。。。

使用 uniq -c 可以显示每个 ip 访问的次数

[root@03_25 logs]# awk -F ' '   '{ print $1 }'  localhost.access.log | sort | uniq -c
      1 114.147.99.111
   2523 114.167.245.194
      1 116.125.127.151
      8 117.136.23.21
    659 153.129.176.90
    533 153.137.41.154
      2 157.109.169.131
      5 157.109.169.132
      1 174.142.104.247
      6 176.61.139.107
     15 183.16.202.45
      2 199.15.253.139
      1 200.116.127.81
      6 210.245.85.163
      4 219.133.13.166
     97 219.140.174.6
      1 221.132.117.51
   5741 221.255.120.21
      1 42.121.86.216
      1 50.30.46.141
   5625 59.157.179.141
     10 59.40.2.43
      6 60.199.223.196
      1 61.152.236.132
      5 61.183.148.133
      3 61.183.148.135
      6 65.110.53.90
      1 66.193.171.208
      2 69.162.122.242
    471 69.172.213.166
      6 78.129.149.17
      1 81.26.32.243
      1 82.19.218.37
      5 87.106.214.81
      1 94.102.51.246

可以看出有2个 ip 访问的很频繁。。。