awk 的学习与实例与查看tcp连接状态

awk 用法：awk ' pattern {action} ' 

变量名 含义
ARGC 命令行变元个数
ARGV 命令行变元数组
FILENAME 当前输入文件名
FNR 当前文件中的记录号
FS 输入域分隔符，默认为一个空格
RS 输入记录分隔符
NF 当前记录里域个数
NR 到目前为止记录数
OFS 输出域分隔符
ORS 输出记录分隔符
awk 中判断条件的变化 
 

cat /etc/passwd | awk 'BEGIN{FS=":";OFS="\t"} {print $1,$6}'

cat /etc/passwd | awk 'BEGIN{FS=":";OFS="\t"} {if($3 > 500) print $1, $6}' 

[misc16]/opt/aspire/product/misc16/liuhy>head prefixtmp.txt
上海    上海    21      1870210 0
上海    上海    21      1870211 0
上海    上海    21      1870212 0
上海    上海    21      1870213 0
上海    上海    21      1870214 0
上海    上海    21      1870215 0
上海    上海    21      1870216 0
上海    上海    21      1870217 0
上海    上海    21      1870218 0
上海    上海    21      1870219 0
[misc16]/opt/aspire/product/misc16/liuhy>awk '$4=="1870210" {print $0}' prefixtmp.txt
上海    上海    21      1870210 0
[misc16]/opt/aspire/product/misc16/liuhy>awk '{if($4~/1870210/) print $0}' prefixtmp.txt
上海    上海    21      1870210 0
[misc16]/opt/aspire/product/misc16/liuhy>awk '$0~/1870210/ {print $0}' prefixtmp.txt
上海    上海    21      1870210 0
[misc16]/opt/aspire/product/misc16/liuhy>awk '{if($3>$5) print $0}' prefixtmp.txt|head
上海    上海    21      1870210 0
上海    上海    21      1870211 0
以2或3开始，第二位为1的字符串
[misc16]/opt/aspire/product/misc16/liuhy>awk '$3~/^[23]1/ {print $0}' prefixtmp.txt
上海    上海    21      1870210 0
河北    保定    312     1873223 0
河北    唐山    315     1873252 0
河北    廊坊    316     1873361 0
河北    张家口  313     1873130 0
河北    承德    314     1873248 0
河北    沧州    317     1873301 0
河北    石家庄  311     1873217 0
河北    衡水    318     1873287 0
河北    邢台    319     1883349 0
河北    邯郸    310     1873209 0
两位字符串，2或3为第一位，第二位为1
[misc16]/opt/aspire/product/misc16/liuhy>awk '$3~/^[23]1$/ {print $0}' prefixtmp.txt
上海    上海    21      1870210 0
2或3为第一位，最后位为1，中间为重复2或3
[misc16]/opt/aspire/product/misc16/liuhy>awk '$3~/^[23]*1$/ {print $0}' prefixtmp.txt
上海    上海    221     1870210 0
上海    上海    21      1870211 0
河北    保定    31      1870312 0
河北    保定    331     1870322 0
[misc16]/opt/aspire/product/misc16/liuhy>awk '$3~/^[23][0-9]*1$/ {print $0}' prefixtmp.txt
上海    上海    22221   1870210 0
上海    上海    21      1872198 0
山西    太原    351     1873539 0
河北    保定    31      1870312 0
河北    保定    331     1870322 0
河北    石家庄  311     1873316 0
河南    焦作    391     1873914 0
河南    郑州    371     1873994 0
[misc16]/opt/aspire/product/misc16/liuhy>awk '$3~/(22221|31)/' prefixtmp.txt
上海    上海    22221   1870210 0
吉林    长春    431     1870448 0
四川    宜宾    831     1878413 0
山东    威海    631     1876316 0
山东    济南    531     1876419 0
河北    保定    31      1870312 0
河北    保定    331     1870322 0
河北    保定    312     1870332 0
河北    保定    312     1873329 0
河北    唐山    315     1873339 0
河北    廊坊    316     1870316 0
河北    张家口  313     1870313 0
河北    承德    314     1873249 0
河北    沧州    317     1870317 0
河北    石家庄  311     1870311 0
河北    衡水    318     1870318 0
河北    邢台    319     1873292 0
河北    邯郸    310     1873105 0
湖南    长沙    731     1877314 0
甘肃    兰州    931     1879424 0
[misc16]/opt/aspire/product/misc16/liuhy>awk '{if($3=="22221" && $4=="1870210") print $0}' prefixtmp.txt
上海    上海    22221   1870210 0
[misc16]/opt/aspire/product/misc16/liuhy>awk '{if($3=="22221" || $3~/31/) print $0}' prefixtmp.txt
上海    上海    22221   1870210 0
吉林    长春    431     1874304 0
四川    宜宾    831     1878410 0
山东    威海    631     1876310 0
河北    保定    31      1870312 0
河北    保定    331     1870322 0
河北    保定    312     1873224 0
河北    唐山    315     1873255 0
河北    廊坊    316     1873268 0
河北    张家口  313     1870323 0
河北    承德    314     1873143 0
河北    沧州    317     1873279 0
河北    石家庄  311     1873216 0
河北    衡水    318     1873184 0
河北    邢台    319     1873199 0
河北    邯郸    310     1873209 0
湖南    长沙    731     1877409 0
甘肃    兰州    931     1879424 0

1、

awk '/101/'                file  显示文件file中包含101的匹配行。
awk  '/101/,/105/'         file
awk  '$1 == 5'             file
awk '$1 == "CT"'           file  注意必须带双引号
awk '$1 * $2 >100 '        file
awk '$2 >5 && $2<=15'      file

2、awk '{print NR,NF,$1,$NF,}' file 显示文件file的当前记录号(行号)、域数（段数）和每一行的第一个和最后一个域。 
   awk '/101/ {print $1,$2 + 10}' file 显示文件file的匹配行的第一、二个域加10。
   awk '/101/ {print $1$2}'  file
   awk '/101/ {print $1 $2}' file 显示文件file的匹配行的第一、二个域，但显示时域中间没有分隔符。
3、df | awk '$4>1000000 '         通过管道符获得输入，如：显示第4个域满足条件的行。
4、awk -F "|" '{print $1}'   file        按照新的分隔符“|”进行操作。 
   awk  'BEGIN { FS="[: \t|]" }   {print $1,$2,$3}'       file 通过设置输入分隔符（FS="[: \t|]"）修改输入分隔符。 
  awk  'BEGIN { FS="[: \t|]" ；OFS="}   {print $1,$2,$3}'       file 
   Sep="|"
   awk -F $Sep '{print $1}'  file 按照环境变量Sep的值做为分隔符。    
   awk -F '[ :\t|]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表空格、:、TAB、|同时做为分隔符。
   awk -F '[][]'    '{print $1}' file 按照正则表达式的值做为分隔符，这里代表[、]
5、

awk -f awkfile       file 通过文件awkfile的内容依次进行控制。
cat awkfile
/101/{print "\047 Hello! \047"} --遇到匹配行以后打印 ' Hello! '.\047代表单引号。
{print $1,$2}                   --因为没有模式控制，打印每一行的前两个域。

6、awk '$1 ~ /101/ {print $1}' file 显示文件中第一个域匹配101的行（记录）。
7、awk   'BEGIN { OFS="%"}   {print $1,$2}'           file 通过设置输出分隔符（OFS="%"）修改输出格式。
8、awk   'BEGIN { max=100 ;print "max=" max}             BEGIN 表示在处理任意行之前进行的操作。
   {max=($1 >max ?$1:max); print $1,"Now max is "max}' file 取得文件第一个域的最大值。
   （表达式1?表达式2:表达式3 相当于：
   if (表达式1)
       表达式2
   else
       表达式3
   awk '{print ($1>4 ? "high "$1: "low "$1)}' file 
9、awk '$1 * $2 >100 {print $1}' file 显示文件中第一个域乘以第二域大于100的记录。
10、awk '{$1 == 'Chi' {$3 = 'China'; print}' file 找到匹配行后先将第3个域替换后再显示该行（记录）。
    awk '{$7 %= 3; print $7}'  file 将第7域被3除，并将余数赋给第7域再打印。
11、awk '/tom/ {wage=$2+$3; printf wage}' file 找到匹配行后为变量wage赋值并打印该变量。
12、awk '/tom/ {count++;} 
         END {print "tom was found "count" times"}' file END表示在所有输入行处理完后进行处理。
13、awk 'gsub(/\$/,"");gsub(/,/,""); cost+=$4;
         END {print "The total is $" cost>"filename"}'    file gsub函数用空串替换$和,再将结果输出到filename中。
    1 2 3 $1,200.00
    1 2 3 $2,300.00
    1 2 3 $4,000.00

    awk '{gsub(/\$/,"");gsub(/,/,"");
    if ($4>1000&&$4<2000) c1+=$4;
    else if ($4>2000&&$4<3000) c2+=$4;
    else if ($4>3000&&$4<4000) c3+=$4;
    else c4+=$4; }
    END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file
    通过if和else if完成条件语句

    awk '{gsub(/\$/,"");gsub(/,/,"");
    if ($4>3000&&$4<4000) exit;
    else c4+=$4; }
    END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file
    通过exit在某条件时退出，但是仍执行END操作。
    awk '{gsub(/\$/,"");gsub(/,/,"");
    if ($4>3000) next;
    else c4+=$4; }
    END {printf  "c4=[%d]\n",c4}"' file
    通过next在某条件时跳过该行，对下一行执行操作。


14、awk '{ print FILENAME,$0 }' file1 file2 file3>fileall 把file1、file2、file3的文件内容全部写到fileall中，格式为
    打印文件并前置文件名。
15、awk ' $1!=previous { close(previous); previous=$1 }   
    {print substr($0,index($0," ") +1)>$1}' fileall 把合并后的文件重新分拆为3个文件。并与原文件一致。
16、awk 'BEGIN {"date"|getline d; print d}'         通过管道把date的执行结果送给getline，并赋给变量d，然后打印。 
17、awk 'BEGIN {system("echo \"Input your name:\\c\""); getline d;print "\nYour name is",d,"\b!\n"}'
    通过getline命令交互输入name，并显示出来。
    awk 'BEGIN {FS=":"; while(getline< "/etc/passwd" >0) { if($1~"050[0-9]_") print $1}}'
    打印/etc/passwd文件中用户名包含050x_的用户名。

18、awk '{ i=1;while(i<NF) {print NF,$i;i++}}' file 通过while语句实现循环。
    awk '{ for(i=1;i<NF;i++) {print NF,$i}}'   file 通过for语句实现循环。    
    type file|awk -F "/" '
    { for(i=1;i<NF;i++)
    { if(i==NF-1) { printf "%s",$i }
    else { printf "%s/",$i } }}'               显示一个文件的全路径。
    用for和if显示日期
    awk  'BEGIN {
for(j=1;j<=12;j++)
{ flag=0;
  printf "\n%d月份\n",j;
        for(i=1;i<=31;i++)
        {
        if (j==2&&i>28) flag=1;
        if ((j==4||j==6||j==9||j==11)&&i>30) flag=1;
        if (flag==0) {printf "%02d%02d ",j,i}
        }
}
}'
19、在awk中调用系统变量必须用单引号，如果是双引号，则表示字符串
Flag=abcd
awk '{print '$Flag'}'   结果为abcd
awk '{print  "$Flag"}'   结果为$Flag

 

20、data内容

  1 donald 305 20050129
    2 chin 102 20040129
    3 mark 304 20040229

 

 awk '/a[rl]/ {print $1, $2} {print $3+1}' data

匹配只对第一对花括号产生作用，输出:

    1 donald
    306
    103
    3 mark
    305
 

awk -F[n] '{print $1}' data
 1 do
 2 chi
 3 mark 304 20040229

    awk 'FS="n" {OFS="-"} {print $1, $2}' data

把分隔符输出:

    1-donald
    2 chi- 102 20040129
    3 mark 304 20040229-

 

awk 'BEGIN {FS="n";OFS="-"} {print $1,$2}' data

OFS 输出域分隔符 
 1 do-ald 305 20050129
 2 chi- 102 20040129
 3 mark 304 20040229-

 

awk '{x=x+$3} {print NR, $3, x}' data

使用变量进行累加计算,输出:

    1 305 305
    2 102 407
    3 304 711

x默认初始值为0

 

    awk '{x=x+$3} END {print NR, $3, x}' data

使用BEGIN和END在处理之前或之后显示结果,输出:

    3 304 711
 

awk '{x=x+$3} {print NR, $3, x | "sort -nr"}' data

在awk内使用管道进行排序,输出:

    3 304 711
    2 102 407
    1 305 305

 

  cat command
    {x=x+$3}
    {print NR, $3, x | "sort -nr"}

    awk -f command data

将指定写在文件中,输出:

    3 304 711
    2 102 407
    1 305 305

 

如果简单的输出不能处理您的程序中所需要的复杂信息，则可以尝试由 printf 命令获得的更加复杂的输出，其语法是

printf( format, value, value ...)

该语法类似于 C 语言中的 printf 命令，而格式的规格是相同的。通过插入一项定义如何打印数值的规格，可以定义该格式。格式规格包含一个跟有字母的 %。类似于打印命令，printf 不必包含在圆括号中，但是可以认为使用圆括号是一种良好的习惯。

下表列出 printf 命令提供的各种规格。

规格 说明
%c 打印单个 ASCII 字符
%d 打印十进制数
%e 打印数字的科学计数表示
%f 打印浮点表示
%g 打印 %e 或 %f；两种方式都更简短
%o 打印无符号的八进制数
s 打印 ASCII 字符串
%x 打印无符号的十六进制数
%% 打印百分号；不执行转换

可以在 % 与字符之间提供某些附加的格式化参数。这些参数进一步改进数值的打印方式：

参数 说明
- 将字段中的表达式向左对齐
,width 根据需要将字段补齐到指定宽度（前导零使用零将字段补齐）
.prec 小数点右面数字的最大字符串宽度或最大数量

 

 

BEGIN模式后面跟一个操作模块,如:BEGIN{...},在awk处理输入文件里的任意行之前执行该模块,其实不用任何输入文件就能测试一个BEGIN操作模块,因为直到BEGIN操作模块完成之后,awk才开始读取输入.BEGIN操作通常用来改变OFS,FS,RS等awk内制变量的值.
如:
awk 'BEGIN{FS=":";OFS="\t";ORS="\n"}{print $0}' filename
在处理输入文件之前,把域分隔符FS设定成冒号,输出域分隔符OFS设定成TAB键,并把输出记录分隔符ORS设定成一个换行符.

END模式不于任何输入行匹配,但是执行任何与END模式相关的操作.在所有输入行处理完成之后在处理END模式.
如:
awk 'END{print "some strings" NR }' filename
在awk处理完成文件后再执行END模块,NR的值是度入的最后一条记录号.

 

系统连接状态篇：
1.查看TCP连接状态
netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn

netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}' 或
netstat -n | awk '/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}'
netstat -n | awk '/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"\t",arr[k]}'

netstat -n |awk '/^tcp/ {print $NF}'|sort|uniq -c|sort -rn

netstat -ant | awk '{print $NF}' | grep -v '[a-z]' | sort | uniq -c

2.查找请求数请20个IP（常用于查找攻来源）：
netstat -anlp|grep 80|grep tcp|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -n20

netstat -ant |awk '/:80/{split($5,ip,":");++A[ip[1]]}END{for(i in A) print A[i],i}' |sort -rn|head -n20

3.用tcpdump嗅探80端口的访问看看谁最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr |head -20

4.查找较多time_wait连接
netstat -n|grep TIME_WAIT|awk '{print $5}'|sort|uniq -c|sort -rn|head -n20

5.找查较多的SYN连接
netstat -an | grep SYN | awk '{print $5}' | awk -F: '{print $1}' | sort | uniq -c | sort -nr | more

6.根据端口列进程
netstat -ntlp | grep 80 | awk '{print $7}' | cut -d/ -f1


网站日志分析篇1（Apache）：

1.获得访问前10位的ip地址
cat access.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10
cat access.log|awk '{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}'

2.访问次数最多的文件或页面,取前20
cat access.log|awk '{print $11}'|sort|uniq -c|sort -nr|head -20

3.列出传输最大的几个exe文件（分析下载站的时候常用）
cat access.log |awk '($7~/\.exe/){print $10 " " $1 " " $4 " " $7}'|sort -nr|head -20

4.列出输出大于200000byte(约200kb)的exe文件以及对应文件发生次数
cat access.log |awk '($10 > 200000 && $7~/\.exe/){print $7}'|sort -n|uniq -c|sort -nr|head -100

5.如果日志最后一列记录的是页面文件传输时间，则有列出到客户端最耗时的页面
cat access.log |awk  '($7~/\.php/){print $NF " " $1 " " $4 " " $7}'|sort -nr|head -100

6.列出最最耗时的页面(超过60秒的)的以及对应页面发生次数
cat access.log |awk '($NF > 60 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

7.列出传输时间超过 30 秒的文件
cat access.log |awk '($NF > 30){print $7}'|sort -n|uniq -c|sort -nr|head -20

8.统计网站流量（G)
cat access.log |awk '{sum+=$10} END {print sum/1024/1024/1024}'

9.统计404的连接
awk '($9 ~/404/)' access.log | awk '{print $9,$7}' | sort

10. 统计http status.
cat access.log |awk '{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'
cat access.log |awk '{print $9}'|sort|uniq -c|sort -rn

10.蜘蛛分析
查看是哪些蜘蛛在抓取内容。
/usr/sbin/tcpdump -i eth0 -l -s 0 -w - dst port 80 | strings | grep -i user-agent | grep -i -E 'bot|crawler|slurp|spider'


网站日分析2(Squid篇）

2.按域统计流量
zcat squid_access.log.tar.gz| awk '{print $10,$7}' |awk 'BEGIN{FS="[ /]"}{trfc[$4]+=$1}END{for(domain in trfc){printf "%s\t%d\n",domain,trfc[domain]}}'

效率更高的perl版本请到此下载:http://docs.linuxtone.org/soft/tools/tr.pl

数据库篇
1.查看数据库执行的sql
/usr/sbin/tcpdump -i eth0 -s 0 -l -w - dst port 3306 | strings | egrep -i 'SELECT|UPDATE|DELETE|INSERT|SET|COMMIT|ROLLBACK|CREATE|DROP|ALTER|CALL'



系统Debug分析篇

1.调试命令
strace -p pid

2.跟踪指定进程的PID
gdb -p pid