文本三剑客----awk
目录
一，awk工作原理
二，awk中常见的内建变量（可以直接使用）
三，举例说明
3.1按行输出文本内容
3.2输出指定行内容
3.3输出奇数行，偶数行内容
3.4特别用法
3.5如何提取再放回来
3.6提取IP地址
四，总结
一，awk工作原理
逐行读取文本，默认以空格为分隔符进行分隔，将分隔所得的各个字段保存在内建变量中，并按照模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”，然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过 print 的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑操作符"&&“表示"与”、"||“表示"或”、"!“表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
二，命令格式
awk 选项 '模式条件{操作}' 文件1 文件2
awk -f|-v 脚本文件 文件1 文件2二，awk中常见的内建变量（可以直接使用）
FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
NF：当前处理的行的字段个数。
NR：当前处理的行的行号(序数)
$0：当前处理的行的整行内容。
$n：当前处理行的第n个字段(第n列)
FILENAME：被处理的文件名。
RS：行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’
三，举例说明
3.1按行输出文本内容
[root@localhost ~]# df |awk '{print $5}'
已用%
10%
0%
0%
1%
0%
18%
1%
0%
1%有个特殊的情况，如果使用字符串，无论输出的什么打印都是字符。后面加位置就是行数。
[root@localhost ~]# awk '{print "hellow"}'
1
hellow
2
hellow
3
hellow
4
hellow
^C
[root@localhost ~]# awk '{print "hellow"}' /etc/passwd
hellow
hellow
hellow
hellow
hellow
hellow
hellow
hellow
hellow
hellow3.2输出指定行内容
awk 'NR==1, NR==3{print}' /etc/passwd #输出第1-3行内容
awk '(NR>=1) && (NR<=3) {print}' /etc/passwd #输出第1-3行内容
awk 'NR==1 || NR==3 {print}' /etc/passwd #输出第1行、第3行内容
举例说明：
[root@localhost ~]# cat /etc/passwd|awk 'NR==1,NR==3{print}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@localhost ~]# cat /etc/passwd|awk '(NR>=1)&&(NR<=3){print}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@localhost ~]# cat /etc/passwd|awk 'NR==1||NR==3{print}'
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
3.3输出奇数行，偶数行内容
awk '(NR%2)==1{print}' /etc/passwd #输出奇数行
awk '(NR%2)==0{print}' /etc/passwd #输出偶数行
[root@localhost ~]# cat /etc/passwd|awk '(NR%2)==1{print}'
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
3.4特别用法
BEGIN模式表示：在处理指定的文本之前，需要先执行BEGIN模式中指定的动作； awk再处理指定的文本，之后再执行END模式中指定的动作，END{} 语句块中，往往会放入打印结果等语句。
awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd
#统计以/bin/bash结尾的行数,等同于
grep -c "/bin/bash$" /etc/passwd
3.5如何提取再放回来
[root@localhost lgy]# cat 23.txt |awk -F "[.]" '{print $1}' >>23.txt
[root@localhost lgy]# cat 23.txt
1 www.kgc.com
2 mail.kgc.com
3 ftp.kgc.com
4 linux.kgc.com
5 blog.kgc.com
www
mail
ftp
linux
blog3.6提取IP地址
[root@localhost ~]# ifconfig ens33|sed -n '2p'|awk '{print $2}'
192.168.189.100
[root@localhost ~]# hostname -I |awk '{print $1}'
192.168.189.100
练习题：
1.统计/etc/fstab文件中每个文件系统类型出现的次数
[root@localhost ~]# cat /etc/fstab |sed -n '9,$p'|awk '{print $3}'|sort|uniq -c
1 swap
3 xfs
2.统计/etc/fstab文件中每个单词出现的次数
[root@localhost ~]# egrep -o "\<[[:alpha:]]+\>" /etc/fstab |sort |uniq -c |sort -n
1 aada
1 Accessible
1 anaconda
1 and
1 are
1 blkid
1 boot
1 Created
1 disk
1 etc
1 filesystems
3.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字
[root@localhost ~]# echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw"|grep -Eo "[0-9]+"
05
9
7
3
4.提取主机名并放入原文件
[root@localhost ~]# awk -F"[/.]" '{print $3}' 1.txt >>1.txt
[root@localhost ~]# cat 1.txt
http://mail.kgc.com/index.html
http://www.kgc.com/test.html
http://study.kgc.com/index.html
http://blog.kgc.com/index.html
http://www.kgc.com/images/logo.jpg
http://blog.kgc.com/20080102.html
http://www.kgc.com/images/kgc.jpg
mail
www
study
blog
www
blog
www
四，总结
学习了awk，最主要学会如何进行过滤等。