Linux学习日记 —— shell 编程文本三剑客之 awk
awk 是什么？
awk 和 sed、grep 一样，是 Linux 当中处理文本文件非常好用的一个命令，它是Linux中的一个行处理器，它的处理过程是：格式化文本信息后，依次对行进行操作，并输出对应内容。
awk 的完整用法： awk -？ ‘BEGIN{语法} /字段选择/ {print ; 语句} END{XXXX}’
awk 用法解析：
’-?'
| -? 内容 | 用法 |
|---|---|
| -F | 指定分割符 |
| -f | 调用脚本 |
| -v | 引入shell变量，可以自己定义变量 |
BEGIN{语法}
- **BEGIN：**初始化代码块，在对每一行进行处理之前，初始化代码；
- **{语法}：**命令代码块，里面可以包含一条或者多条命令，多条命令之间用分号(;)进行分隔开，在BEGIN这里的打括号里接的代码内容多是：初始化全局变量 、设置分割符 等。
/字段选择/ {print ; 语句}
- / xxxx /： 这里的字段选择内容可以选择你想匹配的代码块，也可以是字符串，还能使用正则表达式对目的字段进行选择；
- {语句 ; 语句}： 这里也是可以接多条语句，用的最多的就是 print 语句，可以暑促想要匹配的文本内容。
END{XXXX}
- END： 结尾代码块，在对每一行进行处理之后再执行的代码块;
- {XXXX}： 这里主要接的是进行最终计算或输出最后结果的代码语句。
awk 用法简易展示
在这里对后面展示出现的 $0 的含义进行解释， $0 在 awk 中指的是当前选中的行的内容，后面的 $1、$2 … $n 等都是指的是第 n 列的内容。
awk '{print $1,$5}'
# 截取第一列和第五列（awk默认把所有的空白当作分隔符）
awk '$1 ~ /RX/ {print $0}'
# 匹配第一列是RX的 并输出一整行
这里可以观察和一下该命令的效果，必须要第一列是 RX 才会输出对应行的内容。
awk '$x ` /xxx/ && $y ~ /xxxxx/ || $a ~ /xxxxxx/ && $b ~ /xxxxxxxa/ {print}'
# 这一段话的意思是 满足第x列和第y列的条件或者满足第a列和第b列的条件就能输出
# 同样 可以在这里看出，在 linux 中，and 比 or 的优先级更高
看看效果，oh，这个效果真好用！
awk '$0 ` /RX.*XXXX|TX.*XXXXXX/{print xxx}'
# 如果行满足RX 或者 TX这两个中的一个条件 就输出什么什么
按照惯例，直接上手看看：
这里是选中里面含有 ame 或者 AMEAME 这两个文本内容行，然后输出选中行文本的第一列的元素。这个还蛮好玩的。
- 来一段有点难度的 awk 代码玩一玩！
cat /etc/passwd |awk -F: 'BEGIN{i=0;m=0;n=0}{if($3==0)print $1,"管理员",i++;else if($3>=1&&$3<=999)print $1,"程序用户",m++;else print $1,"普通用户",n++}END{print "管理员有"i"个，程序用户有"m"个，普通用户有"n"个。"}'
# 让我们一起来统计一下当前 Linux 系统中有多少管理员用户、程序用户和普通用户
要彻底理解这串代码之前，我们先 cat /etc/passwd：
我们可以看到每一行对应的是一个用户，每一行的第一个数字(x:num 数字指的就是 x 对应的第一个num)就是该用户的等级：
| num | 用户 |
|---|---|
| 0 | 管理员用户 |
| 大于0，小于1000 | 程序用户 |
| 其他 | 普通用户 |
这里我们粗略的看一下，似乎没有什么普通用户，我们使用 useradd 来新建几个。
ok 现在我们新建了几个 wangchunyu 的用户，可以看到他们都属于普通用户，好的现在来解析这串 awk 的长代码：
- 这里我将 awk 按照博主前面的分段介绍的方式进行分段解释，这里不要直接复制代码使用
awk -F:
- 这里对应的是 awk 的 -? 这一段，-F 的意思是指定分割符，所以这一块的意义是指将这个文件中的 : 视为分割符
BEGIN{
i=0;m=0;n=0}
- 这里 BEGIN 在代码的一开始新建了3个元素 i、m、n 用来计数
{
if($3==0)print $1,"管理员",i++;else if($3>=1&&$3<=999)print $1,"程序用户",m++;else print $1,"普通用户",n++}
- 这里是 //{
} 代码段，由于不需要进行字段匹配所以 // 内容为空 可以不写
- 然后{
}中间是一个 if 流程控制语句，判断第三列的数值所属区间(这里通过看上面 cat /etc/passwd 的内容可以发现，以:为分割符的情况下，代表用户等级的数字处在第三列)
- 通过对第三单列的用户等级数值的判断，分别使用 i、m、n 来分别计数，统计不同用户的数量
END{
print "管理员有"i"个，程序用户有"m"个，普通用户有"n"个。"}'
- 最后用 END 块在 awk 语句执行完毕只会做最后统计数值的输出
代码分析过程到此结束，我们一起来看看运行的结果如何：
嗯~ 就和吃了蜂王浆一样舒服！
awk 支持的函数
这后面的内容比较多，就不再一个个的使用展示了
下面提到的函数可以放在 {} （命令代码块） 中使用
字符函数 String Functions
- length()
- match(s,r,[,a])
- patsplit
- split(s,a[,r[,seps]])
- sub()
- index()
数学函数
- atan2(y,x): 反正切函数
- cos(x): 余弦函数
- sin(x): 正弦函数
- exp(x):以自然对数e为底指数函数
- log(x): 计算以e为底的对数值
- sqrt(x): 开根号
- sqrt(x*x)可以达到取绝对值的目的
- int(x): 将数值转换成整数
- rand(): 返回0-1的一个随机数值，不包含1
- srand([expr]): 设置随机种子，一般与rand函数一致
进程和进程之间通信的方式
- 共享内存
- 信号量
- 信号
- 管道
- 队列
来举几个 awk 中通信的例子
sg="wangchunyu"
echo $sg
# 输出 wangchunyu
echo | awk '{print $sg}'
# 输出为空
echo | awk -v bsg=$sg '{print bsg}'
# 输出 wangchunyu
在 awk 中想访问外部定义的变量 需要通过 -v 将外部变量的值赋值给自己定义一个 shell 变量，才能达到正常输出的效果。
awk 的一些基本用法的学习到这里就结束了，如果想看更多请关注这个走在学习路上的博主，周更学习日志。
Linux文本三剑客 - sed.
Linux文本三剑客 - grep （正在写作中）
如果想学习更多，欢迎来访 三创.