文本三剑客&正则表达式3

文本三剑客&正则表达式3

1 awk工作原理

• sed命令常用于一整行的处理

  • 而awk比较**倾向于将一行分成多个“字段”**然后再进行处理
    • 且默认情况下字段的分隔符为空格或 tab 键

• awk 执行结果可以通过 print 的功能将字段数据打印显示

2 awk的基本格式及其内置变量

2.1 基本格式

awk 选项 '模式或条件 {操作}' 文件1 文件2...

• F “分隔符”

  • 指明输入时用到的字段分隔符，默认的分隔符是若干个连续空白符

• v(小v) var=value 变量赋值

注意一定是单引号

‘模式或条件 {操作}’

{ }外指定条件，{ }内指定操作

用逗号指定连续的行、用 || 指定不连续的行、**&&**表示”且“

---

2.2 内置变量

内建变量，不能用双引号括起来，不然系统会把它当成字符串

内置变量	意义
$0	当前处理的行的整行内容
$n	当前处理行的第n个字段（第n列）
NR	当前处理的行的行号（序数）
NF	当前处理的行的字段个数,##$NF代表最后一个字段
FS	指定每行文本的字段分隔符，输入内容的分隔符 默认为空格或制表位。与"-F"作用相同 用-F可以不加单引号 -F:，用FS必须用=“”
OFS	输出内容的列分隔符
FILENAME	被处理的文件名
RS	行分隔符

2.3 示例

2.3.1 直接打印所有内容

2.3.2 取每一行的第一列

2.3.3 打印行号，及所有内容

2.3.4 打印第三行

2.3.5 打印2-4行

2.3.6 打印第2行和第4行

2.3.7 用正则表达式打印2-4行

2.3.8 打印偶数行

2.3.9 打印奇数行

3 awk的运算

可以进行小数和整数的运算

还能进行幂的计算

3.1 算100+200的和

3.2 求3的2次方

---

4 getline

4.1 getline的工作过程

• 当getline左右**无重定向符号（“<”）或者管道符号（“|”）**时

  • awk首先读取的是第一行，
  • 而getline获取的是光标跳转至下一行的内容（也就是第二行）

• 当getline左右有管道符号或重定向符时

  • getline则作用定向输入文件，由于文件是刚打开，并没有被awk读入一行,而只是getline读入，所以getline返回的是文件的第一行，而不是跳转至一行输入

原因：getline运行之后awk会改变NF,NR,$0，FNR等内部变量，所以此时读取$0的行号不再为1，而是2

4.2 示例

4.2.1 打印偶数行

4.2.2 打印奇数行

4.2.3 把test1的内容传给函数getline，getline获取后把他打印出来并传给test

4.2.4 把ls的结果传给函数getline后，赋值给变量line，并把line的值打印出来

---

5 文本内容匹配过滤打印

5.1 打印出以root开头的

5.2 打印出以bash结尾的

---

6 BEIGIN模式指定BEGIN打印模式

格式：awk 'BEGIN{...};{...};END{...}' 文件

6.1 处理过程

1. 在awk处理指定的文本之前，需要先执行BEGIN{…}模式里的命令操作

2. 中间的**{…} 是真正用于处理文件的命令操作**

3. 在awk处理完文件后才会执行END{…}模式里的命令操作。END{ }语句块中，往往会放入打印结果等语句。

x的变量范围是根据文本中内容的行数来的

7 对字段进行处理打印

7.1 以：为分隔符，打印第一列

7.2 -v的用法：变量赋值

7.2.1 将输入的时候的分隔符：改成+输出，打印第一列和第三列

7.2.2 以：为分隔符，换行输出

#默认就是换行输出，不需要改

7.3 BEIGIN模式指定打印内容

以：为分隔符打印第一列

7.4 条件判断打印

7.4.1 如果第三列uid大于500，打印出来

7.4.2 如果第三列uid不大于500，打印出来

---

8 awk的三元表达式与精准筛选用法

awk的三元表达式继承了java的用法，格式与Java相似

格式：awk '(条件表达式)?(A表达式或者值):(B表达式或者值)'

以：为分隔符，如果$3大于$4,则打印$3，否则打印$4

awk的精准筛选

$n(> < ==): 用于对比数值

$n~"字符串": 代表第n个字段包含某个字符串

$n!~"字符串": 代表第n个字段不包含某个字符串

$n=="字符串": 代表第n个字段为某个字符串

$n!="字符串": 代表第n个字段不为某个字符串

$NF: 代表最后一个字段

8.1 输出第七个字段包含“bash”所在行的第一个字段和最后一个字段

8.2 输出第七个字段不包含“nologin”所在行的第一个字段和最后一个字段

8.3 输出第六个字段为/home/qiao,第七个字段为/bin/bash的这些行的第一列和最后一列

8.4 指定输出的分隔符

• OFS：输出内容的列分隔符（$n=$n用于激活，否则不生效，n必须存在）

• 对于输出时改变分隔符，我们常用到tr，awk，它们都可以实现在输出内容改变原本的分隔符
  
  

9 数组

9.1 定义数组打印

9.2 awk中的数组形成遍历,在awk中打印变量不需要加$

9.3 数组去重

1. 索引号可以是数字，字符

2. 统计索引号出现的次数

3. 遍历行数

9.4 索引号是文本里面的内容，对索引号进行计数