文本三剑客

目录

grep

awk

工具介绍

awk 命令

awk 常见的内置变量可直接用

awk 命令使用举例

打印磁盘已经使用情况

打印字符串

打印字符串确定文件有多少行

提取 ip地址

打印 /etc/passwd 所有用户名

打印多列内容

提取 /etc/passwd 以 root 开头的行

打印倒数第二行

当前处理的行的行号

NR==n 代表行号，取第几行

NR%2==0 取偶数行；NR%2==1 取奇数行

NR==m,NR==n 取 m到n 区间行

取 uid 数值范围

统计 /etc/fstab 文件中每个文件系统类型出现的次数

提取主机名并放入原文件

统计 /etc/fstab 文件中每个单词出现的次数

提取字符串 Yd$C@M05MB%9&Bdh7dq+YVixp3vpw 中的所有数字

sed

sed 命令

搜索替代

sed 命令使用举例

查看文件，打印全部内容

打印指定行内容

根据地址，打印指定多行内容

打印多行后退出

打印最后一行，使用通配符 $

过滤关键字

#,/关键字/p’ 从第 #行 开始匹配

‘/关键字/,#’ 找到第 #个 关键字为止

打印文本的奇数/偶数行

删除指定行

删除指定的多行

删除汇总

插入

变量

分组调用

提取ip地址

---

grep

—— 格式：grep 选项 查找条件 目标文件

选项	作用
-color=auto	对匹配到的文本着色显示，自带的功能
-m 数字	匹配 多少次后停止 （多个匹配只取第一个）
-v	显示不被 pattern 匹配到的行，即取反
-i	忽略字符大小写
-n	显示匹配的行号
-c	统计匹配的行数
-o	仅显示匹配到的字符串
-q	静默模式，不输出任何信息
-A	匹配到的行后 n 行显示出来
-B	前 n 行
-C	前后各 n 行
-e	实现多个选项间的逻辑或者关系
-E	使用ERE，相当于 egrep
-F	不支持正则表达式，相当于 fgrep
-f	file 根据模式文件，处理两个文件相同内容 把第一个文件作为匹配条件
-r	递归目录，但不处理软链接
-R	递归目录，但处理软链接
-w	匹配整个单词

---

awk

工具介绍

• awk 是一种处理文本文件的语言，是一个强大的文本分析工具

• 可以在无交互的模式下实现复杂的文本操作

• 相较于 sed 常作用于一整个行的处理，awk 则比较倾向于一行当中分成数个字段来处理，因为awk 相当适合小型的文本数据

awk 命令

—— 格式：awk 选项 '表达式{处理动作}'

选项	作用
-F	指定分隔符
-v	自定义变量
-f	脚本

awk 常见的内置变量可直接用

选项	作用
FS	列分割符；指定每行文本的字段分隔符，默认为空格或制表位；与 "-F" 作用相同
NF	当前处理的行的字段个数
NR	当前处理的行的行号（序数）
$0	当前处理的行的整行内容
$n	当前处理行的第n个字段（第n列）
FILENAME	被处理的文件名
RS	行分隔符；awk 从文件上读取资料时，将根据 RS 的定义把资料切割成许多条记录，而 awk 一次仅读入一条记录，以进行处理，预设值是 ’\n’
OFS	输出时的分隔符

awk 命令使用举例

打印磁盘已经使用情况

打印字符串

打印字符串确定文件有多少行

提取 ip地址

打印 /etc/passwd 所有用户名

打印多列内容

提取 /etc/passwd 以 root 开头的行

打印倒数第二行

当前处理的行的行号

NR==n 代表行号，取第几行

NR%2==0 取偶数行；NR%2==1 取奇数行

NR==m,NR==n 取 m到n 区间行

取 uid 数值范围

统计 /etc/fstab 文件中每个文件系统类型出现的次数

提取主机名并放入原文件

统计 /etc/fstab 文件中每个单词出现的次数

提取字符串 Yd$C@M05MB%9&Bdh7dq+YVixp3vpw 中的所有数字

---

sed

—— 格式：sed 选项 {脚本(如果没有其他脚本)} 输入文件

—— sed 是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到最后一行；每当处理一行时，把当前处理的行存储在临时缓冲区中，称为模式空间（PatternSpace），接着用 sed 命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾；一次处理一行的设计模式使得 sed 性能很高，sed 在读取大文件时不会出现卡顿的现象；如果使用 vi 命令打开 几十M上百M 的文件，明显会出现有卡顿的现象，这是因为 vi 命令打开文件是一次性将文件加载到内存，然后再打开；sed 就避免了这种情况，一行一行的处理，打开速度非常快，执行速度也很快

sed 命令

—— sed 选项 自身脚本语法 支持标准输入管道

选项	作用
-n	不输出模式空间内容到屏幕，即不自动打印
-e	多项编辑
-f	从指定文件中读取编译脚本
-r	使用扩展正则表达式
-i	备份文件并原处编辑

常用操作

选项	作用
s	替换，替换指定字符
d	删除，删除选定的行
a	增加，在当前行下面增加一行指定内容
i	插入，在选定行上面插入一行指定内容
c	替换，将选定行替换为指定内容
Y	字符转换，转换前后的字符长度必须相同
p	打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容; 如果有非打印字符，则以 AscII 码输出。其通常与_n"选项一起使用
=	打印行号
l（小写的L）	打印数据流中的文本和不可打印的 ASCII 字符（比如结束符 s、制表符 \t）

搜索替代

—— 格式：sed 行范围 s/旧字符串/新字符串/替换标记

—— 替换标记

1. 数字 ：表明新字符串将替换第几处匹配的地方

2. g ： 表明新字符串将会替换所有匹配的地方

3. p ： 打印与替换命令匹配的行，与 -n 一起使用

4. w 文件 ：将替换的结果写到文件中

将test里凡是带r..t的字段后面都加上er

—— sed -n 's/r..t/&er/g' test

sed 命令使用举例

sed ''    ：交互模式输入一行，自动打印一行相同的
​
sed -n '' ：交互模式输入一行，关闭自动打印
​
sed -n '' ：加上p又恢复自动打印

查看文件，打印全部内容

打印指定行内容

根据地址，打印指定多行内容

打印多行后退出

打印最后一行，使用通配符 $

过滤关键字

#,/关键字/p’ 从第 #行 开始匹配

‘/关键字/,#’ 找到第 #个 关键字为止

打印文本的奇数/偶数行

删除指定行

删除指定的多行

删除汇总

sed '$d'  test                  #删除最后一行
​
sed '/^$/d' test              #删除空格
​
sed 'd' test                     #全部删除
​
sed '/d$/d' test              #删除以d结尾的行
​
sed '/d$/!d' test             #！取反，删除除了以d结尾的行
​
sed '/a/,/c/d'   test         #删除从a开头的到c开头的，不论a-c之间有多少行都会被删除，直到匹配不到为止
​

插入

sed '/aa/c xxx' test      #将第一行的aa替换成xxx，c默认是替换第一行
​
sed '3c hhh'  test        #将第三行，全部替换成hhh
​
sed '1,3a  6666' test     #在1-3行的下面增加6666
​
sed '1,3i  6666' test     #在1-3行上面增加6666
​
sed '2r /opt/hyh' test   #r读入，在第二行下面，读入opt下的hyh文件内容
​

变量

sed -nr "/$name/p" /etc/passwd 
#提取变量用户名
#变量需要加双引号
​

分组调用

#只有扩展正则表达式才能支持分组。
​
#分组使用（）（），调用第一段使用\1
​
echo  11aaxx |sed -r 's/(11)(aa)(xx) /\1/'   #调用第一组
​
11
​
echo  11aaxx |sed -r 's/(11)(aa)(xx) /\2/'   #调用第二组
​
aa
​
echo  11aaxx |sed -r 's/(11)(aa)(xx) /\1\2/'  #调用第一、二组
​
11aa
​
echo  11aaxx |sed -r 's/(11)(aa)(xx) /\1\2\3/'  #调用所有分组
​
11aaxx
​

提取ip地址

ifconfig ens32 |sed -rn '2s/.*(inet) ([0-9.]+)  (netmask) ([0-9.]+)  (broadcast) ([0-9.]+).*/\2/p'