文本处理三剑客之sed编辑器和awk

一、sed编辑器

grep、sed、awk是文本处理三剑客

sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。
sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。

sed 的工作流程及命令格式

sed 的工作流程主要包括读取、执行和显示三个过程:
●读取:sed从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间，pattern space)
●执行:默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。
●显示:发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，.上述过程将重复执行，直至所有内容被处理完。

在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。
注意:默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

命令格式:
sed -e ‘操作’ 文件1 文件2
sed -n -e ‘操作’ 文件1 文件2
sed -f 脚本文件 文件1 文件2 …
sed -i -e ‘操作’ 文件1 文件2 …

sed -e 'n{
操作1
操作2
}'文件1文件2 …

常用选项:
-e或–expression=:表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用
-f或- -file=:表示用指定的脚本文件来处理输入的文本文件。
-h或–help:显示帮助。
-n、- -quiet或silent:禁止sed编辑器输出，但可以与p命令一起使用完成输出。
-i:直接修改目标文本文件。

常用操作:
s:替换，替换指定字符。
d: 删除，删除选定的行。
a:增加，在当前行下面增加一行指定内容。
i:插入，在选定行上面插入一zai行指定内容。
c:替换，将选定行替换为指定内容。
y:字符转换，转换前后的字符长度必须相同。
p:打印，如果同时指定行，表示打印指定行;如果不指定行，则表示打印所有内容;如果有非打印字符，则以ASCII码输出。其通常与“-n”选项一起使用。
=:打印行号。
l (小写L):打印数据流中的文本和不可打印的ASCII字符(比如结束符$、制表符\t)

打印内容:

打印内容:
sed -n -e 'p' testfile1
sed -n -e '=' testfile1
sed -n -e 'l' testfile1
sed -n -e '!=;p' testfile1
sed -n -e '=' -e 'p' testfile1

sed -n '
>=
>p
> ' testfile1

sed -n -e ‘p’ testfile1 　　　　　 #打印出testfile1的内容，一般只有一个操作命令时可省略-e

sed -n -e ‘=’ testfile1　　　　　＃打印出testfile１的内容的行号

sed -n -e ‘l’ testfile1　　　　 #打印数据流中的文本和不可打印的ASCII字符(比如结束符$、制表符\t)

sed -n -e ‘=’ -e ‘p’ testfile1 　　　　　＃输出testfile１的行号和内容
sed -n -e ‘!=;p’ testfile1 　　　　　　＃不输出行号，至输出内容

使用地址:

sed编辑器有2种寻址方式:
1、以数字形式表示行区间
2、用文本模式来过滤出行

sed -n '1p' testfile1			   	 #打印第一行
sed -n '$p' testfile1				 #打印最后一行
sed -n '1,3p' testfile1				 #打印1-3行
sed -n '3, $p' testfile1			 #打印3至最后一行
sed -n '1, +3p' testfile1        	 #打印1之后的连续3行，即1-4行
sed '5q' testfile1 		       		 #打印前5行信息后退出，q表示退出
sed -n 'p;n' testfile1				 #打印奇数行; n表示移动到下一行
sed -n 'n;p' testfile1				 #打印偶数行
sed -n '2,${n;p}' testfile1			 #打印从3开始的奇数行

sed -n '/user/p' /etc/passwd		 #打印/etc/passwd中含有user的行
sed -n '/^a/p' /etc/passwd			 #打印/etc/passwd中以a开头的行
sed -n '/bash$/p' /etc/passwd		 #打印出/etc/passwd中以/bash结尾的行
sed -n '/ftp\|root/p' /etc/passwd	 #打印出带有root或ftp的行
sed -n '2,/nobody/p' /etc/passwd	 #打印出第二行到第一个带有nobady的行
sed -n '2,/nobody/=' /etc/passwd	 #打印出第二行到第一个带有nobady的行的行号
sed -nr '/ro{1,}t/p' /etc/passwd	 #-r表示支持正则表达式　＃打印出以ｒ开头至少有一个ｏ的单词的所在行

sed -n ‘1p’ testfile1　　　 #打印第一行

sed -n ‘$p’ testfile1　　　 #打印最后一行

sed -n ‘1,3p’ testfile1　　　#打印1-3行

sed -n ‘3, $p’ testfile1　　　 #打印3至最后一行

sed -n ‘1, +3p’ testfile1　　　#打印1之后的连续3行，即1-4行

sed ‘5q’ testfile1 　　　　　#打印前5行信息后退出，q表示退出

sed -n ‘p;n’ testfile1 　　　#打印奇数行; n表示移动到下一行

sed -n ‘n;p’ testfile1 　　　 #打印偶数行

sed -n ‘2,${n;p}’ testfile1　　　　 #打印从3开始的奇数行

sed -n ‘/user/p’ /etc/passwd 　　　 #打印/etc/passwd中含有user的行

sed -n ‘/^a/p’ /etc/passwd　　　　　＃打印出/etc/passwd中以a开头的行

sed -n ‘/bash$/p’ /etc/passwd #打印出/etc/passwd中以/bash结尾的行

sed -n ‘/ftp|root/p’ /etc/passwd　　　＃打印出etc/passwd中带有ftp或root的行

sed -n ‘2,/nobody/p’ /etc/passwd　　　＃打印出第二行到第一个带有nobady的行
sed -n ‘2,/nobody/=’ /etc/passwd　　　＃打印出第二行到第一个待遇哦nobady的行的行号

sed -nr ‘/ro{1,}t/p’ /etc/passwd 　　　＃打印出以ｒ开头至少有一个ｏ的单词的所在行

删除行:

sed 'd' testfile1					#全删
sed '3d' testfile1					#删除第三行
sed '2,4d' testfile1				#删除2-4行
sed '$d' testfile1					#删除最后一行
sed '/^$/d' testfile1				#删除空行
sed '/nologin$/d' /etc/passwd		#删除/etc/passwd中以/nologin结尾的行
sed '/nologin$/!d' /etc/passwd		#“!”表示取反操作;
sed '/2/,/3/d' testfile2			#从第一个位置打开行删除功能，到第二个位置关闭行删除功能
sed '/1/,/3/d' testfile2

sed ‘d’ testfile1　　　　　#全删

sed ‘3d’ testfile1　　　　　　　　　　　　　#删除第三行

sed ‘2,4d’ testfile1　　　　　　　　　　　　#删除2-4行

sed ’ $ d’ testfile1　　　　　　　　　　　　#删除最后一行

sed ‘/^$ /d’ testfile2　　　　　　　　　　　　#删除空行

sed ‘/bash$ /d’ /etc/passwd　　　　　　　#删除/etc/passwd中以/nologin结尾的行

sed ‘/bash$/!d’ /etc/passwd　　　　　　　#“!”表示取反操作;即除了以bash结尾的行,其他的全部删除掉

sed ‘/1/,/4/d’ testfile2　　　　　　　　　　　#从第一个位置(1)打开行删除功能，到第二个位置(4)关闭行删除功能

替换:

行范围 s/旧字符串/新字符串/替换标记

4种替换标记:
数字:表明新字符串将替换第几处匹配的地方
g:表明新字符串将会替换所有匹配的地方
p:打印与替换命令匹配的行，与-n一起使用
w文件:将替换的结果写到文件中

sed -n 's/root/admin/p' /etc/passwd 	 #把搜索出的root的所在行的第一个root替换成admin打印出来
sed -n 's/root/admin/2p' /etc/passwd	 #把搜索出的root的第二个root替换成admin打印出来
sed -n 's/root/admin/gp' /etc/passwd	 #把搜索出的所有的root替换成admin打印出来
sed -n 's/root//gp' /etc/passwd			 #把搜索出的所有的root替换成空格打印出来
sed -n '1,20 s/^/#/p' /etc/passwd		 #把1-20行的行首添加#打印出来
sed '/^root/ s/$/#/' /etc/passwd		 #把以root开头的行搜索出来,在行尾添加#,打印出来
sed -f script.sed testfile2 			 #把脚本中的命令来执行testfile2
sed '1, 20w out.txt' /etc/passwd		 #把/etc/passwd的1-20行的内容存到out.txt中
sed '1,20 s/^/#/w out.txt' /etc/passwd	 #把/etc/passwd的1-20行内容在行首添加#,并存到out.txt中
sed -n 's/\/bin\/bash/\/bin\/csh/p' /etc/passwd #把/bin/bash替换成/bin/csh
sed -n 's!/bin/bash!/bin/csh!p' /etc/passwd		#使用“!”作为字符串分隔符

sed -n ‘s/root/admin/p’ /etc/passwd #把搜索出的root所在行的第一个root替换成admin

sed -n ‘s/root/admin/2p’ /etc/passwd #把搜索出的root第二个root替换成admin

sed -n ‘s/root/admin/gp’ /etc/passwd #把搜索出的root所有的root替换成admin

sed -n ‘s/root//gp’ /etc/passwd #把搜索出的所有的root替换成空格打印出来

sed -n ‘1,20 s/^/#/p’ /etc/passwd #把1-20行的行首添加#打印出来

sed ‘/^root/ s/$/#/’ /etc/passwd #把以root开头的行搜索出来,在行尾添加#,打印出来

sed ‘1, 5w out.txt’ /etc/passwd #把/etc/passwd的1-5行的内容存到out.txt中

sed ‘1,5 s/^/#/w out.txt’ /etc/passwd #在前五行的行首添加了’#’

sed -n ‘s!/bin/bash!/bin/csh!p’ /etc/passwd #把/bin/bash替换成/bin/csh

插入:

sed '/45/c ABC' testfile2				#把45替换成ABC
sed '/45/ y/45/AB/' testfile2			#不常用,可忽略
sed '1,3a ABC' testfile2				#在第1行和第3行的下边插入ABC
sed '1i ABC' testfile2					#在第1行的上边插入ABC
sed '5r /etc/resolv.conf' testfile2	    #r--read 把etc/resolv.conf读入到testfile2的第5行下边
sed '/root/{H;d};$G' /etc/passwd		#将包含root的行剪切到末尾，H表示复制到剪切板，G表示粘贴到指定行后
sed '1,2H;3, 4G' /etc/ passwd			#将1、2行复制到3和4行的下面

二、awk

工作原理:

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命。
sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”;还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

命令格式:
awk 选项 '模式或条件 {操作}' 文件1 文件2...
awk -f 脚本文件 文件1 文件2

awk常见的内建变量( 可直接用)如下所示: 
FS:列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
NF:当前处理的行的字段个数。
NR: 当前处理的行的行号(序数)。
$0: 当前处理的行的整行内容。
$n: 当前处理行的第n个字段(第n列)。
FILENAME:被处理的文件名。
RS:行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是'\n'

按行输出文本:

awk '{print}' testfile2						 #输出所有内容
awk '{print $0}' testfile2					 #输出所有内容
awk 'NR==1,NR==3{print}' testfile2			 #输出第1~3行内容.
awk '(NR>=1) && (NR<=3) {print}' testfile2	 #输出第1~3行内容
awk 'NR==1||NR==3{print} ' testfile2		 #输出第1行、第3行内容
awk '(NR%2)==1{print} ' testfile2		   	 #输出所有奇数行的内容
awk '(NR%2)==0{print}' testfile2			 #输出所有偶数行的内容
awk '/^root/{print}' /etc/passwd			 #输出以root 开头的行
awk '/nologin$/{print}' /etc/passwd 		 #输出以nologin 结尾的行
awk 'BEGIN {x=0};/\/bin\/bash$/ {x++} ;END {print X}' /etc/passwd		#统计以/bin/bash结尾的行数，等同于grep -c
"/bin/bash$" /etc/ passwd

注:BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作; awk再 处理指定的文本，之后再执行END模式中指定的动作，END{ }语句块中，往往会放入打印结果等语句

按字段输出文本：

awk -F ":" ' {print $3}' /etc/passwd			#输出每行中（以空格或制表位分隔）的第3个字段
awk -F ":" '{print $1,$3}' /etc/passwd		#输出每行中的第1、3个字段
awk -F ":" '$3<5{print $1,$3}' /etc/passwd	#输出第3个字段的值小于5的第1、3个字段内容
awk -F ":" '!($3<200) {print}' /etc/passwd	#输出第3个字段的值不小于200的行
awk 'BEGIN {FS=":"};{if ($3>=200) {print}}' /etc/passwd #先处理完BEGIN的内容，再打印文本里面的内容
awk -F ":" '{max= ($3>$4)?$3:$4;{print max}}' /etc/passwd
#($3>$4)?$3:$4三元运算符，如果第3个字段的值大于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max
awk -F ":" '{print NR,$0}' /etc/passwd		#输出每行内容和行号，每处理完一条记录，NR值加1
awk -F ":" '$7~"/bash"{print $1}' /etc/passw	#输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
awk -F ":" '($1~"root")&&(NF==7) {print $1,$2}' /etc/passwd #输出第1个字段中包含root且有7个字段的行的第1、2个字段
awk -F ":" '($7!="/bin/bash") && ($7!="/sbin/nologin") {print}' /etc/passwd
#输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行

通过管道、双引号调用Shell命令:

echo $PATH | awk 'BEGIN{RS=":"};END{print NR}'
#统计以冒号分隔的文本段落数，END{}语句块中，往往会放入打印结果等语句

awk -F: '/bash$/ {print | "wc -l"} ' /etc/passwd	#调用wc -l命令统计使用bash的用户个数，等同grep-c "bash$" /etc/passwd

free -m | awk '/Mem:/ {print int ($3/($3+$4)*100) "g"} '		#查看当前内存使用百分比.
top -b -n 1 | grep Cpu | awk -F ',' '{print $4}' | awk '{print $1}'					
#查看当前CPU空闲率，(-b -n 1表示只需要1次的输出结果)

date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"
#显示上次系统重启时间，等同于uptime; second ago为显示多少秒前的时间，+"%F %H:%M:%S"等同于+"%Y-%m-%d%H:%M:%S"的时间格式

awk 'BEGIN {n=0; while ("w" | getline) n++ ; {print n-2}}' 	#调用w命令,并用来统计在线用户数
awk 'BEGIN {"hostname" | getline ; {print $0}}'			#调用hostname, 并输出当前的主机名

seq 10 | awk '{getline; print $0}'
seq 10 | awk '{print $0; getline}'

注:当getline左右无重定向符“<”或“|”时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。
当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。