Linux基础_文本处理三剑客之SED

讲师_@王晓春

处理文本的工具sed

• Stream EDitor, 行编辑器
• sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环。如果没有使诸如‘D’的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
• 功能：主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等
• 参考： http://www.gnu.org/software/sed/manual/sed.html

sed工具

• 用法：
  sed [option]... 'script' inputfile...

[option]	注释
-n	不输出模式空间内容到屏幕，即不自动打印
-e	多点编辑
-f /PATH/SCRIPT_FILE	从指定文件中读取编辑脚本
-r	支持使用扩展正则表达式
-i.bak	备份文件并原处编辑

script

地址定界：

常用选项	注释
不给地址	对全文进行处理
单地址
#	指定的行，
$	最后一行
/pattern/	被此处模式所能够匹配到的每一行
地址范围
#,#	从 # 到 # 行
#,+#	从 # 到往下 # 行
/pat1/,/pat2/	被匹配的行到被匹配的行
#,/pat1/	从#行到被匹配的行
~ 步进
1~2	奇数行
2~2	偶数行

编辑命令

常用选项	注释
d	删除模式空间匹配的行，并立即启用下一轮循环
p	打印当前模式空间内容，追加到默认输出之后
P	打印模式空间开端至\n内容，并追加到默认输出之前
a [\]text	在指定行后面追加文本，支持使用\n实现多行追加
i [\]text	在行前面插入文本
c [\]text	替换行为单行或多行文本
w /path/file	保存模式匹配的行至指定文件
r /path/file	读取指定文件的文本至模式空间中匹配到的行后
=	为模式空间中的行打印行号
!	模式空间中匹配行取反处理

查找替换

s///查找替换,支持使用其它分隔符s/[查找]/[替换]/[替换标记] ，也可以s@@@，s###
替换标记：
g 行内全局替换
p 显示替换成功的行
w /PATH/FILE 将替换成功的行保存至文件中

高级编辑命令

常用选项	注释
h	把模式空间中的内容覆盖至保持空间中
H	把模式空间中的内容追加至保持空间中
g	从保持空间取出数据覆盖至模式空间
G	从保持空间取出内容追加至模式空间
x	把模式空间中的内容与保持空间中的内容进行互换
n	读取匹配到的行的下一行覆盖至模式空间
N	读取匹配到的行的下一行追加至模式空间
d	删除模式空间中的行
D	如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本 。 并不会读取新的输入行，而使用合成的模式空间重新启动循环。如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环

总结图

sed示例

#打印匹配第2行
sed ‘2p’ /etc/passwd
#不输出原文，打印第2行
sed –n ‘2p’ /etc/passwd
#不输出原文，打印第1~4行
sed –n ‘1,4p’ /etc/passwd
#不输出原文，匹配“root“并打印
sed –n ‘/root/p’ /etc/passwd
#不输出原文，从第2行到匹配的“root“并打印
sed –n ‘2,/root/p’ /etc/passwd


#显示空行行号
sed -n ‘/^$/=’ file 
#打印空行并显示行号
sed –n –e ‘/^$/p’ –e ‘/^$/=’ file


#在匹配到的行后插入"superman"
sed ‘/root/a\superman’ /etc/passwd
#在匹配到的行前插入"superman"
sed ‘/root/i\superman’ /etc/passwd 
#代替匹配到的行"superman"
sed ‘/root/c\superman’ /etc/passwd 


#删除空行
sed ‘/^$/d’ file
#删除1~10行
sed ‘1,10d’ file
#删除2~5行
nl /etc/passwd | sed ‘2,5d’
#在第2行插入tea
nl /etc/passwd | sed ‘2a tea’


#搜索替换，“&”表示匹配到的字符
sed 's/test/mytest/g' example
#搜索“root“在后面追加“superman”并打印
sed –n ‘s/root/&superman/p’ /etc/passwd 单词后
#搜索“root“替换成“superman”并打印
sed –n ‘s/root/superman&/p’ /etc/passwd 单词前
#搜索”dog“替换成”cat“且”hi“替换成”lo“
sed -e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets
#备份文件并加后缀".bak"，搜索“dog“替换成”cat“
sed –i.bak ‘s/dog/cat/g’ pets


#显示偶数行
sed -n 'n;p' FILE
#倒序打印
sed '1!G;h;$!d' FILE
#每行都追加下一行到模式空间只要有换行符就把前一行删除
sed ‘N;D’ FILE
#除了最后一行（每行都追加下一行到模式空间只要有换行符就把前一行删除）
sed '$!N;$!D' FILE
#删除行除了最后一行
sed '$!d' FILE


#从保持空间追加到模式空间
sed ‘G’ FILE
#从保持空间复制到模式空间
sed ‘g’ FILE
#如果空行就从保持空间追加到模式空间
sed ‘/^$/d;G’ FILE
#匹配的下一行覆盖到模式空间并删除（显示奇数行）
sed 'n;d' FILE
#除了第一行其它追加到模式空间，模式空间覆盖到保持空间，到最后一行时打印（倒序）
sed -n '1!G;h;$p' FILE

练习

1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符
3、在centos6系统/root/install.log每一行行首增加#号
4、在/etc/fstab文件中不以#开头的行的行首增加#号
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
6、利用sed 取出ifconfig命令中本机的IPv4地址
7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数
8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）
9、将文本文件的n和n+1行合并为一行，n为奇数行

练习答案

1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符

sed "s/^[[:blank:]]\+//g" /etc/grub2.cfg

2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符

sed 's/^#[[:blank:]]//g' /etc/fstab

3、在centos6系统/root/install.log每一行行首增加#号

sed 's/^/#/g' /root/install.log

4、在/etc/fstab文件中不以#开头的行的行首增加#号

sed 's/^[^#]/#&/g' /etc/fstab

5、处理/etc/fstab路径,使用sed命令取出其目录名和基名

basename:echo "/etc/fstab" | sed -nr "s/\/.*\///g;p"
dirname:echo "/etc/fstab" | sed -nr "s/[^/]+$//g;p"

6、利用sed 取出ifconfig命令中本机的IPv4地址

ifconfig ens33 | sed -n '2p'|sed 's/[[:alpha:]]\+//g'|sed -r 's/(([1-9]?[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])[.]){3}(0|255)//g'|sed 's/[[:blank:]]*//g'

7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数

ls -1 /mnt/Packages/* | rev | cut -d. -f2|rev|sort |uniq -c|sort -nr

8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）

grep -Ewo '[[:alpha:]]+' /etc/init.d/functions |sort|uniq -c|sort -n
sed -nr 's/[^[:alpha:]]+/\n/g;p' /etc/init.d/functions |tr -s '\n' | sort |uniq -c | sort -n

9、将文本文件的n和n+1行合并为一行，n为奇数行

seq 1 100|sed -n 'N;s@\n@@g;p'