UpDate 2018-12-01
Author unnam3d
Mail [email protected]
Tip Please feel free to contact me via mail above for any confusion or suggestions
前言
概念
sed(Stream EDitor)：是一个数据流的文本编辑器，也可以理解为是行编辑器，因为它在操作文本中的ASCII码的过程中，是逐行的处理文本。具体来说，sed不直接处理文本文件本身，它会把每一行都读取到内存空间中，而后在内存中完成编辑，并且把编辑结果输出到屏幕上来。这个内存空间对sed而言称为模式空间，因为sed处理文本并不是处理所有的行，它可以处理由模式（Pattern）仅指定的行，而这些行也可以像grep一样做模式过滤，符合模式条件的sed就处理，不符合条件的一律不予处理。因此，这段内存空间也叫做sed的模式空间。
因此，sed在处理每一个文件的时候，它把每一行都读进模式空间，跟我们的模式条件做匹配。如果能够被我们的条件匹配到了，就在模式空间中使用后面的编辑命令对其完成编辑，并且对完成编辑的结果输出到屏幕上来。
sed脚本：sed本身也是一种语言，这个语言仅仅是对文件做编辑的语言。既然是脚本语言，那它就要支持一些命令的，我们的脚本就是由这些命令组成的，此外，它还有一些地址，来指定处理文件的哪些行。
工作原理
sed主要分以下几个步骤进行工作：
- 把源文件的每一行读取到内存空间中，或者说模式空间中；
- 在模式空间中完成编辑；
- 把编辑结果输出到屏幕上；
sed基本用法
Usage: sed [OPTION]... {script-only-if-no-other-script} [input-file]...
默认不编辑源文件，仅对模式空间中的副本数据做处理。处理结束后，将模式空间打印至屏幕。
其实可以将用法理解为：sed [options] 'AddressCommand' file ...，其中：
options
-n : 静默模式，sed命令处理完文本后，屏幕输出不再默认显示模式空间中的内容；
-i : sed默认不编辑源文件，这个选项可以直接修改源文件；
-e SCRIPT -e SCRIPT : 可以同时执行多个脚本来处理文本（这里的脚本就是指sed的每一个AddressCommand命令所构成的内容）；
-f /PATH/TO/SED_SCRIPT : 可以把多个脚本写到一个文件里边，这文件里边每一行都是一个脚本，然后使用-f去读取这个文件，就可以对某一目标文件执行多个操作。比如sed -f /path/to/scripts file；
-r : 表示使用扩展正则表达式；
Address
用于界定处理文本中的哪些行，地址定界的常用表示法：
-
StartLine,EndLine
比如1,100从第一行到第100行；
$表示最后一行； - 使用模式
/Pattern(RegExp, 正则表达式)/
/^root/以root字符串开头的行； -
/pattern1/,/pattern2/
第一次被pattern1匹配到的行开始，至第一次被pattern2匹配到的行结束。这中间的所有行； - 只有某个行号
LineNumber
精确指定某行； -
StartLine,+N
从指定行StratLine开始向后的N行，所以一共是N+1行；
Command
用于编辑命令：
d : 删除符合条件的行；
p : 显示符合条件的行；
a \string : 在指定的行后面追加新行，内容为"string"（\n可以用于换行）；
i \string : 在指定的行前面添加新行，内容为"string"；
r FILE : 将指定的文件的内容添加至符合条件的行处；
w FILE : 将地址指定范围内的行另存至指定的文件中；
s/pattern/string/ : 查找并替换字符串，默认只替换每行中第一次被模式匹配到的字符串，加修饰符可以改变默认情况，比如s/pattern/string/g表示全局替换，s/pattern/string/i表示查找时忽略字符大小写；另，分隔符/可以换成#或者@等字符，比如形如s@pattern@string@i，只是需要注意的是，当pattern中出现分隔符时，要进行转义。
\(\)搭配\1, \2 : 后向引用
& : 引用模式匹配到的整个字符串
file
处理的文件，可以是多个文件。
sed示例与解析
====== d ======
* cat /etc/fstab - 打开/etc/fstab文件，在屏幕上输出其内容；
* sed '1,2d' /etc/fstab - 删除/etc/fstab文件中的1和2行，在屏幕上输出剩余的内容；
* sed '3,$d' /etc/fstab - 删除/etc/fstab文件中第三行到最后一行的所有内容，在屏幕上输出剩余的内容；
* sed '/oot/d' /etc/fstab - 删除匹配到oot的行，在屏幕上输出剩余的内容；
* sed '1,+2d' /etc/fstab - 删除第一行及其后面的两行，在屏幕上输出剩余的内容；
* sed '1d' /etc/fstab - 删除第一行的内容，在屏幕上输出剩余的内容；
* cat '/^\//d' /etc/fstab - 删除行首是'/'的内容，在屏幕上输出剩余的内容；
<重点释义> /^\// 中可以看作 /pattern/，其中 pattern=^\/ ，而^表示锚定行首，\/表示/的转义；
# cat /etc/fstab
/dev/vo10/root / ext3 defaults 1 1
/dev/vo10/home /home ext3 defaults 1 2
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed '1,2d' /etc/fstab
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed '3,$d' /etc/fstab
/dev/vo10/root / ext3 defaults 1 1
/dev/vo10/home /home ext3 defaults 1 2
# sed '/oot/d' /etc/fstab
/dev/vo10/home /home ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed '1,+2d' /etc/fstab
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed '1d' /etc/fstab
/dev/vo10/home /home ext3 defaults 1 2
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# cat '/^\//d' /etc/fstab
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
====== p ======
* sed '/^\//p' /etc/fstab - 将行首是/字符的行输出到屏幕上
* sed -n '/^\//p' /etc/fstab - 在静默模式下将行首是/字符的行输出到屏幕上
<重点释义> 第一条命令可以发现第一行和第二行都出现了两次，这要深究于sed的工作机制，在前言中我们讲过，默认情况下，sed是将文本的一行先拿到模式空间中，然后匹配模式，如果匹配的到，就先处理，然后将处理结果输出到屏幕上，然后将模式空间中的内容再输出到屏幕上，如果匹配不到就直接将模式空间中的内容输出到屏幕上。所以，在第一条命令中，sed先将第一行拿到模式空间，匹配到了模式之后，进行命令p的操作，就输出到了屏幕上，然后此时模式空间中还有第一行的内容，再进行输出到屏幕上。所以，一共可以在屏幕上看到两遍。而d命令操作之后，模式空间中的内容就删除掉了，所以d命令中是不会在屏幕中输出所操作的行的内容的。
# sed '/^\//p' /etc/fstab
/dev/vo10/root / ext3 defaults 1 1
/dev/vo10/root / ext3 defaults 1 1
/dev/vo10/home /home ext3 defaults 1 2
/dev/vo10/home /home ext3 defaults 1 2
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed -n '/^\//p' /etc/fstab
/dev/vo10/root / ext3 defaults 1 1
/dev/vo10/home /home ext3 defaults 1 2
====== a \string ======
* sed '/^\//a \# hello world' /etc/fstab - pattern=^\/ string=# hello world
* sed '/^\//a \# hello world\n#hello linux' /etc/fstab - pattern=^\/ string=# hello world\nhello linux
# sed '/^\//a \# hello world' /etc/fstab
/dev/vo10/root / ext3 defaults 1 1
# hello world
/dev/vo10/home /home ext3 defaults 1 2
# hello world
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed '/^\//a \# hello world\n# hello linux' /etc/fstab
/dev/vo10/root / ext3 defaults 1 1
# hello world
# hello linux
/dev/vo10/home /home ext3 defaults 1 2
# hello world
# hello linux
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
====== r ======
* sed '2r /etc/issue' /etc/fstab - 将/etc/issue文件中的内容插入到/etc/fstab的第二行之后
* sed '$r /etc/issue' /etc/fstab - 将/etc/issue文件中的内容插入到/etc/fstab的文末
* sed '1,2r /etc/issue' /etc/fstab - 将/etc/issue文件中的内容插入到/etc/fstab第一行和第二行之后
# cat /etc/issue
Red Hat Enterprise Linux Server release 5.8(Tikanga)
Kernel \r on an \m
RH033
# sed '2r /etc/issue' /etc/fstab
/dev/vo10/root / ext3 defaults 1 1
/dev/vo10/home /home ext3 defaults 1 2
Red Hat Enterprise Linux Server release 5.8(Tikanga)
Kernel \r on an \m
RH033
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed '$r /etc/issue' /etc/fstab
/dev/vo10/root / ext3 defaults 1 1
/dev/vo10/home /home ext3 defaults 1 2
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
Red Hat Enterprise Linux Server release 5.8(Tikanga)
Kernel \r on an \m
RH033
# sed '1,2r /etc/issue' /etc/fstab
/dev/vo10/root / ext3 defaults 1 1
Red Hat Enterprise Linux Server release 5.8(Tikanga)
Kernel \r on an \m
RH033
/dev/vo10/home /home ext3 defaults 1 2
Red Hat Enterprise Linux Server release 5.8(Tikanga)
Kernel \r on an \m
RH033
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
====== w ======
* sed -n '/oot/w /tmp/oot.txt' /etc/fstab - 将/etc/fstab中包含oot的行写入到文件oot.txt中
# sed -n '/oot/w /tmp/oot.txt' /etc/fstab
# cat /tmp/oot.txt
/dev/vo10/root / ext3 defaults 1 1
LABEL=/boot /boot ext3 defaults 1 2
====== s/pattern/string/ ======
* sed 's/oot/OOT/' /etc/fstab - 将/etc/fstab中的oot都替换为OOT
* sed 's/^\//#/' /etc/fstab - 将/etc/fstab中行首的/字符替换为#
* sed 's/\//#/' /etc/fstab - 将/etc/fstab中每一行首次出现的/字符替换为#
* sed 's/\//#/g' /etc/fstab - 将/etc/fstab中出现的所有/字符替换为#
* sed 's@/@#@g' /etc/fstab - 作用同 s/\//#/g 只是将分隔符/写作了@用，这样的做法使得查找/字符的时候不用进行转义，但如果这种做法查找@字符的时候要将@字符进行转义
# sed 's/oot/OOT/' /etc/fstab
/dev/vo10/rOOT / ext3 defaults 1 1
/dev/vo10/home /home ext3 defaults 1 2
LABEL=/bOOT /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed 's/^\//#/' /etc/fstab
#dev/vo10/root / ext3 defaults 1 1
#dev/vo10/home /home ext3 defaults 1 2
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed 's/\//#/' /etc/fstab
#dev/vo10/root / ext3 defaults 1 1
#dev/vo10/home /home ext3 defaults 1 2
LABEL=#boot /boot ext3 defaults 1 2
tmpfs #dev/shm tmpfs defaults 0 0
devpts #dev/pts devpts gid=5,mode=620 0 0
sysfs #sys sysfs defaults 0 0
proc #proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed 's/\//#/g' /etc/fstab
#dev#vo10#root # ext3 defaults 1 1
#dev#vo10#home #home ext3 defaults 1 2
LABEL=#boot #boot ext3 defaults 1 2
tmpfs #dev#shm tmpfs defaults 0 0
devpts #dev#pts devpts gid=5,mode=620 0 0
sysfs #sys sysfs defaults 0 0
proc #proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
# sed 's@/@#@g' /etc/fstab
#dev#vo10#root # ext3 defaults 1 1
#dev#vo10#home #home ext3 defaults 1 2
LABEL=#boot #boot ext3 defaults 1 2
tmpfs #dev#shm tmpfs defaults 0 0
devpts #dev#pts devpts gid=5,mode=620 0 0
sysfs #sys sysfs defaults 0 0
proc #proc proc defaults 0 0
LABEL=SWAP-sda3 swap swap defaults 0 0
====== & ======
* sed 's#l..e#&r#g' sed.txt - 将sed.txt中的l..e的字符后面加上r
# cat sed.txt
hello, like
hi, my love
# sed 's#l..e#l..er#g' sed.txt
hello, l..er
hi, my l..er
# sed 's#l..e#&r#g' sed.txt
hello, liker
hi, my lover
====== \(\) ======
* sed 's#\(l..e\)#\1r#g' sed.txt - 将sed.txt文件中的l..e的字符后面加上r
* sed 's#l\(..e\)#L\1#g' sed.txt - 将sed.txt文件中的l..e换作L..e
# sed 's#\(l..e\)#\1r#g' sed.txt
hello, liker
hi, my lover
# sed 's#1\(..e\)#L\1#g' sed.txt
hello, Like
hi, my Love
练习题
1. 删除/etc/grub.conf文件中行首的空白符
2. 替换/etc/inittab文件中"id:3:initdefault:"一行中的数字为5
3. 删除/etc/inittab文件中的空白行
4. 删除/etc/inittab文件中开头的#号
5. 删除某文件中开头的#号，但要求#号后面必须有空白字符
6. 删除某文件中以空白字符后面跟#类的行中的开头的空白字符及#
7. 取出一个文件路径的目录名称
答案
1. sed -r 's@^[[:space:]]+@@g' /etc/grub.conf
2. sed 's@\(id:\)[0-9]\(:initdefault:\)@\15\2@g' /etc/inittab
3. sed '/^$/d' /etc/inittab
4. sed 's@^#@@' /etc/fstab
5. sed -r 's@^#[[:space:]]+@@g' /etc/fstab
6. sed -r 's@^[[:space:]]+#@@g' /etc/fstab
7. echo "/etc/rc.d" | sed -r 's@^(/.*/)[^/]+/?@\1@g'