linux三剑客之sed命令详解

linux三剑客之sed命令详解

上篇文章讲的是文本过滤工具grep linux三剑客之grep命令详解，今天继续讲一下linux三剑客之文本编辑工具sed。
sed 是一种新型的，非交互式的编辑器，它能执行与编辑器 vi 相同的编辑任务。sed 编辑器没有提供交互式使用方式，使用者只能在命令行输入编辑命令、指定文件名，然后在屏幕上查看输出。
sed 编辑器没有破坏性，它不会修改源文件，而是将源文件拷贝一份放在操作空间中，然后对操作空间中的副本进行操作，可以使用重定向符号将结果输出到指定文件或者使用-i参数将结果覆盖回源文件。默认情况下，所有的输出行都被打印到屏幕上。
linux三剑客均支持管道符和正则表达式，所以sed也支持从管道符接受标准输入或者从命令行获取参数。

sed命令格式：sed 功能参数 '范围+动作' 文件

例如 sed -n '2,5p' song.sh
sed - 命令
-n - 功能参数
2,5-范围（即要处理哪几行数据，相当于过滤）
p - 动作，打印
song.sh - 文件

功能参数：

功能参数	解释
n	只输出被sed处理的行
e	多重编辑，且顺序会影响结果
r	使用扩展正则
i	将修改的内容覆盖到文档
f	指定一个sed脚本文件到命令行执行

范围表达式：

范围表达式	解释
'2,5p'	打印2-5行
'2,+5p'	打印第2行及其以下5行
'2~2p'	从第二行开始步长为2打印，即打印2，4，6，8……行
'/regexp/p'	打印正则表达式匹配出的行
'2,/aaa/p'	打印第2行到下一次出现aaa的行，如果aaa在第二行之前或者不存在则打印到行尾
'/aaa/,/bbb/p'	打印aaa所在的行到bbb所在的行

动作：

动作	解释
p	打印
d	删除
s	替换
a	当前行后追加
i	当前行前插入
c	将当前行替换
n	匹配行的下一行
y	替换，固定用法 y/abcd/ABCD/ 将a替换为A，b替换为B……
q	退出sed

测试文件：

[root@linuxforliuhj test]# cat -n song.txt 
     1  hello i am linux
     2  who are you
     3  hello i am java
     4  i know you are linux
     5  where are you 
     6  i am in bejing

【1】打印文件的第3行到第5行
sed -n '3,5p' song.txt
不使用-n参数时，sed会将操作空间中的所有内容全部输出至屏幕，加上-n参数时，sed才会只输出操作的文本行。

[root@linuxforliuhj test]# sed '3,5p' song.txt 
hello i am linux
who are you
hello i am java
hello i am java
i know you are linux
i know you are linux
where are you 
where are you 
i am in bejing
[root@linuxforliuhj test]# sed -n '3,5p' song.txt 
hello i am java
i know you are linux
where are you 

【2】删除第3行及其之后的2行
cat song.txt | sed '3,+2d'
操作空间中有song.txt的整个副本，删除3行之后操作空间中剩下另外3行，因此sed命令默认直接打印操作空间中的内容，因此就打印剩余的这3行，使用-n参数是打印操作的文本行，即删除的3行，但是删除的3行在操作空间中已经不存在了，所以如果使用-n参数的话则打印为空。

[root@linuxforliuhj test]# cat song.txt | sed '3,+2d'   
hello i am linux
who are you
i am in bejing
[root@linuxforliuhj test]# cat song.txt | sed -n '3,+2d'
[root@linuxforliuhj test]# 

看一下源文件是否被删除：

[root@linuxforliuhj test]# cat song.txt -n
     1  hello i am linux
     2  who are you
     3  hello i am java
     4  i know you are linux
     5  where are you 
     6  i am in bejing

源文件没有被修改，因此可以看出sed修改的是操作空间中的副本，这里怎么理解操作空间是什么呢？可以理解为在机器的内存中拷贝了一份文件的副本，修改的是内存副本中的数据，sed命令结束时，内存空间中的副本数据也随之被清理。
【3】打印文件的奇数行
cat -n song.txt | sed -n '1~2p'

[root@linuxforliuhj test]# cat -n song.txt | sed -n '1~2p'
     1  hello i am linux
     3  hello i am java
     5  where are you 

【4】将包含who的行删除
sed '/who/d' song.txt

[root@linuxforliuhj test]# sed '/who/d' song.txt 
hello i am linux
hello i am java
i know you are linux
where are you 
i am in bejing

【5】打印第2行到最近一次know出现的行
sed -n '2,/know/p' song.txt

[root@linuxforliuhj test]# sed -n '2,/know/p' song.txt  
who are you
hello i am java
i know you are linux

【6】打印第一次linux出现的行到第二次linux出现的行
sed -n '/linux/,/linux/p' song.txt

[root@linuxforliuhj test]# sed -n '/linux/,/linux/p' song.txt      
hello i am linux
who are you
hello i am java
i know you are linux

【7】打印第一次java出现的行到第二次java出现的行
sed -n '/java/,/java/p' song.txt

[root@linuxforliuhj test]# sed -n '/java/,/java/p' song.txt           
hello i am java
i know you are linux
where are you 
i am in bejing

由于java只出现一次，所以从java所在的行开始匹配，到文件结尾都没有匹配到第二次java，所以默认会打印至文件结尾，删除也是一样，默认会从第一次java出现的行删除至结尾。
【8】将包含java的行删除后，将所有的linux替换为java
sed -e '/java/d' -e 's/linux/java/g' song.txt

[root@linuxforliuhj test]# sed -e '/java/d' -e 's/linux/java/g' song.txt 
hello i am java
who are you
i know you are java
where are you 
i am in bejing

【9】打印包含java或者linux的行
sed -r -n '/java|linux/p' song.txt=sed -n '/java\|linux/p' song.txt

[root@linuxforliuhj test]# sed -r -n '/java|linux/p' song.txt 
hello i am linux
hello i am java
i know you are linux

-r参数表示正则表达式为扩展正则，前面也讲过扩展正则，如果不加-r参数就需要使用转义字符
【10】-i参数表示将修改的内容覆盖回源文件，我们说过，sed修改的内容为操作空间中的副本，并不是源文件，但是如果想要将修改的内容覆盖回源文件，则需要使用-i参数;同时我们也可以使用重定向符号将打印的文本输出到指定文件，但是不能重定向到源文件，要想覆盖回源文件只能使用-i参数。
sed -i -n '/linux/p' song.txt 或者 sed -n '/linux/p' song.txt > song1.txt
【11】将song.txt中的linux全部替换为java
sed 's/linux/python/g song.txt'
注意s/a/b/g是固定写法，表示将a替换为b，g表示全局替换

[root@linuxforliuhj test]# sed 's/linux/python/g' song.txt 
hello i am python
who are you
hello i am java
i know you are python
where are you 
i am in bejing

【12】在第二行之后追加一行内容为"hello linux!"
sed '3a hello,linux!' song.txt

[root@linuxforliuhj test]# sed '3a hello,linux!' song.txt
hello i am linux
who are you
hello i am java
hello,linux!
i know you are linux
where are you 
i am in bejing

【13】在最后一行之前（倒数第二行）插入内容
sed '$i hello,linux!' song.txt $表示最后一行

[root@linuxforliuhj test]# sed '$i hello,linux!' song.txt 
hello i am linux
who are you
hello i am java
i know you are linux
where are you 
hello,linux!
i am in bejing

【14】将匹配出linux的行全部替换为"hello，linux!"
sed '/linux/c hello,linux!' song.txt

[root@linuxforliuhj test]# sed '/linux/c hello,linux!' song.txt    
hello,linux!
who are you
hello i am java
hello,linux!
where are you 
i am in bejing

【15】删除匹配出java行的下一行并打印剩下的行
sed '/java/{n;d;p}' song.txt
注意当有多个动作时，使用{ }括起来，动作之间使用分号分隔

[root@linuxforliuhj test]# sed '/java/{n;d;p}' song.txt
hello i am linux
who are you
hello i am java
where are you 
i am in bejing

【16】将以who开头的那一行中的abcd分别替换为ABCD
sed '/^who/y/abcd/ABCD/' song.txt

[root@linuxforliuhj test]# sed '/^who/y/abcd/ABCD/' song.txt           
hello i am linux
who Are you
hello i am java
i know you are linux
where are you 
i am in bejing

注意：固定用法 y/abcd/ABCD/ 将a替换为A，b替换为B……
字符数量必须一致 如y/abcd/ABCDE/ 则错误
abcd/ABCD部分的内容不能用正则表达式，例如y/^lo/aaa/是错误的

总结：sed命令无非就是功能参数、范围、命令的组合

功能参数可以选择-n、-i、-e、-r等
范围可以选择行、正则等，一般正则用的比较多
动作常用的有p、d、s等，s替换有固定用法