Linux三剑客之sed命令详解
1、概述
Linux三剑客：grep、sed、awk。grep主打查找功能，sed主要是编辑行，awk主要是分割列处理。本篇文章我们详细介绍sed命令。
sed 是stream editor的简称，也就是流编辑器。它是文本处理中非常重要的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
2、语法+实例
[root@liuchao ~]# sed --help
用法: sed [选项] '命令' [输入文件]2.1、常用命令
- y：替换字符，通常y命令的用法是这样的：y/Source-chars/Dest-chars/，分割字符/可以用任意单字符代替，用Dest-chars中对应位置的字符替换掉Soutce-chars中对应位置的字符，Dest-chars字符长度必须和Soutce-chars长度一致
# 要查找的文件内容
[root@liuchao sed_test]# cat sedtest_01.txt
this is a page1
this is a page2
this is a page3
this is a page4
# 将文件内的所有‘p’字符替换为'd' 字符 将替换结果打印到屏幕上
[root@liuchao sed_test]# sed 'y/p/d/' sedtest_01.txt
this is a dage1
this is a dage2
this is a dage3
this is a dage4
# 源文件其实是未替换的
[root@liuchao sed_test]# cat sedtest_01.txt
this is a page1
this is a page2
this is a page3
this is a page4
[root@liuchao sed_test]#
# 目标字符长度和源字符长度不一致 报错
[root@liuchao sed_test]# sed 'y/page/dd/' sedtest_01.txt
sed：-e 表达式 #1，字符 10：“y”命令的字符串长度不同- s：替换字符串，通常s命令的用法是这样的：1,$s/Regexp/Replacement/Flags，分隔字符/可以用其他任意单字符代替，用Replacement替换掉匹配字符串
# 查找文件内容
[root@liuchao sed_test]# cat sedtest_01.txt
this is a page1
this is a page2
this is a page3
this is a page4
# s和y 功能相识，唯一有区别的是目标字符长度和源字符长度可以不一致
[root@liuchao sed_test]# sed 's/pa/ddd/' sedtest_01.txt
this is a dddge1
this is a dddge2
this is a dddge3
this is a dddge4
[root@liuchao sed_test]#- a\：追加行，a\的后面跟上字符串s(多行字符串可以用\n分隔)，则会在当前选择的行的后面都加上字符串s
- c\：替换行，c\后面跟上字符串s(多行字符串可以用\n分隔)，则会将当前选中的行替换成字符串s
- i\：插入行，i\后面跟上字符串s(多行字符串可以用\n分隔)，则会在当前选中的行的前面都插入字符串s
- d：删除行delete，该命令会将当前选中的行删除
# 测试文件内容
[root@liuchao sed_test]# cat sedtest_01.txt
this is a page1 Page5 page6
test is a page10
this is a page2
this is a page3
this is a page4
this is a Page7
test is a page9
# 删除所有空白行
[root@liuchao sed_test]# sed '/^$/d' sedtest_01.txt
this is a page1 Page5 page6
test is a page10
this is a page2
this is a page3
this is a page4
this is a Page7
test is a page9
# 删除第二行
[root@liuchao sed_test]# sed '2d' sedtest_01.txt
this is a page1 Page5 page6
this is a page2
this is a page3
this is a page4
this is a Page7
test is a page9
# 删除第二行至最后一行
[root@liuchao sed_test]# sed '2,$d' sedtest_01.txt
this is a page1 Page5 page6
# 删除最后一行
[root@liuchao sed_test]# sed '$d' sedtest_01.txt
this is a page1 Page5 page6
test is a page10
this is a page2
this is a page3
this is a page4
this is a Page7
test is a page9
# 删除所有以 ‘test’ 开头的行
[root@liuchao sed_test]# sed '/^test/'d sedtest_01.txt
this is a page1 Page5 page6
this is a page2
this is a page3
this is a page4
this is a Page7
[root@liuchao sed_test]#- p：打印print，该命令会打印当前选择的行到屏幕上
# 测试文件内容
[root@liuchao sed_test]# cat sedtest_2.txt
this is a page1 Page5 page6
this is a page2
this is a page3
this is a page4
this is a Page7
[root@liuchao sed_test]#
# 打印所有行 可以看出所有行打印了两边
[root@liuchao sed_test]# sed p sedtest_2.txt
this is a page1 Page5 page6
this is a page1 Page5 page6
this is a page2
this is a page2
this is a page3
this is a page3
this is a page4
this is a page4
this is a Page7
this is a Page7
# 将匹配出的结果打印一遍
[root@liuchao sed_test]# sed '/page2/p' sedtest_2.txt
this is a page1 Page5 page6
this is a page2
this is a page2
this is a page3
this is a page4
this is a Page7
[root@liuchao sed_test]#- =：打印当前行号码。
[root@liuchao sed_test]# cat sedtest_01.txt
this is a page1
this is a page2
this is a page3
this is a page4
[root@liuchao sed_test]# sed = sedtest_01.txt
1
this is a page1
2
this is a page2
3
this is a page3
4
this is a page4
[root@liuchao sed_test]#2.2、常用选项
- -n 使用安静silent模式。在一般sed的用法中，所有来自stdin的内容一般都会被列出到屏幕上。但如果加上-n参数后，则只有经过sed特殊处理的那一行(或者动作)才会被列出来
- -e 直接在指令列模式上进行 sed 的动作编辑
- -f 直接将 sed 的动作写在一个文件内，-f filename则可以执行filename内的sed命令
- -r 让sed命令支持扩展的正则表达式(默认是基础正则表达式)
- -i 直接修改读取的文件内容，而不是由屏幕输出
# 测试文件内容
[root@liuchao sed_test]# cat sedtest_01.txt
this is a page1 page5 page6
this is a page2
this is a page3
this is a page4
# 通过 s g 查找所有匹配的字符串 并打印再屏幕上 注意：源文件内容未被更改
[root@liuchao sed_test]# sed 's/pa/dd/g' sedtest_01.txt
this is a ddge1 ddge5 ddge6
this is a ddge2
this is a ddge3
this is a ddge4
# 再次查看源文件内容，源文件未被更改
[root@liuchao sed_test]# cat sedtest_01.txt
this is a page1 page5 page6
this is a page2
this is a page3
this is a page4
# 通过 s g 查找所有匹配的字符串 并更改源文件内容
[root@liuchao sed_test]# sed -i 's/pa/dd/g' sedtest_01.txt
[root@liuchao sed_test]#
# 可以看出源文件内容被更改
[root@liuchao sed_test]# cat sedtest_01.txt
this is a ddge1 ddge5 ddge6
this is a ddge2
this is a ddge3
this is a ddge4
[root@liuchao sed_test]#2.3、替换选项
- \digit：Replacement中可含有后向引用中的\digit(digit是1至9)，引用前面定义的子表达
- &：代表模版空间中的整个匹配部分
- \L：将在其后的替换部分转换成小写字母，直到发现一个\U或\E，GNU扩展功能
- \l：将下一个字符转换成小写字母，GNU扩展功能
- \U：将在其后的替换部分转换成大写字母，直到发现一个\L或\E，GNU扩展功能
- \u：将下一个字符转换成大写字母，GNU扩展功能
- \E：停止由\L或\U指示开始的大小写转换，GNU扩展功能
2.4、标志选项
- g：将用Replacement替换模版空间中所有匹配Regexp的部分，则不仅仅是第一个匹配部分
加上g标识，将会替换行所有匹配的字符串
# 查找的文件内容
[root@liuchao sed_test]# cat sedtest_01.txt
this is a page1 page5 page6
this is a page2
this is a page3
this is a page4
[root@liuchao sed_test]#
# 通过s 查找每行第一个匹配的
[root@liuchao sed_test]# sed 's/pa/dd/' sedtest_01.txt
this is a ddge1 page5 page6
this is a ddge2
this is a ddge3
this is a ddge4
# 通过 s g 组合查找每行所有匹配
[root@liuchao sed_test]# sed 's/pa/dd/g' sedtest_01.txt
this is a ddge1 ddge5 ddge6
this is a ddge2
this is a ddge3
this is a ddge4
[root@liuchao sed_test]#- digit：只用Replacement替换模版空间中第digit(digit是1至9)个匹配Regexp的部分
- p：若发生了替换操作，指示显示模版空间中新的数据
- w file-name：若发生了替换操作，指示将模版空间中新的数据写入指定的文件file-name中
- i：表示进行Regexp匹配时，是不区分大小写字母的
# 查找文件内容
[root@liuchao sed_test]# cat sedtest_01.txt
this is a page1 Page5 page6
this is a page2
this is a page3
this is a page4
this is a Page7
[root@liuchao sed_test]#
# 通过 s i 查找每行第一个匹配的字符串 并替换打印在屏幕
[root@liuchao sed_test]# sed 's/pa/dd/i' sedtest_01.txt
this is a ddge1 Page5 page6
this is a ddge2
this is a ddge3
this is a ddge4
this is a ddge7
[root@liuchao sed_test]#
# 通过 s ig 标志位组合方式查找每行所有匹配的字符串，并替换打印在屏幕
[root@liuchao sed_test]# sed 's/pa/dd/ig' sedtest_01.txt
this is a ddge1 ddge5 ddge6
this is a ddge2
this is a ddge3
this is a ddge4
this is a ddge7
[root@liuchao sed_test]#