三剑客之SED行天下
功能说明
Sed是StreamEditor(流编辑器)缩写，是操作、过滤和转换文本内容的强大工具。常用功能有增删改查，过滤，取行。
1. [root@oldboy ~]#sed --version #→ sed软件版本 2. GNU sed version4.2.1
语法格式
1. sed [options][sed-commands] [input-file] 2. sed [选项] [sed命令] [输入文件] 3. 4. 说明： 5. 1. 注意sed和后面的选项之间至少有一个空格。 6. 2. 为了避免混淆，本文称呼sed为sed软件。sed-commands(sed命令)是sed软件内置的一些命令选项，为了和前面的options(选项)区分，故称为sed命令。 7. 3. sed-commands既可以是单个sed命令，也可以是多个sed命令组合。 8. 4. input-file(输入文件)是可选项，sed还能够从标准输入如管道获取输入。
命令执行流程
概括流程：Sed软件从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行……
模式空间:sed软件内部的一个临时缓存，用于存放读取到的内容。
使用范例
1. 统一实验文本
1. # 创建包含下面内容的文件，后面的操作都会使用这个文件。 2. 3. [root@oldboy ~]#cat person.txt 4. 101,oldboy,CEO 5. 102,zhangyao,CTO 6. 103,Alex,COO 7. 104,yy,CFO 8. 105,feixue,CIO
2. 增删改查
2.1 增
· a 追加文本到指定行后
· i 插入文本到指定行前
2.1.1 单行增加
1. [root@oldboy ~]#sed '2a 106,dandan,CSO' person.txt 2. 101,oldboy,CEO 3. 102,zhangyao,CTO 4. 106,dandan,CSO 5. 103,Alex,COO 6. 104,yy,CFO 7. 105,feixue,CIO 8. 9. [root@oldboy ~]#sed '2i 106,dandan,CSO' person.txt 10. 101,oldboy,CEO 11. 106,dandan,CSO 12. 102,zhangyao,CTO 13. 103,Alex,COO 14. 104,yy,CFO 15. 105,feixue,CIO
2.1.2 多行增加
1. [root@oldboy ~]#sed '2a 106,dandan,CSO\n107,bingbing,CCO' person.txt 2. 101,oldboy,CEO 3. 102,zhangyao,CTO 4. 106,dandan,CSO#→第1种写法 5. 107,bingbing,CCO 6. 103,Alex,COO 7. 104,yy,CFO 8. 105,feixue,CIO 9. 10. [root@oldboy ~]#sed '2a 106,dandan,CSO \ 11. >107,bingbing,CCO' person.txt 12. 101,oldboy,CEO 13. 102,zhangyao,CTO 14. 106,dandan,CSO#→第2种写法 15. 107,bingbing,CCO 16. 103,Alex,COO 17. 104,yy,CFO 18. 105,feixue,CIO 19. 20. #→sed命令i的使用方法是一样的，因此不再列出
。
企业案例1：优化SSH配置（一键完成增加若干参数）
在我们学习系统优化时，有一个优化点：更改ssh服务远程登录的配置。主要的操作是在ssh的配置文件加入下面5行文本。(下面参数的具体含义见其他课程。)
1. Port 52113 2. PermitRootLoginno 3. PermitEmptyPasswordsno 4. UseDNS no 5. GSSAPIAuthenticationno
我们可以使用vi命令编辑这个文本，但这样就比较麻烦，现在想一条命令增加5行文本到第13行前？
指定执行的地址范围
1. sed软件可以对单行或多行进行处理。如果在sed命令前面不指定地址范围，那么默认会匹配所有行。
2.
3. 用法：n1[,n2]{sed-commands}
4.
5. 地址用逗号分隔的，n1,n2可以用数字、正则表达式、或二者的组合表示。
6.
7. 例子：
8. 10{sed-commands} 对第10行操作
9. 10,20{sed-commands} 对10到20行操作,包括第10,20行
10. 10，+20{sed-commands} 对10到30(10+20)行操作,包括第10,30行
11. 1~2{sed-commands} 对1,3,5,7,……行操作
12. 10，${sed-commands} 对10到最后一行($代表最后一行)操作,包括第10行
13. /oldboy/{sed-commands} 对匹配oldboy的行操作
14. /oldboy/,/Alex/{sed-commands} 对匹配oldboy的行到匹配Alex的行操作
15. /oldboy/,${sed-commands} 对匹配oldboy的行到最后一行操作
16. /oldboy/,10{sed-commands} 对匹配oldboy的行到第10行操作，注意：如果前10行没有匹配到oldboy，sed软件会显示10行以后的匹配oldboy的行，如果有。
17. 1,/Alex/{sed-commands} 对第1行到匹配Alex的行操作
18. /oldboy/,+2{sed-commands} 对匹配oldboy的行到其后的2行操作
2.2 删
d 删除指定的行
1. [root@oldboy ~]#sed 'd' person.txt 2. [root@oldboy ~]# 3. 4. [root@oldboy ~]#sed '2d' person.txt 5. 101,oldboy,CEO 6. 103,Alex,COO 7. 104,yy,CFO 8. 105,feixue,CIO 9. 10. [root@oldboy ~]#sed '2,5d' person.txt 11. 101,oldboy,CEO 12. 13. [root@oldboy ~]#sed '3,$d' person.txt 14. 101,oldboy,CEO 15. 102,zhangyao,CTO 16. 17. [root@oldboy ~]#sed '1~2d' person.txt 18. 102,zhangyao,CTO 19. 104,yy,CFO 20. 21. [root@oldboy ~]#sed '1,+2d' person.txt 22. 104,yy,CFO 23. 105,feixue,CIO 24. 25. [root@oldboy ~]#sed '/zhangyao/d' person.txt 26. 101,oldboy,CEO 27. 103,Alex,COO 28. 104,yy,CFO 29. 105,feixue,CIO 30. 31. [root@oldboy ~]#sed '/oldboy/,/Alex/d' person.txt 32. 104,yy,CFO 33. 105,feixue,CIO 34. 35. [root@oldboy ~]#sed '/oldboy/,3d' person.txt 36. 104,yy,CFO 37. 105,feixue,CIO
企业案例2：打印文件内容但不包含oldboy
1. [root@oldboy ~]#sed '/oldboy/d' person.txt #→删除包含"oldboy"的行 2. 102,zhangyao,CTO 3. 103,Alex,COO 4. 104,yy,CFO 5. 105,feixue,CIO
2.3 改
2.3.1 按行替换
c 用新行取代旧行
1. [root@oldboy ~]#sed '2c 106,dandan,CSO' person.txt 2. 101,oldboy,CEO 3. 106,dandan,CSO 4. 103,Alex,COO 5. 104,yy,CFO 6. 105,feixue,CIO
2.3.2 文本替换
s：单独使用→将每一行中第一处匹配的字符串进行替换 ==>sed命令
g：每一行进行全部替换 ==>sed命令s的替换标志之一，非sed命令
-i：修改文件内容 ==>sed软件的选项
sed软件替换模型(方框▇被替换成三角▲)
sed-i 's/▇/▲/g' oldboy.log sed -i 's#▇#▲#g' oldboy.log
观察特点
1. 两边是引号，引号里面的两边分别为s和g，中间是三个一样的字符/或#作为定界符。#能在替换内容包含/有助于区别。定界符可以是任意符号如:或|等，但当替换内容包含定界符时，需转义即: |。经过长期实践，建议大家使用#作为定界符。
2. 定界符/或#，第一个和第二个之间的就是被替换的内容，第二个和第三个之间的就是替换后的内容。
3. s#▇#▲#g，▇能用正则表达式，但▲不能用，必须是具体的。
4. 默认sed软件是对模式空间(内存中的数据)操作，而-i选项会更改磁盘上的文件内容。
1. [root@oldboy ~]#sed 's#zhangyao#oldboyedu#g' person.txt 2. 101,oldboy,CEO 3. 102,oldboyedu,CTO 4. 103,Alex,COO 5. 104,yy,CFO 6. 105,feixue,CIO 7. [root@oldboy ~]#cat person.txt 8. 101,oldboy,CEO 9. 102,zhangyao,CTO 10. 103,Alex,COO 11. 104,yy,CFO 12. 105,feixue,CIO 13. 14. [root@oldboy ~]#sed -i 's#zhangyao#BBB#g' person.txt 15. [root@oldboy ~]#cat person.txt 16. 101,oldboy,CEO 17. 102,BBB,CTO 18. 103,Alex,COO 19. 104,yy,CFO 20. 105,feixue,CIO 21. 22. [root@oldboy ~]#sed -i 's#oldboyedu#zhangyao#g' person.txt #→还原测试文件
企业案例3：指定行修改配置文件
指定行精确修改配置文件，这样可以防止修改多了地方。
1. [root@oldboy ~]#sed '3s#0#9#' person.txt 2. 101,oldboy,CEO 3. 102,zhangyao,CTO 4. 193,Alex,COO 5. 104,yy,CFO 6. 105,feixue,CIO
2.3.3 变量替换
1. [root@oldboy ~]#cat test.txt #→再新建一个文本 2. a 3. b 4. a 5. [root@oldboy ~]#x=a 6. [root@oldboy ~]#y=b 7. [root@oldboy ~]#echo $x $y 8. a b 9. [root@oldboy ~]#sed s#$x#$y#g test.txt 10. b 11. b 12. b 13. [root@oldboy ~]#sed 's#$x#$y#g' test.txt 14. a 15. b 16. a 17. [root@oldboy ~]#sed 's#'$x'#'$y'#g' test.txt 18. b 19. b 20. b 21. [root@oldboy ~]#sed "s#$x#$y#g" test.txt 22. b 23. b 24. b 25. [root@oldboy ~]#eval sed 's#$x#$y#g' test.txt 26. b 27. b 28. b
2.3.4 分组替换\( \)和\1的使用说明
sed软件的\( \)的功能可以记住正则表达式的一部分，其中，\1为第一个记住的模式即第一个小括号中的匹配内容，\2第二记住的模式，即第二个小括号中的匹配内容，sed最多可以记住9个。
例：echo I am oldboyteacher.如果想保留这一行的单词oldboy，删除剩下的部分，使用圆括号标记想保留的部分。
1. [root@oldboy ~]#echo I am oldboy teacher. |sed 's#^.*am \([a-z].*\) tea.*$#\1#g' 2. oldboy 3. [root@oldboy ~]#echo I am oldboy teacher. |sed -r 's#^.*am ([a-z].*) tea.*$#\1#g' 4. oldboy 5. [root@oldboy ~]#echo I am oldboy teacher. |sed -r 's#I (.*) (.*) teacher.#\1\2#g' 6. amoldboy
命令说明
思路：用oldboy字符替换I am oldboy teacher.
下面解释用□代替空格
1. ^.*am□ –>这句的意思是以任意字符开头到am□为止，匹配文件中的I am□字符串;
2. \([a-z].*\)□–>这句的外壳就是括号\(\），里面的[a-z]表示匹配26个字母的任何一个，[a-z].*合起来就是匹配任意多个字符，本题来说就是匹配oldboy字符串，由于oldboy字符串是需要保留的,因此用括号括起来匹配，后面通过\1来取oldboy字符串。
3. □tea.*$–>表示以空格tea起始,任意字符结尾，实际就是匹配oldboy字符串后，紧接着的字符串□teacher.;
4. 后面被替换的内容中的\1就是取前面的括号里的内容了，也就是我们要的oldboy字符串。
5. ()是扩展正则表达式的元字符，sed软件默认识别基本正则表达式，想要使用扩展正则需要使用\转义，即\(\）。sed使用-r选项则可以识别扩展正则表达式，此时使用\(\）反而会出错。
企业案例4：系统开机启动项优化
1. [root@oldboy ~]#chkconfig --list|grep "3:on"|grep -vE"sshd|crond|network|rsyslog|sysstat"|awk '{print $1}'|sed -r 's#^(.*)#chkconfig \1 off#g'|bash
2. [root@oldboy ~]#chkconfig --list|grep "3:on"
3. crond 0:off 1:off 2:on 3:on 4:on 5:on 6:off
4. network 0:off 1:off 2:on 3:on 4:on 5:on 6:off
5. rsyslog 0:off 1:off 2:on 3:on 4:on 5:on 6:off
6. sshd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
7. sysstat 0:off 1:on 2:on 3:on 4:on 5:on 6:off
2.3.5 特殊符号&代表被替换的内容
1. [root@oldboy ~]#sed '1,3s#C#--&--#g' person.txt #→此处&等于C 2. 101,oldboy,--C--EO #→将1到3行的C替换为--C-- 3. 102,zhangyao,--C--TO 4. 103,yy,--C--OO 5. 104,feixue,CFO 6. 105,dandan,CIO
企业案例5：批量重命名文件
当前目录下有文件如下所示：
1. [root@oldboytest]# ls 2. stu_102999_1_finished.jpgstu_102999_2_finished.jpg stu_102999_3_finished.jpg stu_102999_4_finished.jpgstu_102999_5_finished.jpg
要求用sed命令重命名，效果为stu_102999_1_finished.jpg==>stu_102999_1.jpg,即删除文件名的_finished
2.4 查
p 输出指定内容，但默认会输出2次匹配的结果，因此使用n取消默认输出
2.4.1 按行查询
1. [root@oldboy ~]#sed '2p' person.txt 2. 101,oldboy,CEO 3. 102,zhangyao,CTO 4. 102,zhangyao,CTO 5. 103,Alex,COO 6. 104,yy,CFO 7. 105,feixue,CIO 8. 9. [root@oldboy ~]#sed -n '2p' person.txt 10. 102,zhangyao,CTO 11. 12. [root@oldboy ~]#sed -n '2,3p' person.txt 13. 102,zhangyao,CTO 14. 103,Alex,COO 15. 说明：取行就用sed，最简单 16. 17. [root@oldboy ~]#sed -n '1~2p' person.txt 18. 101,oldboy,CEO 19. 103,Alex,COO 20. 105,feixue,CIO 21. 22. [root@oldboy ~]#sed -n 'p' person.txt 23. 101,oldboy,CEO 24. 102,zhangyao,CTO 25. 103,yy,COO 26. 104,feixue,CFO 27. 105,dandan,CIO
2.4.2 按字符串查询
1. [root@oldboy ~]#sed -n '/CTO/p' person.txt 2. 102,zhangyao,CTO 3. 4. [root@oldboy ~]#sed -n '/CTO/,/CFO/p' person.txt 5. 102,zhangyao,CTO 6. 103,Alex,COO 7. 104,yy,CFO
2.4.3 混合查询
1. [root@oldboy ~]#sed -n '2,/CFO/p' person.txt 2. 102,zhangyao,CTO 3. 103,Alex,COO 4. 104,yy,CFO 5. 6. [root@oldboy ~]#sed -n '/feixue/,2p' person.txt 7. 105,feixue,CIO 8. #→特殊情况，前两行没有匹配到feixue，就向后匹配，如果匹配到feixue就打印此行。
本文永久链接地址：http://blog.oldboyedu.com/commands-sed/