6.文本三剑客--sed

文本三剑客

sed

介绍

sed编辑器

sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来

编辑数据流。

sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要

么存储在一个命令文本文件中。

sed的工作流程主要包括读取、执行和显示三个过程:

• 读取：sed从输入流 (文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间，pattern space)
• 执行：默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。
• 显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重 复执行，直至所有内容被处理完。

sed对数据的处理是对缓冲区的文件进行处理，一般不会对源文件进行修改

在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。
注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

对于很大的文件，流编辑器处理会非常慢，通过IO一行一行处理

处理方法：1. 将文件通过cat显示，再通过管道符传送

​ 2. 将大文件切分成小文件再处理

命令介绍

命令格式：

sed -e '操作' 文件1 文件2
sed -n -e '操作' 文件1 文件2
sed -f 脚本文件 文件1 文件2
sed -i -e '操作' 文件1 文件2


sed -e 'n{          ##   n   指定行号
操作1
操作2

}' 文件1 文件2

常用选项:

-e 或 --expression=  ：表示用指定命令来处理输入的文本文件，只有一个操作命令时					  可省略，一般在执行多个操作命令使用

-f 或 --file=  ：表示用指定的脚本文件来处理输入的文本文件

-h 或  --help  ：显示帮助

-n 、--quiet 或 silent  ：禁止sed编辑器输出，
						 但可以与   p   命令一起使用完成输出

-i  ：直接修改目标文本文件

常用操作:

s ：替换，替换指定字符

d ：删除，删除选定的行

a ：增加，在当前行下面增加一行指定内容

i ：插入，在选定行上面插入一行指定内容

c ：替换，将选定行替换为指定内容

y ：字符转换，转换前后的字符长度必须相同

p ：打印，如果同时指定行，表示打印指定行;
	    如果不指定行，则表示打印所有内容；
        如果有非打印字符，则以ASCII码输出，其通常与  -n   选项一起使用
        
= ：打印行号


l(小写L) ：打印数据流中的文本和不可打印的ASCII字符(比如结束符$、制表符\t)

打印内容

sed -n -e 'p' file     ##打印内容
cat file | sed -n 'p'   ##只有一个操作命令  -e  可省略

cat file | sed -n '='   ##打印行号
cat file | sed -n 'l'   ##打印内容包括换行符等

cat file | sed -n -e '=' -e 'p'   ##同时显示行号和内容
cat file | sed -n '=;p'    ##实现多个命令的同时执行
cat file | sed -n '= 回车 p'

cat file | sed -n '4p'    ##打印第四行
cat file | sed -n '$p'    ##打印最后一行
cat file | sed -n '1,3p'  ##打印1到3行
cat file | sed -n '4p;$p'  ##打印第四和最后一行
cat file | sed -n '1,+3p'  ##打印第一行以及之后的连续三行
cat file | sed '5q'        ##执行到第五行退出，就显示前五行

cat file | sed -n 'p;n'    ##显示奇数行    ;n 表示移动到下一行
##第一次执行在第一行，通过p打印，  添加  n  将sed处理的行到第二行，结束
##第二执行时，自动到第三行，通过p打印，再自动跳转到下一行，结束执行

cat file | sed -n 'n;p'   ##显示偶数行

cat file | sed -n '2,${n;p}'  ##从第二行到最后行，执行  n;p  操作

cat file | sed -n '3 {p;n;n;p}' ## 只在第三行处理

##通过字符串打印行内容
##  使用   //    中间添加字符串，能使用正则表达式

cat file | sed -n '/root/p'   ##将包含 root 字符串 的行打印出来
cat file | sed -n '/^root/p'  ##打印以root开头的行

cat file | sed -nr '/root|ftp/p'  ##同时打印两个
cat file | sed -n '/root\|ftp/p'

cat file | sed -n '2,/ftp/p'    ##从第二行开始，显示到第一个FTP的内容

扩展正则要添加  -r       不添加的话要使用   \

删除

cat file | sed '3d'     ##删除第三行
cat file | sed '3,5d'   ##删除3到5行
cat file | sed '$d'     ##删除最后一行

cat file | sed '/login$/d'  ##删除以什么什么结尾的行
cat file | sed '/bash$/!d'  ##删除不是以 bash  结尾的行
cat file | sed -r '/[^(bash)]$/d'

cat file | sed '/2/d'   ##删除包含2的行
cat file | sed -r '/2|3/d'   ##删除包括2或者3的行
cat file | sed -r '2,/3/d'   ##从第二行开始删除到含有第一个3的行

cat file | sed -r '/2/,/3/d'  ##从第一个包含2的行删到第一个包含3的行

cat file | sed  '/2/,/3/d'  ##在删除时，不会停止，在第一个结束后，还会在后                             面继续找匹配的行
##从第一个包含字符串1的行开始删到第一个包含字符串2的行，之后行会重复之前的规则操作

##删除空行的方法
grep -v "^$"
tr -s '\n'
sed '/^$/d'

替换

s/abc/123/2  ##替换第二个abc为123
s/abc/123/g  ##替换所有的abc
s/abc/123/p  ##替换并打印行

cat file | sed -n 's/root/admin/p'  ##替换root并打印替换的行
cat file | sed -n 's/root/admin/2p'
cat file | sed -n 's/root//gp'     ##删除root字符不删除行

cat file | sed -n 's/^#//p'
cat file | sed -i -n 's/^/#/p'  ##批量添加 #  并修改文件

cat file | sed '5,10 s/^#//'    ##5到10行删除#
cat file | sed 's/^#//;n'     ##删除奇数行的#

cat file | sed -n '/swap/ s/^/#/p'  ##将包含字符串的行替换
cat file | sed -n '/^UUID/ s/^/#/p'

cat file | sed 's/.*swap.*/#&/'   ##  & 表示前面正则所匹配到的行

cat file | sed '10,20 s/^/#/w 123.txt'   ##将修改的行保存到其他文件
cat file | sed -n '10,20 s/^/#/p' > 123.txt

cat file | sed -n 's/\/bin\/bash/\/sbin\/nologin'

cat file | sed -n 's#/bin/bash#/sbin/nologin#p' 
##可以将分隔符替换成其他符号，数字也行

cat file | sed -n 's9\945\9\99\98\939g'  ##将94599替换为9893

##把以root开头的行注释了
##将ftp都替换成mysed
##把以nologin为结尾的行删除

vim mysed
/^root/ s/^/#/
s/ftp/mysed/g
/nologin$/d

sed -f mysed /opt/file

插入

sed '10c hello world' file  ##替换指定行的整行内容

sed 'y/145/abc' file   ##将145转换为abc,对应关系

sed '1a 123' file   ##在第一行下面插入
sed '$a 123' file   ##在最后一行插入
sed '1,3a 123' file
sed '1,3i 123' file  ##在指定行上面

sed '1r 123.txt' file   ##在第一行后读取文件内容，实现文件合并

sed '/^#t/i 123' file   ##行号可以是字符串

sed '1,3H;$G' file   ##将1到3复制到最后
sed '/^$/d'

sed '1,3H;10,$G' file  ##将1到3行复制到10到最后，每行都粘贴
 
 ##剪切   保持空间
sed '1,3{H;d};$G' file

分组

sed -r 's/(111)(222)(333)/\3\2\1/'
\3  代表第三组
\2 代表第二组

sed -r 's/(^.)(.*)(.$)/\3\2\1/'          ##实现第一个和最后一个进行交换