shell学习笔记5---sed详解(原创)

Sed简介
sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

可以通过定址来定位你所希望编辑的行，该地址用数字构成，用逗号分隔的两个行数表示以这两行为起止的行的范围（包括行数表示的那两行）。如1，3表示1，2，3行，美元符号($)表示最后一行。范围可以通过数据，正则表达式或者二者结合的方式确定 。
调用sed命令有两种形式：
sed [options] 'command' file(s)

sed [options] -f scriptfile file(s)

选项
-e command, --expression=command允许多台编辑
$ sed -e '1,5d' -e 's/test/check/' example          #(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。
$ sed --expression='s/test/check/' --expression='/love/d' example            #一个比-e更好的命令是--expression。它能给sed表达式赋值。
-h, --help
打印帮助，并显示bug列表的地址。
-n, --quiet, --silent
不打印; sed不写编辑行到标准输出,缺省为打印所有行(编辑和未编辑),p命令可以用来打印编辑行
-f, --filer=script-file
引导sed脚本文件名。
-V, --version
打印版本和版权信息。
5. 元字符集
^
锚定行的开始 如：/^sed/匹配所有以sed开头的行。
$
锚定行的结束 如：/sed$/匹配所有以sed结尾的行。
.
匹配一个非换行符的字符 如：/s.d/匹配s后接一个任意字符，然后是d。
*
匹配零或多个字符 如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
[]
匹配一个指定范围内的字符，如/[Ss]ed/匹配sed和Sed。
[^]
匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。
\(..\)
保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers。
&
保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。
\<
锚定单词的开始，如:/\<love/匹配包含以love开头的单词的行。
\>
锚定单词的结束，如/love\>/匹配包含以love结尾的单词的行。
x\{m\}
重复字符x，m次，如：/0\{5\}/匹配包含5个o的行。
x\{m,\}
重复字符x,至少m次，如：/o\{5,\}/匹配至少有5个o的行。
x\{m,n\}
重复字符x，至少m次，不多于n次，如：/o\{5,10\}/匹配5--10个o的行。
选定行的范围：逗号
$ sed -n '/test/,/check/p' example            #所有在模板test和check所确定的范围内的行都被打印。
$ sed -n '5,/^test/p' example            #打印从第五行开始到第一个包含以test开始的行之间的所有行。
$ sed '/test/,/check/s/$/sed test/' example            #对于模板test和west之间的行，每行的末尾用字符串sed test替换。

替换标记
y表示把一个字符翻译为另外的字符(但是不用于正则表达式)
该命令与UNIX/Linux中的tr命令类似，字符按照一对一的方式从左到右进行转换。例如，y/abc/ABC/将把所有小写的a转换成A，小写的b转换成B，小写的c转换成C。
$sed '1,20y/hrwang12/HRWANG^$/' datafile
将1到20行内，所有的小写hrwang转换成大写，将1转换成^,将2转换成$。正则表达式元字符对y命令不起作用。与s命令的分隔符一样，斜线可以被替换成其它的字符。
$ sed '1,10y/abcde/ABCDE/' example            #把1--10行内所有abcde转变为大写，注意，正则表达式元字符不能使用这个命令。
q：退出Sed
$ sed '10q' example            #打印完第10行后，退出sed。
d:从模板块（Pattern space）位置删除行。

$ sed '2d' example                      #删除example文件的第二行。
$ sed '2,$d' example                   #删除example文件的第二行到末尾所有行。
$ sed '$d' example                      #删除example文件的最后一行。
$ sed '/test/'d example                #删除example文件所有包含test的行。
r file：从file中读行。
$ sed '/test/r file' example            #file里的内容被读进来，显示在与test匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面。
s:用知道那个模式替换当前模式。s/re/string，用string替换正则表达式re。
$ sed 's/test/mytest/g' example            #在整行范围内把test替换为mytest。如果没有g标记，则只有每行第一个匹配的test被替换成mytest。
$ sed -n 's/^test/mytest/p' example      #(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印它。
$ sed 's/^192.168.0.1/&localhost/' example      #&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost，变成192.168.0.1localhost。
$ sed -n 's/\(love\)able/\1rs/p' example            #love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。
$ sed 's#10#100#g' example            #不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。
=:打印当前行号码。

$ sed '/a/=' mm
1
a
b
c
$ sed -n '/a/=' mm
1
引用shell变量
在sed的命令行中引用shell变量时要使用双引号，而不是通常所用的单引号。下面是一个根据name变量的内容来删除named.conf文件中zone段的脚本：
name='zone\ "localhost"'
sed "/$name/,/};/d" named.conf

sed脚本
Sed脚本是一个sed的命令清单，启动Sed时以-f选项引导脚本文件名。Sed对于脚本中输入的命令非常挑剔，在命令的末尾不能有任何空白或文本，如果在一行中有多个命令，要用分号分隔。以#开头的行为注释行，且不能跨行。
sed高级命令（G、H、g、h、n、N、x）
由于各种各样的原因，比如用户希望在某个条件下脚本中的某个命令被执行，或者希望模式空间得到保留以便下一次的处理，都有可能使得sed在处理文件的时候不按照正常的流程来进行。这个时候，sed设置了一些高级命令来满足用户的要求。
+ g：[address[,address]]g 将hold space中的内容拷贝到pattern space中，原来pattern space里的内容清除
+ G：[address[,address]]G 将hold space中的内容append到pattern space\n后
+ h：[address[,address]]h 将pattern space中的内容拷贝到hold space中，原来的hold space里的内容被清除
+ H：[address[,address]]H 将pattern space中的内容append到hold space\n后
+ d：[address[,address]]d 删除pattern中的所有行，并读入下一新行到pattern中
+ D：[address[,address]]D 删除multiline pattern中的第一行，不读入下一行
pattern space相当于车间sed把流内容在这里处理。
hold space相当于仓库，加工的半成品在这里临时储存。
你可以将pattern space看成是一个流水线，所有的动作都是在“流水线”上执行的；而hold space是一个“仓库”，“流水线”上的东东都可以放到这里。

不论是使用G、g还是H、h，它们都是将hold space里面的内容“copy”到pattern space中或者将pattern space中的内容“copy”到hold space中。

英文解释如下
The "h" command copies the pattern buffer into the hold buffer. The pattern buffer is unchanged.
Instead of exchanging the hold space with the pattern space, you can copy the hold space to the pattern space with the "g" command. This deletes the pattern space. If you want to append to the pattern space, use the "G" command. This adds a new line to the pattern space, and copies the hold space after the new line.
示例：用sed模拟出tac的功能（倒序输出）。
文件内容
$cat mm
1
2
3
解决方法：
$sed ‘1!G;h;$!d’mm

1!G第1行不 执行“G”命令，从第2行开始执行。$!d，最后一行不删除（保留最后1行）
图解分析过程

P：Pattern Space；H：Hold Space；蓝色：Hold Space中的数据；绿色：Pattern Space中的数据

x表示互换模板块中的文本和缓冲区中的文本。
$ sed -e '/test/h' -e '/check/x' example             #互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。

保持和获取：h命令和G命令
$ sed -e '/test/h' -e '$G example            #在这个例子里，匹配test的行被找到后，将存入模式空间，h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。第二条语句的意思是，当到达最后一行后，G命令取出保持缓冲区的行，然后把它放回模式空间中，且追加到现在已经存在于模式空间中的行的末尾。在这个例子中就是追加到最后一行。简单来说，任何包含test的行都被复制并追加到该文件的末尾。

行转列的一个例子
ls -1 | sed -ne "H;$ {x;s/\n/ /g;p}"
H表示把pattern space 的内容追加到hold space中去，H可以带一个地址，这里用的是$,表示到文件的末尾，然后用x将之取到pattern space中，把\n替换成空格再打印即可。

n命令
n命令简单来说就是提前读取下一行，覆盖模型空间前一行（并没有删除，因此依然打印至标准输出），如果命令未执行成功（并非跳过：前端条件不匹配），则放弃之后的任何命令，并对新读取的内容，重头执行。

打印偶数行
$cat aaa
This is 1   
This is 2   
This is 3   
This is 4   
This is 5   
$sed -n 'n;p' aaa         //-n表示隐藏默认输出内容   
This is 2   
This is 4
注释：读取This is 1，执行n命令，此时模式空间为This is 2，执行p，打印模式空间内容This is 2，之后读取This is 3，执行n命令，此时模式空间为This is 4，执行p，打印模式空间内容This is 4，之后读取This is 5，执行n命令，因为没有了，所以退出，并放弃p命令。
$ sed '/test/{ n; s/aa/bb/; }' example            #如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续。
N命令
N命令简单来说就是追加下一行到模式空间，同时将两行看做一行，但是两行之间依然含有\n换行符，如果命令未执行成功（并非跳过：前端条件不匹配），则放弃之后任何命令，并对新读取的内容，重头执行sed。sed并不对每行末尾\n进行处理，但是对N命令追加的行间\n进行处理，因为此时sed将两行看做一行。
打印奇数行
sed -n '$!N;P' aaa           
This is 1  
This is 3  
This is 5

!:表示后面的命令对所有没有被选定的行发生作用。

注释：读取1，$!条件满足（不是尾行），执行N命令，得出1\n2，执行P，打印得1，读取3，$!条件满足（不是尾行），执行N命令，得出3\n4，执行P，打印得3，读取5，$!条件不满足，跳过N，执行P，打印得5
D命令
D命令是删除当前模式空间开端至\n的内容（不在传至标准输出），放弃之后的命令，对剩余模式空间重新执行sed。
从aaa文件中读取最后一行
sed 'N;D' aaa          
This is 5
注释：读取1，执行N，得出1\n2，执行D，得出2，执行N，得出2\n3，执行D，得出3，依此类推，得出5，执行N，条件失败退出，因无-n参数，故输出5

 

参考至：http://blog.csai.cn/user1/21439/archives/2007/19536.html

                  http://hi.baidu.com/aaa103439/item/dbaa6d0d27b4f812cc34eab8

                  http://www.cnblogs.com/fhefh/archive/2011/11/22/2259097.html

                  http://febest15.blog.163.com/blog/static/544960062008329114610389/
                  http://www.cnblogs.com/FrankTan/archive/2010/03/23/1692831.html

                  http://blog.csdn.net/jeffreyst/article/details/8775991

本文原创，转载请注明出处、作者

如有错误，欢迎指正
邮箱:[email protected]