sed 简明教程(1)
本博文转载自http://coolshell.cn/articles/9104.html
awk于1977年出生，今年36岁本命年，sed比awk大2-3岁，awk就像林妹妹，sed就是宝玉哥哥了。所以 林妹妹跳了个Topless，他的哥哥sed坐不住了，也一定要出来抖一抖。
sed全名叫stream editor，流编辑器，用程序的方式来编辑文本，相当的hacker啊。sed基本上就是玩正则模式匹配，所以，玩sed的人，正则表达式一般都比较强。
同样，本篇文章不会说sed的全部东西，你可以参看sed的手册，我这里主要还是想和大家竞争一下那些从手机指缝间或马桶里流走的时间，用这些时间来学习一些东西。当然，接下来的还是要靠大家自己双手。
用s命令替换
我使用下面的这段文本做演示：
|
1
2
3
4
5
6
7
8
9
|
$
cat
pets.txt
This is my
cat
my
cat
's name is betty
This is my dog
my dog's name is frank
This is my fish
my fish's name is george
This is my goat
my goat's name is adam
|
把其中的my字符串替换成Hao Chen’s，下面的语句应该很好理解（s表示替换命令，/my/表示匹配my，/Hao Chen’s/表示把匹配替换成Hao Chen’s，/g 表示一行上的替换所有的匹配）：
|
1
2
3
4
5
6
7
8
9
|
$
sed
"s/my/Hao Chen's/g"
pets.txt
This is Hao Chen's
cat
Hao Chen
's cat'
s name is betty
This is Hao Chen's dog
Hao Chen
's dog'
s name is frank
This is Hao Chen's fish
Hao Chen
's fish'
s name is george
This is Hao Chen's goat
Hao Chen
's goat'
s name is adam
|
注意：如果你要使用单引号，那么你没办法通过\’这样来转义，就有双引号就可以了，在双引号内可以用\”来转义。
再注意：上面的sed并没有对文件的内容改变，只是把处理过后的内容输出，如果你要写回文件，你可以使用重定向，如：
|
1
|
$
sed
"s/my/Hao Chen's/g"
pets.txt > hao_pets.txt
|
或使用 -i 参数直接修改文件内容：
|
1
|
$
sed
-i
"s/my/Hao Chen's/g"
pets.txt
|
在每一行最前面加点东西：
|
1
2
3
4
5
6
7
8
9
|
$
sed
's/^/#/g'
pets.txt
#This is my cat
# my cat's name is betty
#This is my dog
# my dog's name is frank
#This is my fish
# my fish's name is george
#This is my goat
# my goat's name is adam
|
在每一行最后面加点东西：
|
1
2
3
4
5
6
7
8
9
|
$
sed
's/$/ --- /g'
pets.txt
This is my
cat
---
my
cat
's name is betty ---
This is my dog ---
my dog's name is frank ---
This is my fish ---
my fish's name is george ---
This is my goat ---
my goat's name is adam ---
|
顺手介绍一下正则表达式的一些最基本的东西：
^ 表示一行的开头。如：/^#/ 以#开头的匹配。
$ 表示一行的结尾。如：/}$/ 以}结尾的匹配。
\< 表示词首。 如 \<abc 表示以 abc 为首的�~。
\> 表示词尾。 如 abc\> 表示以 abc �Y尾的�~。
. 表示任何单个字符。
* 表示某个字符出现了0次或多次。
[ ] 字符集合。 如：[abc]表示匹配a或b或c，还有[a-zA-Z]表示匹配所有的26个字符。如果其中有^表示反，如[^a]表示非a的字符
正规则表达式是一些很牛的事，比如我们要去掉某html中的tags：
|
1
|
<
b
>This</
b
> is what <
span
style
=
"text-decoration: underline;"
>I</
span
> meant. Understand?
|
看看我们的sed命令
|
1
2
3
4
5
6
7
8
|
# 如果你这样搞的话，就会有问题
$
sed
's/<.*>//g'
html.txt
Understand?
# 要解决上面的那个问题，就得像下面这样。
# 其中的'[^>]' 指定了除了>的字符重复0次或多次。
$
sed
's/<[^>]*>//g'
html.txt
This is what I meant. Understand?
|
我们再来看看指定需要替换的内容：
|
1
2
3
4
5
6
7
8
9
|
$
sed
"3s/my/your/g"
pets.txt
This is my
cat
my
cat
's name is betty
This is your dog
my dog's name is frank
This is my fish
my fish's name is george
This is my goat
my goat's name is adam
|
下面的命令只替换第3到第6行的文本。
|
1
2
3
4
5
6
7
8
9
|
$
sed
"3,6s/my/your/g"
pets.txt
This is my
cat
my
cat
's name is betty
This is your dog
your dog's name is frank
This is your fish
your fish's name is george
This is my goat
my goat's name is adam
|
|
1
2
3
4
5
|
$
cat
my.txt
This is my
cat
, my
cat
's name is betty
This is my dog, my dog's name is frank
This is my fish, my fish's name is george
This is my goat, my goat's name is adam
|
只替换每一行的第一个s：
|
1
2
3
4
5
|
$
sed
's/s/S/1'
my.txt
ThiS is my
cat
, my
cat
's name is betty
ThiS is my dog, my dog's name is frank
ThiS is my fish, my fish's name is george
ThiS is my goat, my goat's name is adam
|
只替换每一行的第二个s：
|
1
2
3
4
5
|
$
sed
's/s/S/2'
my.txt
This iS my
cat
, my
cat
's name is betty
This iS my dog, my dog's name is frank
This iS my fish, my fish's name is george
This iS my goat, my goat's name is adam
|
只替换第一行的第3个以后的s：
|
1
2
3
4
5
|
$
sed
's/s/S/3g'
my.txt
This is my
cat
, my
cat
'S name iS betty
This is my dog, my dog'S name iS frank
This is my fiSh, my fiSh'S name iS george
This is my goat, my goat'S name iS adam
|
多个匹配
如果我们需要一次替换多个模式，可参看下面的示例：（第一个模式把第一行到第三行的my替换成your，第二个则把第3行以后的This替换成了That）
|
1
2
3
4
5
|
$
sed
'1,3s/my/your/g; 3,$s/This/That/g'
my.txt
This is your
cat
, your
cat
's name is betty
This is your dog, your dog's name is frank
That is your fish, your fish's name is george
That is my goat, my goat's name is adam
|
上面的命令等价于：（注：下面使用的是sed的-e命令行参数）
|
1
|
sed
-e
'1,3s/my/your/g'
-e
'3,$s/This/That/g'
my.txt
|
我们可以使用&来当做被匹配的变量，然后可以在基本左右加点东西。如下所示：
|
1
2
3
4
5
|
$
sed
's/my/[&]/g'
my.txt
This is [my]
cat
, [my]
cat
's name is betty
This is [my] dog, [my] dog's name is frank
This is [my] fish, [my] fish's name is george
This is [my] goat, [my] goat's name is adam
|
圆括号匹配
使用圆括号匹配的示例：（圆括号括起来的正则表达式所匹配的字符串会可以当成变量来使用，sed中使用的是\1,\2…）
|
1
2
3
4
5
|
$
sed
's/This is my \([^,]*\),.*is \(.*\)/\1:\2/g'
my.txt
cat
:betty
dog:frank
fish:george
goat:adam
|
上面这个例子中的正则表达式有点复杂，解开如下（去掉转义字符）：
正则为：This is my ([^,]*),.*is (.*)
匹配为：This is my (cat),……….is (betty)
然后：\1就是cat，\2就是betty