Linux命令行与Shell脚本编程大全-sed奇淫技巧

本章内容：

• sed编辑器奇淫技巧

# tail /etc/services
nimgtw         48003/udp               # Nimbus Gateway
3gpp-cbsp       48049/tcp               # 3GPP Cell Broadcast Service Protocol
isnetserv       48128/tcp               # Image Systems Network Services
isnetserv       48128/udp               # Image Systems Network Services
blp5           48129/tcp               # Bloomberg locator
blp5           48129/udp               # Bloomberg locator
com-bardac-dw     48556/tcp               # com-bardac-dw
com-bardac-dw     48556/udp               # com-bardac-dw
iqobject        48619/tcp               # iqobject
iqobject        48619/udp               # iqobject

打印奇数行

#seq 10 | sed -n '1~2p'
1
3
5
7
9

打印匹配行及后一行

# tail /etc/services |sed -n '/blp5/,+1p'
blp5            48129/tcp               # Bloomberg locator
blp5           48129/udp               # Bloomberg locator

不打印最后一行

# tail /etc/services |sed -n '$!p'
3gpp-cbsp       48049/tcp               # 3GPP Cell Broadcast Service Protocol
isnetserv       48128/tcp               # Image Systems Network Services
isnetserv       48128/udp               # Image Systems Network Services
blp5            48129/tcp               # Bloomberg locator
blp5            48129/udp               # Bloomberg locator
com-bardac-dw   48556/tcp               # com-bardac-dw
com-bardac-dw   48556/udp               # com-bardac-dw
iqobject        48619/tcp               # iqobject
iqobject        48619/udp               # iqobject

#感叹号也就是对后面的命令取反。

匹配范围

# tail /etc/services  |sed -n '/^blp5/,/^com/p'
blp5            48129/tcp               # Bloomberg locator
blp5            48129/udp               # Bloomberg locator
com-bardac-dw   48556/tcp               # com-bardac-dw

#以逗号分开两个样式选择某个范围

引用系统变量，用引号

 a=2
 # tail /etc/services |sed -n ''$a',3p'
或
# tail /etc/services |sed -n "$a,3p"

使用&命令引用匹配内容并替换

# tail /etc/services |sed 's/48049/&.0/'
3gpp-cbsp       48049.0/tcp               # 3GPP Cell Broadcast Service Protocol
isnetserv       48128/tcp               # Image Systems Network Services
isnetserv       48128/udp               # Image Systems Network Services
blp5            48129/tcp               # Bloomberg locator
blp5            48129/udp               # Bloomberg locator
com-bardac-dw   48556/tcp               # com-bardac-dw
com-bardac-dw   48556/udp               # com-bardac-dw
iqobject        48619/tcp               # iqobject
iqobject        48619/udp               # iqobject
matahari        49000/tcp               # Matahari Broker

IP加单引号：
# echo '10.10.10.1 10.10.10.2 10.10.10.3' |sed -r 's/[^ ]+/"&"/g'
"10.10.10.1" "10.10.10.2" "10.10.10.3"

分组使用，在每个字符串后面添加123

# tail /etc/services |sed -r 's/(.*) (.*)(#.*)/\1\2test \3/'
3gpp-cbsp       48049/tcp              test # 3GPP Cell Broadcast Service Protocol
isnetserv       48128/tcp              test # Image Systems Network Services
isnetserv       48128/udp              test # Image Systems Network Services
blp5            48129/tcp              test # Bloomberg locator
blp5            48129/udp              test # Bloomberg locator
com-bardac-dw   48556/tcp              test # com-bardac-dw
com-bardac-dw   48556/udp              test # com-bardac-dw
iqobject        48619/tcp              test # iqobject
iqobject        48619/udp              test # iqobject
matahari        49000/tcp              test # Matahari Broker

分组使用，将协议与端口号位置调换

# tail /etc/services |sed -r 's/(.*)(\<[0-9]+\>)\/(tcp|udp)(.*)/\1\3\/\2\4/'
3gpp-cbsp       tcp/48049               # 3GPP Cell Broadcast Service Protocol
isnetserv       tcp/48128               # Image Systems Network Services
isnetserv       udp/48128               # Image Systems Network Services
blp5            tcp/48129               # Bloomberg locator
blp5            udp/48129               # Bloomberg locator
com-bardac-dw   tcp/48556               # com-bardac-dw
com-bardac-dw   udp/48556               # com-bardac-dw
iqobject        tcp/48619               # iqobject
iqobject        udp/48619               # iqobject
matahari        tcp/49000               # Matahari Broker

注释匹配行后的多少行

# seq 10 |sed '/5/,+3s/^/#/'
1
2
3
4
#5
#6
#7
#8
9
10

去除开头和结尾空格或制表符

# echo "  1 2 3  " |sed 's/^[ \t]*//;s/[ \t]*$//'
1 2 3

添加新内容（a、i和c）

#在blp5上一行添加test
# tail /etc/services |sed '/blp5/i \test'
3gpp-cbsp       48049/tcp               # 3GPP Cell Broadcast Service Protocol
isnetserv       48128/tcp               # Image Systems Network Services
isnetserv       48128/udp               # Image Systems Network Services
test
blp5            48129/tcp               # Bloomberg locator
test
blp5            48129/udp               # Bloomberg locator
com-bardac-dw   48556/tcp               # com-bardac-dw
com-bardac-dw   48556/udp               # com-bardac-dw
iqobject        48619/tcp               # iqobject
iqobject        48619/udp               # iqobject
matahari        49000/tcp               # Matahari Broker

#在blp5下一行添加test
# tail /etc/services |sed '/blp5/a \test'
3gpp-cbsp       48049/tcp               # 3GPP Cell Broadcast Service Protocol
isnetserv       48128/tcp               # Image Systems Network Services
isnetserv       48128/udp               # Image Systems Network Services
blp5            48129/tcp               # Bloomberg locator
test
blp5            48129/udp               # Bloomberg locator
test
com-bardac-dw   48556/tcp               # com-bardac-dw
com-bardac-dw   48556/udp               # com-bardac-dw
iqobject        48619/tcp               # iqobject
iqobject        48619/udp               # iqobject
matahari        49000/tcp               # Matahari Broker

#将blp5替换新行
# tail /etc/services |sed '/blp5/c \test'
3gpp-cbsp       48049/tcp               # 3GPP Cell Broadcast Service Protocol
isnetserv       48128/tcp               # Image Systems Network Services
isnetserv       48128/udp               # Image Systems Network Services
test
test
com-bardac-dw   48556/tcp               # com-bardac-dw
com-bardac-dw   48556/udp               # com-bardac-dw
iqobject        48619/tcp               # iqobject
iqobject        48619/udp               # iqobject
matahari        49000/tcp               # Matahari Broker

#在指定行下一行添加一行
# tail /etc/services |sed '2a \test'     
3gpp-cbsp       48049/tcp               # 3GPP Cell Broadcast Service Protocol
isnetserv       48128/tcp               # Image Systems Network Services
test
isnetserv       48128/udp               # Image Systems Network Services
blp5            48129/tcp               # Bloomberg locator
blp5            48129/udp               # Bloomberg locator
com-bardac-dw   48556/tcp               # com-bardac-dw
com-bardac-dw   48556/udp               # com-bardac-dw
iqobject        48619/tcp               # iqobject
iqobject        48619/udp               # iqobject
matahari        49000/tcp               # Matahari Broker

在指定行前面和后面添加一行

# seq 5 |sed '3s/.*/txt\n&/' 
1
2
txt
3
4
5
# seq 5 |sed '3s/.*/&\ntxt/'
1
2
3
txt
4
5

读取下一行（n和N）

#打印匹配的下一行
# seq 5 |sed -n '/3/{n;p}'                             
4

#打印偶数
# seq 6 |sed -n 'n;p'  
2
4
6
#sed先读取第一行1，执行n命令，获取下一行2，此时模式空间是2，执行p命令，打印模式空间。 现在模式空间是2，sed再读取3，执行n命令，获取下一行4，此时模式空间为4，执行p命令，以此类推。

#打印奇数
seq 6 |sed -n 'n;d'
1
3
5
#sed先读取第一行1，此时模式空间是1，并打印模式空间1，执行n命令，获取下一行2，执行d命令，删除模式空间的2，sed再读取3，此时模式空间是3，并打印模式空间，再执行n命令，获取下一行4，执行d命令，删除模式空间的3，以此类推。

每三行执行一次p命令

# seq 6 |sed 'n;n;p'   
1
2
3
3
4
5
6
6
#sed先读取第一行1，并打印模式空间1，执行n命令，获取下一行2，并打印模式空间2，再执行n命令，获取下一行3，执行p命令，打印模式空间3。sed读取下一行3，并打印模式空间3,以此类推。

#每三行替换一次
# seq 6 |sed 'n;n;s/^/=/;s/$/=/'
1
2
=3=
4
5
=6=

#当执行多个sed命令时，有时相互会产生影响，我们可以用大括号{}把他们括起来。
# seq 6 |sed '3~3{s/^/=/;s/$/=/}'
1
2
=3=
4
5
=6=

#再看下N命令的功能
# seq 6 |sed 'N;q'
1
2
将两行合并一行：
# seq 6 |sed 'N;s/\n//'
12
34
56


# seq 5 |sed -n 'N;p'
1
2
3
4
# seq 6 |sed -n 'N;p'
1
2
3
4
5
6

#为什么第一个不打印5呢？
#因为N命令是读取下一行追加到sed读取的当前行，当N读取下一行没有内容时，则退出，也不会执行p命令打印当前行。
#当行数为偶数时，N始终就能读到下一行，所以也会执行p命令。

#打印奇数行数时的最后一行
# seq 5 |sed -n '$!N;p'           
1
2
3
4
5

#打印奇数
# seq 6 |sed -n 'N;P'
1
3
5

#保留最后一行
# seq 6 |sed 'N;D'       
6
#读取第一行1，执行N命令读取下一行并追加到模式空间，此时模式空间是1\n2，执行D命令删除模式空间第一行1，剩余2。
#读取第二行，执行N命令，此时模式空间是3\n4，执行D命令删除模式空间第一行3，剩余4。
#以此类推，读取最后一行打印时，而N获取不到下一行则退出，不再执行D，因此模式空间只剩余6就打印。

保持空间操作（h与H、g与G和x）

h命令作用是复制模式空间内容到保持空间（覆盖）。
H命令作用是复制模式空间内容追加到保持空间。
g命令作用是复制保持空间内容到模式空间（覆盖）。
G命令作用是复制保持空间内容追加到模式空间。
x命令作用是模式空间与保持空间内容互换

#将匹配的内容覆盖到另一个匹配
# seq 6 |sed -e '/3/{h;d}' -e '/5/g'
1
2
4
3
6
#h命令把匹配的3复制到保持空间，d命令删除模式空间的3。后面命令再对模式空间匹配5，并用g命令把保持空间3覆盖模式空间5。

#将匹配的内容放到最后
# seq 6 |sed -e '/3/{h;d}' -e '$G'
1
2
4
5
6
3

#交换模式空间和保持空间
# seq 6 |sed -e '/3/{h;d}' -e '/5/x' -e '$G'
1
2
4
3
6
5

#倒叙输出
# seq 5 |sed '1!G;h;$!d'
5
4
3
2
1

1!G 第一行不执行把保持空间内容追加到模式空间，因为现在保持空间还没有数据。
h 将模式空间放到保持空间暂存。
$!d 最后一行不执行删除模式空间的内容。
读取第一行1时，跳过G命令，执行h将模式空间1复制到保持空间，执行d命令删除模式空间的1。
读取第二行2时，模式空间是2，执行G命令，将保持空间1追加到模式空间，此时模式空间是2\n1，执行h将2\n1覆盖到保持空间，d删除模式空间。
读取第三行3时，模式空间是3，执行G命令，将保持空间2\n1追加到模式空间，此时模式空间是3\n2\n1，执行h将模式空间内容复制到保持空间，d删除模式空间。
以此类推，读到第5行时，模式空间是5，执行G命令，将保持空间的4\n3\n2\n1追加模式空间，然后复制到模式空间，5\n4\n3\n2\n1，不执行d，模式空间保留，输出。
由此可见，每次读取的行先放到模式空间，再复制到保持空间，d命令删除模式空间内容，防止输出，再追加到模式空间，因为追加到模式空间，会追加到新读取的一行的后面，循环这样操作， 就把所有行一行行追加到新读取行的后面，就形成了倒叙。

#每行后面添加新空行
# seq 10 |sed G
1
 
2
 
3
 
4
 
5

标签

标签可以控制流，实现分支判断。
: lable name 定义标签
b lable 跳转到指定标签，如果没有标签则到脚本末尾
t lable 跳转到指定标签，前提是s///命令执行成功

#将换行符替换成逗号
# seq 6 |sed ':a;N;s/\n/,/;b a'           
1,2,3,4,5,6
#看看这里的标签使用，:a 是定义的标签名，b a是跳转到a位置。
#sed读取第一行1，N命令读取下一行2，此时模式空间是1\n2$，执行替换，此时模式空间是1,2$，执行b命令再跳转到标签a位置继续执行N命令，读取下一行3追加到模式空间，此时模式空间是1,2\n3$，再替换，以此类推，不断追加替换，直到最后一行N读不到下一行内容退出。

# seq 6 |sed ':a;N;$!b a;s/\n/,/g'
1,2,3,4,5,6

#每三个数字加个一个逗号
# echo "123456789" |sed -r 's/([0-9]+)([0-9]+{3})/\1,\2/'
123456,789
# echo "123456789" |sed -r ':a;s/([0-9]+)([0-9]+{3})/\1,\2/;t a'
123,456,789
# echo "123456789" |sed -r ':a;s/([0-9]+)([0-9]+{2})/\1,\2/;t a'
1,23,45,67,89

忽略大小写匹配

# echo -e "a\nA\nb\nc" |sed 's/a/1/Ig'
1
1
b
c

获取总行数

# seq 10 |sed -n '$='

删除HTML标签

$sed 's/<[^>]*//g;/^$/d' data9
This is the page title
This is the first line in the web page.This should provide
Some useful information for us to use in our shell script.
$

删除连续空白行及开头的空白行

sed '/./,/^$/!d;/./,$!d' data10

删除结尾空白行

sed '{
:start
/^\n*$/{$d; N; b start }
}' data11

给文件中的行编号

sed '=' data12 | sed 'N; s/\n/ /'
1 This is the header line
2 This is the first data line.