文本处理——sed初步

sed是一种流编辑器，它一次处理一行内容。
处理时，把当前处理的行存储在临时缓冲区(pattern space),同时输出到屏幕，接着用sed命令处理缓冲区中的内容，接着读取下一行，这样不断重复，直到文件末尾。

用法：

sed -[options] [操作] inputfile

-n：不输出模式空间内容到屏幕，即不自动打印
-e: 多点编辑
-f：/PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本
-r: 支持使用扩展正则表达式
-i.bak: 原处编辑并且备份源文件（.bak可以改为任意字符）

操作： [地址定界]function

地址定界：最简单的是n1,n2function:从n1匹配到n2的行，然后进行操作比如：10,20[动作行为]

单地址：
       #：指定的行
                /pattern/:被此模式匹配到的行，如果要使用扩展的正则表达式，则要使用-f选项
            地址范围：
       #,#从行到行
                #，+#：比如3,+6代表是从第3行开始增加6行到第9行
                /pat1/,/pat2/:pat1到pat2的行，如果匹配到pat1到pat2，将其加入到缓冲区，并且会继续向下匹配
                #,/pat1/
       ~:步进
                1~2：匹配奇数行。从第一行开始，每隔2行匹配一次
                2~2：匹配偶数行
    ```
   function：

d: 删除模式空间匹配的行，因为是删除啊，所以 d 后面通常不接任何咚咚；
p: 显示模式空间中的内容
a []text：在指定行后面追加文本
支持使用\n实现多行追加
i []text：在行前面插入文本
c []text：替换行为单行或多行文本
w /path/somefile: 保存模式匹配的行至指定文件，sed '10,90w /root/file' file1将从f1匹配到的行到file
r /path/somefile：读取指定文件的文本至模式空间中
匹配到的行后
=: 为模式空间中的行打印行号
!:模式空间中匹配行取反处理cat
s///：查找替换,支持使用其它分隔符，s@@@，s###
替换标记：
g: 行内全局替换
w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中

####数据的搜寻并执行命令

搜索/etc/passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行：
nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}'
root:x:0:0:root:/root:/bin/blueshell

如果只替换/etc/passwd的第一个bash关键字为blueshell，就退出
nl /etc/passwd | sed -n '/bash/{s/bash/blueshell/;p;q}'
root:x:0:0:root:/root:/bin/blueshell
最后的q是退出。

##案例：

nl /etc/passwd |sed '2d'只删除第 2 行
sed '/^#|[[:space:]]*$/d' f1搜索出来以#号开头或有空白行
sed –n '2p' /etc/passwd 输出第二行
sed –n '1,4p' /etc/passwd从第一行到第四行显示
sed –n '/root/p' /etc/passwd 显示匹配到root的行
sed –n '2,/root/p' /etc/passwd 从2行开始匹配root，并显示
sed -n '/^$/=' file 显示空行行号
sed –n –e '/^$/p' –e '/^$/=' file 多点编辑，我觉得类似grep的-e选项，或者的关系
sed '/root/a\superman' /etc/passwd行后添加字符
sed '/root/i\superman' /etc/passwd 行前
sed '/root/c\superman' /etc/passwd 代替行
sed '/^$/d' file删除空行，不包括空格组成的空行
sed '1,10d' file
nl /etc/passwd | sed '2,5d'
nl /etc/passwd | sed '2a tea'在第二行后面添加tea
sed 's/test/mytest/g' example 将test替换为mytest
sed –n 's/root/&superman/p' /etc/passwd 单词后，相当于后向引用，替换为rootsuperman
sed –n 's/root/superman&/p' /etc/passwd 单词前
sed -e 's/dog/cat/' -e 's/hi/lo/' pets
sed –i.bak 's/dog/cat/g' pets 编辑前先将pets备份为pets.bak然后进行替换编辑

##高级编辑命令：

h：把模式空间中的内容覆盖至保持空间中；
H：把模式空间中的内容追加至保持空间中；
g：把保持空间中的内容覆盖至模式空间中；
G：把保持空间中的内容追加至模式空间中；
x：把模式空间中的内容与保持空间中的内容互换；
n：覆盖读取匹配到的行的下一行至模式空间中；
N：追加读取匹配到的行的下一行至模式空间中；
d: 删除模式空间中的行
D：删除当前模式空间开端至\n的内容（不再传至标准输出），放弃之后的命令，但是对剩余模式空间重新执行sed

示例：     

sed -n 'n;p' FILE：显示偶数行；
sed '1!G;h;$!d' FILE：逆序显示文件的内容；
sed ’$!d' FILE：取出最后一行；
sed '$!N;$!D' FILE：取出文件后两行；
sed '/^$/d;G' FILE：删除原有的所有空白行，而后为所有的非空白行后添加一个空白行；
sed 'n;d' FILE：显示奇数行；
sed 'G' FILE：在原有的每行后方添加一个空白行；

作业：

1.删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
sed 's/^[[:space:]]//gp' /etc/grub2.cfg
2.删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符
sed 's/^#[[:space:]]+//g' /etc/fstab
3、在centos6系统/root/install.log每一行行首增加#号
sed 's/^/#/' /root/install.log
4、在/etc/fstab文件中不以#开头的行的行首增加#号
sed -n '/^#/!{s//#/p}' /root/f1
sed 's/^[#]|^$/#&/' /root/f1
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
echo "/etc/sysconfig/network-scripts" |sed -r 's@(^/./)([^/]+/?)@\2@'
echo "/etc/sysconfig/network-scripts" |sed -r 's@(^/.*/)([/]+/?)@\1@'
6、利用sed 取出ifconfig命令中本机的IPv4地址
ifconfig eth0|sed -n -e '2s/^.r://' -e '2s/ .//p'
7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数
ls -1 /misc/cd/Packages/ |sed -nr "s@(.*.)([[:alnum:]_]+.rpm)@\2@p" |sort |uniq -c|sort -n
8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）
grep -o "[[:alpha:]]+" /etc/init.d/functions |sort|uniq -c|sort -nr
sed -nre 's/[^[:alpha:]]+/\n/gp' /etc/init.d/functions |sort | uniq -c|sort -n
9、将文本文件的n和n+1行合并为一行，n为奇数行
nl f1|sed -n "N;s/\n//p"

##后话
做这种题最重要是练习，练得多了，自然就会了，没有必要找好多文章来说明一种命令的用法，还是慢慢体会的好