linux学习篇9-1 基本的正规表达式 sed 工具（未完成） 延伸正规表示法

linux学习篇9---- 《鸟哥的Linux私房菜基础学习篇（第三版）》读书笔记

简单的说，正规表示法就是处理字串的方法，他是以行为单位来进行字串的处理行为， 正规表示法透过一些特殊符号的辅助，可以让使用者轻易的达到『搜寻/删除/取代』某特定字串的处理程序！

ps.不同语系所得到的结果不一样 ，一般POSIX 标准用的是 LANG=C语系

特殊符号	代表意义
[:alnum:]	代表英文大小写字节及数字，亦即 0-9, A-Z, a-z
[:alpha:]	代表任何英文大小写字节，亦即 A-Z, a-z
[:blank:]	代表空白键与 [Tab] 按键两者
[:cntrl:]	代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等
[:digit:]	代表数字而已，亦即 0-9
[:graph:]	除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键
[:lower:]	代表小写字节，亦即 a-z
[:print:]	代表任何可以被列印出来的字节
[:punct:]	代表标点符号 (punctuation symbol)，亦即：" ' ? ! ; : # $...
[:upper:]	代表大写字节，亦即 A-Z
[:space:]	任何会产生空白的字节，包括空白键, [Tab], CR 等等
[:xdigit:]	代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节

尤其上表中的[:alnum:], [:alpha:], [:upper:], [:lower:], [:digit:] 这几个一定要知道代表什么意思，因为他要比 a-z 或 A-Z 的用途要确定的很！好了，底下就让我们开始来玩玩进阶版的 grep 吧！

[root@www ~]# grep [-A] [-B] [--color=auto] '搜寻字串' filename
选项与参数：
-A ：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来；
-B ：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出来；
--color=auto 可将正确的那个撷取数据列出颜色

ps.可以在 ~/.bashrc 内加上这行：『alias grep='grep --color=auto'』再以『 source ~/.bashrc 』来立即生效即可喔！ 这样每次运行 grep 他都会自动帮你加上颜色显示啦！

范例三：承上题，在关键字所在行的前两行与后三行也一起捉出来显示
[root@www ~]# dmesg | grep -n -A3 -B2 --color=auto 'eth'

-n 显示行号

基础正规表示法练习

例题一、搜寻特定字串

grep -ivn 'string' filename

详细参数见上章
例题二、利用中括号 [] 来搜寻集合字节

[root@www ~]# grep -n 't[ae]st' regular_express.txt

其实 [] 里面不论有几个字节，他都谨代表某『一个』字节

[root@www ~]# grep -n '[^g]oo' regular_express.txt

[root@www ~]# grep -n '[^a-z]oo' regular_express.txt

反向字符代表‘oo’前面不能出现中括号中的字符

[root@www ~]# grep -n '[^[:lower:]]oo' regular_express.txt
# 那个 [:lower:] 代表的就是 a-z 的意思！请参考前两小节的说明表格

例题三、行首与行尾字节 ^ $

[root@www ~]# grep -n '^[a-z]' regular_express.txt
2:apple is my favorite food.
4:this dress doesn't fit me.

你可以发现我们可以捉到第一个字节都不是大写的！只不过 grep 列出的关键字部分不只有第一个字节， grep 是列出一整个字 (word) 说！同样的，上面的命令也可以用如下的方式来取代的：

那如果我不想要开头是英文字母，则可以是这样：

[root@www ~]# grep -n '^[^a-zA-Z]' regular_express.txt
1:"Open Source" is a good mechanism to develop programs.
21:# I am VBird
# 命令也可以是： grep -n '^[^[:alpha:]]' regular_express.txt

注意到了吧？ 那个 ^ 符号，在字节集合符号(括号[])之内与之外是不同的！ 在 [] 内代表『反向选择』，在 [] 之外则代表定位在行首的意义！

[root@www ~]# grep -n '\.$' regular_express.txt

列出以小数点结尾的行  需要\跳脱

[root@www ~]# grep -n '^$' regular_express.txt

找出空白行

[root@www ~]# grep -v '^$' /etc/syslog.conf | grep -v '^#'
# 结果仅有 10 行，其中第一个『 -v '^$' 』代表『不要空白行』，
# 第二个『 -v '^#' 』代表『不要开头是 # 的那行』喔！

去掉空白行与注释行

例题四、任意一个字节 . 与重复字节 *

• . (小数点)：代表『一定有一个任意字节』的意思；
• * (星星号)：代表『重复前一个字节， 0 到无穷多次』的意思，为组合形态

[root@www ~]# grep -n 'g..d' regular_express.txt
1:"Open Source" is a good mechanism to develop programs.

* 代表的是『 重复 0 个或多个前面的 RE 字符 』的意义， 因此， 『o*』代表的是：『拥有空字节或一个 o 以上的字节』

如果是『oo*』呢？则第一个 o 肯定必须要存在，第二个 o 则是可有可无的多个 o 

.* 就代表零个或多个任意字节

那该如何得到我们的 g....g 的需求呢？呵呵！就利用任意一个字节『.』啊！ 亦即是：『g.*g』的作法，因为 * 可以是 0 或多个重复前面的字符 而不是g*g

例题五、限定连续 RE 字符范围 {}

因为 { 与 } 的符号在 shell 是有特殊意义的，因此， 我们必须要使用跳脱字符 \ 来让他失去特殊意义才行。

[root@www ~]# grep -n 'o\{2\}' regular_express.txt

找到两个 o 的字串

[root@www ~]# grep -n 'go\{2,5\}g' regular_express.txt

找出 g 后面接 2 到 5 个 o

[root@www ~]# grep -n 'go\{2,\}g' regular_express.txt

2 个 o 以上的 goooo....g 

总结

RE 字符	意义与范例
^word	意义：待搜寻的字串(word)在行首！ 范例：搜寻行首为 # 开始的那一行，并列出行号 grep -n '^#' regular_express.txt
word$	意义：待搜寻的字串(word)在行尾！ 范例：将行尾为 ! 的那一行列印出来，并列出行号 grep -n '!$' regular_express.txt
.	意义：代表『一定有一个任意字节』的字符！ 范例：搜寻的字串可以是 (eve) (eae) (eee) (e e)， 但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字节，而空白字节也是字节！ grep -n 'e.e' regular_express.txt
\	意义：跳脱字符，将特殊符号的特殊意义去除！ 范例：搜寻含有单引号 ' 的那一行！ grep -n \' regular_express.txt
*	意义：重复零个到无穷多个的前一个 RE 字符 范例：找出含有 (es) (ess) (esss) 等等的字串，注意，因为 * 可以是 0 个，所以 es 也是符合带搜寻字串。另外，因为 * 为重复『前一个 RE 字符』的符号， 因此，在 * 之前必须要紧接著一个 RE 字符喔！例如任意字节则为 『.*』 ！ grep -n 'ess*' regular_express.txt
[list]	意义：字节集合的 RE 字符，里面列出想要撷取的字节！ 范例：搜寻含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字节』， 例如『 a[afl]y 』代表搜寻的字串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思！ grep -n 'g[ld]' regular_express.txt
[n1-n2]	意义：字节集合的 RE 字符，里面列出想要撷取的字节范围！ 范例：搜寻含有任意数字的那一行！需特别留意，在字节集合 [] 中的减号 - 是有特殊意义的，他代表两个字节之间的所有连续字节！但这个连续与否与 ASCII 编码有关，因此，你的编码需要配置正确(在 bash 当中，需要确定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字节则为 [A-Z] grep -n '[A-Z]' regular_express.txt
[^list]	意义：字节集合的 RE 字符，里面列出不要的字串或范围！ 范例：搜寻的字串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思。 例如，我不要大写字节，则为 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该文件内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字节』的意思， 因为每一行均有非大写字节，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字 grep -n 'oo[^t]' regular_express.txt
\{n,m\}	意义：连续 n 到 m 个的『前一个 RE 字符』 意义：若为 \{n\} 则是连续 n 个的前一个 RE 字符， 意义：若是 \{n,\} 则是连续 n 个以上的前一个 RE 字符！ 范例：在 g 与 g 之间有 2 个到 3 个的 o 存在的字串，亦即 (goog)(gooog) grep -n 'go\{2,3\}g' regular_express.txt

再次强调：『正规表示法的特殊字节』与一般在命令列输入命令的『万用字节』并不相同， 例如，在万用字节当中的 * 代表的是『 0 ~ 无限多个字节』的意思，但是在正规表示法当中， * 则是『重复 0 到无穷多个的前一个 RE 字符』的意思

举例来说，不支持正规表示法的 ls 这个工具中，若我们使用 『ls -l * 』 代表的是任意档名的文件，而 『ls -l a* 』代表的是以 a 为开头的任何档名的文件， 但在正规表示法中，我们要找到含有以 a 为开头的文件，则必须要这样：(需搭配支持正规表示法的工具)

ls | grep -n '^a.*'

sed 工具

http://vbird.dic.ksu.edu.tw/linux_basic/0330regularex.php#basic_regexp

 sed 本身也是一个管线命令，可以分析 standard input 的啦！ 而且 sed 还可以将数据进行取代、删除、新增、撷取特定行等等的功能

[root@www ~]# sed [-nefr] [动作]
选项与参数：
-n  ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 
      的数据一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过
      sed 特殊处理的那一行(或者动作)才会被列出来。
-e  ：直接在命令列模式上进行 sed 的动作编辑；
-f  ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 
      sed 动作；
-r  ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i  ：直接修改读取的文件内容，而不是由萤幕输出。

动作说明：  [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作
         是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function 有底下这些咚咚：
a   ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c   ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d   ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i   ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p   ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s   ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配
      正规表示法！例如 1,20s/old/new/g 就是啦！

延伸正规表示法

在上节的例题三的最后一个例子中，我们要去除空白行与行首为 # 的行列，使用的是

grep -v '^$' regular_express.txt | grep -v '^#'

需要使用到管线命令来搜寻两次！那么如果使用延伸型的正规表示法，我们可以简化为：

egrep -v '^$|^#' regular_express.txt

grep 默认仅支持基础正规表示法，如果要使用延伸型正规表示法，你可以使用 grep -E ， 不过更建议直接使用 egrep ！直接区分命令比较好记忆！其实 egrep 与 grep -E 是类似命令别名的关系啦！

RE 字符	意义与范例
+	意义：重复『一个或一个以上』的前一个 RE 字符 范例：搜寻 (god) (good) (goood)... 等等的字串。 那个 o+ 代表『一个以上的 o 』所以，底下的运行成果会将第 1, 9, 13 行列出来。 egrep -n 'go+d' regular_express.txt
?	意义：『零个或一个』的前一个 RE 字符 范例：搜寻 (gd) (god) 这两个字串。 那个 o? 代表『空的或 1 个 o 』所以，上面的运行成果会将第 13, 14 行列出来。 有没有发现到，这两个案例( 'go+d' 与 'go?d' )的结果集合与 'go*d' 相同？ 想想看，这是为什么喔！ ^_^ egrep -n 'go?d' regular_express.txt
|	意义：用或( or )的方式找出数个字串 范例：搜寻 gd 或 good 这两个字串，注意，是『或』！ 所以，第 1,9,14 这三行都可以被列印出来喔！那如果还想要找出 dog 呢？ egrep -n 'gd|good' regular_express.txt egrep -n 'gd|good|dog' regular_express.txt
()	意义：找出『群组』字串 范例：搜寻 (glad) 或 (good) 这两个字串，因为 g 与 d 是重复的，所以， 我就可以将 la 与 oo 列於 ( ) 当中，并以 | 来分隔开来，就可以啦！ egrep -n 'g(la|oo)d' regular_express.txt
()+	意义：多个重复群组的判别 范例：将『AxyzxyzxyzxyzC』用 echo 叫出，然后再使用如下的方法搜寻一下！ echo 'AxyzxyzxyzxyzC' | egrep 'A(xyz)+C' 上面的例子意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字串的意思～