sed结构分析 + awk结构分析

sed结构分析

sed/awk教程众多,大多是实例教材,以举例为主;或者是语法教材,以语法讲解为主。

学习了sed,又学习awk,结果学着学着,很容易迷糊,语法容易混淆。

本文主要讲解sed的结构,使大家学习完以后对sed有一个整体性的把握。

至于什么叫做结构,看完应该可以明白。

本人sed/awk所学有限,错误之处请大家不吝指出。

1: sed 语法

sed -e 'pattern + action' textfile

意思:对于一个文本文件textfile,用pattern去匹配,找到匹配的字符串,copy到pattern space中,然后对pattern space中的文本执行action。

执行完action以后,接着从textfile的当前行的下一行开始,继续使用pattern去匹配,继续copy到pattern space中,继续执行action,直到结束。

解释点1:由于匹配的字符串是拷贝到pattern space中,action是对pattern space中的字符串操作,所以不会影响到原文本文件。

详细过程:

**sed执行过程:

  a. 如果已到达文件尾,goto e;否则,用pattern去匹配,找到匹配的字符串,copy到pattern space中,然后对pattern space中的文本执行action。

  b. 执行命令序列,命令只对模式空间有效;

  c. 当前行号加1

  d. goto a;

  e. 退出

2:pattern -- 行(基本单位)与字符串匹配(基本动作)的组合

sed称为“行编辑器”,每当sed看见一个文本,在它心中,这个文本就是用换行符隔开的一行一行一直到无穷行。

在sed眼中,文本的基本单位只有一种,那就是行。这些行分别编号为1,2,3,4,5,6,... $。

行只有一个动作,那就是这个行匹配某字符串序列或者不匹配某字符串序列。

组合起来,于是有以下几种pattern。

a. A行做某事                                            sed -e '3d' textfile

b. A行到B行做某事                                       sed -e '3, 5d' textfile

c. 匹配某字符串序列的某行                               sed -e '/www/d' textfile

d. 匹配字符串“你好”到“此致敬礼”一段文本的许多行         sed -e '/你好/,/此致敬礼/p' textfile

e. 匹配从A行开始,到“此致敬礼”一段文本                  sed -e '3,/此致敬礼/p' textfile

f. 匹配从“你好”开头,到B行结束的一段文本                sed -e '/你好/, 10p' textfile

3: action

常用action,相关的文档许多,诸位可以从网上查找。

需要说明的是

a. hold space和pattern space。

把匹配的字符串拷贝到了pattern space中,接着可以对pattern space执行动作。

如果我们在处理这个pattern space中的内容以前,必须先处理一些其它事情,也就是操作对象有两个或者两个以上,那么一个buffer显然是不够的。

所以引入了hold space。

b. s/regexp/replacement/ 可以看作是 /regexp/s/regexp/replacement/

好了,剩下的是把sed所有action学习明白,你就能够对sed应用自如了。

awk结构分析

1: awk 语法

gawk 'pattern  { action }' textfile

咋一看,和sed语法 sed 'pattern action' textfile类似。

这正是sed/awk容易混淆的原因之一,sed/awk语法基本类似,细微的差别就是awk的action,需要用大括号括起来。

awk的执行流程也是,输入文本,匹配pattern,执行action,接着匹配pattern,接着执行action。注意:awk没有模式空间一说。

它的action也和sed完全不一样。

2:pattern

在awk眼中,一个文本过来,被它看成了一个表格。

详细的说,一个文本过来,awk不管三七二十一先用RS字符串把它切成一行一行的,然后对每一行用FS切成一个一个的表项。

所以,awk里面文本有两个基本单位,一个是行,一个是表项。(回忆一下,sed文本只有一个基本单位,行)。

awk里面对每行编号为,1,2,3,4,5,... NR

对每行里面每个表项的编号是 $1 $2 $3 ... $NF,对整行特殊编号为$0

a. 由于NR NF 为数字,并且$n也可以为数字,那么可以进行数字比较,找出需要的pattern。

    比如,第三项的值为日期号,判断日期大于20 可以写做 $3 > 20

    数字比较有如下6种方法

    < <=

    > >=

    == !=

b. 由于$n也可以是字符串,那么也可以采取字符串匹配的方法构造pattern

    比如,含有字符串“www”的行 模式可以写做 $0 ~ /www/

    比如,第五项不包含字符串“com”,模式可以写做 $5 !~ /com/

c. 模式可以为模式范围

    A pattern range is two patterns separated by a comma.

    The action is performed for each input line between the occurrence of the first and second pattern.

    /regular expression 1/, /regular expression 2/   { print $0 }

d. 模式组合

    Patterns can be combined to provide more powerful and complex matching.

    The following symbols are used to combine patterns.

            ||              logical or, either pattern can match

            &&              logical and, both patterns must match

            !               logical not, patterns not matching

3: action

action就是对选定对象进行操作。

主要的动作有如下三类。

动作一:print 和 printf, printf基本上和c语言类似。

动作二:内置函数。最常用的一个是gsub/sub

加上C语言的for, while, do-while, if-else流程控制,

再加上awk特色的变量,数组定义和使用,构成了awk的action。

4: BEGIN/END

BEGIN{} 开始之前设置一些FS,RS等等动作。

END{} 结束的时候执行一些action。

awk大体结构就是这样,然后对awk数组需要特别理解,了解awk内置函数的用法,反复练习,应该可以对awk应用自如了

你可能感兴趣的:(sed)