Linux笔记--shell总结(2)

[概念]：

在计算机科学中，正则表达式是这样解释的：它是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。在很多文本编辑器或其他工具里，正则表达式通常被用来检索和/或替换那些符合某个模式的文本内容。许多程序设计语言都支持利用正则表达式进行字符串操作。对于系统管理员来讲，正则表达式贯穿在我们的日常运维工作中，无论是查找某个文档，抑或查询某个日志文件分析其内容，都会用到正则表达式。

其实正则表达式，只是一种思想，一种表示方法。只要我们使用的工具支持表示这种思想那么这个工具就可以处理正则表达式的字符串。常用的工具有grep, sed, awk 等，下面就介绍一下这三种工具的使用方法。

[grep]：

你要知道的是grep连同下面讲的sed, awk都是针对文本的行才操作的。

语法： grep [-cinvABC] ‘word’ filename

-c ：打印符合要求的行数

-i ：忽略大小写

-n ：在输出符合要求的行的同时连同行号一起输出

-v ：打印不符合要求的行

-A ：后跟一个数字（有无空格都可以），例如 –A2则表示打印符合要求的行以及下面两行

-B ：后跟一个数字，例如 –B2 则表示打印符合要求的行以及上面两行

-C ：后跟一个数字，例如 –C2 则表示打印符合要求的行以及上下各两行

例：
a. 过滤出带有某个关键词的行并输出行号

b. 过滤不带有某个关键词的行，并输出行号

c. 过滤出所有包含数字的行

如果是数字的话就用[0-9]这样的形式，当然有时候也可以用这样的形式[15]即只含有1或者5，注意，它不会认为是15。如果要过滤出数字以及大小写字母则要这样写[0-9a-zA-Z]。另外[ ]还有一种形式，就是[^字符] 表示除[ ]内的字符之外的字符。
这就表示筛选包含oo字符串，但是不包含r字符。
d. 过滤出文档中以某个字符开头或者以某个字符结尾的行
在正则表达式中，”^”表示行的开始，”$”表示行的结尾，那么空行则表示”^$”,如果你只想筛选出非空行，则可以使用 “grep -v ‘^$’ filename”得到你想要的结果。注意在中括号内^表示非，在单引号内^表示行头。

这就表示表示不以字母打头的行对吧。
e. 过滤任意一个字符与重复字符

“.”表示任意一个字符，上例中，就是把符合r与o之间有两个任意字符的行过滤出来。
“*”表示零个或多个前面的字符。
‘ooo*’ 表示oo, ooo, oooo … 或者更多的’o’。现在你是否想到了’.*’ 这个组合表示什么意义？
‘.*’表示零个或多个任意字符，空行也包含在内。
f. 指定要过滤字符出现的次数

这里用到了{ }，其内部为数字，表示前面的字符要重复的次数。上例中表示包含有两个o 即’oo’的行。注意，{ }左右都需要加上脱意字符’\’。另外，使用{ }我们还可以表示一个范围的，具体格式是 ‘{n1,n2}’其中n1小于n2，表示重复n1到n2次前面的字符，n2还可以为空，则表示大于等于n1次。

[sed]：

grep 工具的功能其实还不够强大，其实说白了，grep实现的只是查找功能，而它却不能实现把查找的内容替换掉。以前用vim的时候，可以查找也可以替换，但是只局限于在文本内部来操作，而不能输出到屏幕上。sed工具以及下面要讲的awk工具就能实现把替换的文本输出到屏幕上的功能了，而且还有其他更丰富的功能。sed和awk都是流式编辑器，是针对文档的行来操作的。

a. 打印某行 sed -n ‘n’p filename 单引号内的n是一个数字，表示第几行

b. 打印多行 打印整个文档用 -n ‘1,$’p

c. 打印包含某个字符串的行

上面grep中使用的特殊字符，如’^’, ‘$’, ‘.’, ‘*’等同样也能在sed中使用。

d. -e 可以实现多个行为

e. 删除某行或者多行

‘d’ 这个字符就是删除的动作了，不仅可以删除指定的单行以及多行，而且还可以删除匹配某个字符的行，另外还可以删除从某一行一直到文档末行。

f. 替换字符或字符串

除了可以使用’/’外，还可以使用其他特殊字符例如’#’或者’@’都没有问题。

[awk]：
它也是针对文档中的行来操作的，一行一行的去执行。awk比sed更加强大，这个工具其实是很复杂的，但是水平有限，在此仅介绍常用操作。

a. 截取文档中的某个段

解释一下，-F 选项的作用是指定分隔符，这块的分隔符就是-F后面的单引号括起来的内容，如果不加-F指定，则默认以空格或者tab为分隔符。print为打印的动作，用来打印出某个字段。$1为第一个字段，$2为第二个字段，依次类推，有一个特殊的那就是$0，它表示整行。注意awk的格式，-F后紧跟单引号，然后里面为分隔符，print的动作要用’{ }’括起来，否则会报错。print还可以打印自定义的内容，但是自定义的内容要用双引号括起来。

b. 匹配字符或字符串

c. 条件操作符

awk中是可以用逻辑符号判断的，比如’==’就是等于，也可以理解为“精确匹配”。另外也有’>’, ‘>=’, ‘<’, ‘<=’, ‘!=’ 等等，值得注意的是，即使$1为数字，awk也不会把它当数字看待，它会认为是一个字符。所以不要妄图去拿$1当数字去和数字做比较。
另外还可以使用”&&” 和 “||”表示“并且”和“或者”的意思。

d. awk中的数学运算

让保存IP地址的文件中每一行以空格分块，第一个参数都等于192
awk比较强的地方，还在于能把某个段改成指定的字符串，下面还有更强的呢！

没骗你们吧，还可以这样做！

在awk中使用if判断、for循环都是可以的。