shell中的正则表达式、编程-grep、编程-SED、以及编程-AWK

正则表达式RE

用来处理文本

正则表达式(Regular Expression, RE)是一种字符模式, 用于在查找过程中匹配指定的字符. 在大多数程序里, 正则表达式都被置于两个正斜杠之间;

例如/l[oO]ve/就是由正斜杠界定的正则表达式, 它将匹配被查找的行中任何位置出现的相同模式. 在正则表达式中,元 字符是最重要的概念

元字符使正则表达式具有处理能力。所谓元字符就是指ß那些在正则表达式中具有特殊意义的专用字符，可以用来规定 其前导字符(即位于元字符前面的字符)在目标对象中的出现模式。

正则表达式基本元字符

基本正则表达式元字符
元字符
示例                                 功能
^                                      行首定位符
^love（匹配以love开头）
​
$                                      行尾定位符
love$（匹配以love结尾）
​
.                                       匹配单个字符
l..e  （匹配以中间为任何字符且l开头e结尾）
​
*                                       匹配前导符0到多次       全部匹配    grep "o*" /etc/passwd
ab*love（匹配ab开头love结尾）
​
.*                                      匹配任意多个字符  (贪婪匹配
​
[ ]                                      匹配方括号中任意一个字符
[lL]ove（匹配love或Love）
​
[ - ]                                    匹配指定范围内的一个字符
[a-z0-9]ove            
​
[^]                                     匹配不在指定组里的字符
[^a-z0-9]ove
​
\                                       用来转义元字符
love\.                  
​
\<                                      词首定位符 #由数字或字母组成的
\ ​        
\>                                      词尾定位符
love\>

正则表达式拓展元字符

= 等于 != 不等于  =~  匹配
扩展正则表达式元字符
+                                        匹配一个或多个前导字符
[a-z]+ove
​
?                                        匹配零个或一个前导字符
lo?ve
"r.*t"                                  贪婪匹配
-P "r.*?"                            非贪婪匹配
​
a|b                                     匹配a或b
love|hate
​
()                                        组字符loveable|rs
love(able|rs) ov+ ov+ (ov)+
(oo)+                                  两个oo出现一次或者多个
​
(..)(..)\1\2                            标签匹配字符  #
(love)able\1er
​
x{m}                                   字符x重复m次
o{5}
o{,3}                                   字符最多出现3次
x{m,}                                  字符x重复至少m次
o{5,}                                   字符最少出现5次
​
x{m,n}                                字符x重复m到n次
o{5,10}                               字符o重复5到10次

shell 编程-grep

常见参数

egrep 支持正则表达式的拓展元字符 （或grep  -E）

grep -v  除它

配合正则练习

例：
编辑文件lianxi.txt内容如下
Two roads diverged in a yellow wood,
​
And sorry I could not travel both
​
And be one traveler, long I stood
​
And looked down one as far as I could
​
To where it bent in the undergrowth;
​
Then took the other, as just as fair,
​
And having perhaps the better claim,
​
Because it was grassy and wanted wear;
​
Though as for that the passing there
​
Had worn them really about the same,
​
And both that morning equally lay
​
In leaves no step had trodden black.
​
Oh, I kept the first for another day!
​
Yet knowing how way leads on to way,
​
I doubted if I should ever come back.
​
I shall be telling this with a sigh
​
Somewhere ages and ages hence:
​
Two roads diverged in a wood,and I—
​
I took the one less traveled by,
​
And that has made all the difference.
​
1、从文本中查找包含字符串"yellow"的行
grep  "yellow" lianxi.txt
​
2、从文本中查找包含字符串"travel"或"traveler"的行
egrep  'travel|traveler'   lianxi.txt
​
3、从文本中查找以字母"T"开头的行
grep "^T" lianxi.txt
​
4、从文本中查找以字母";"结尾的行
grep ";$" lianxi.txt
​
5、从文本中查找包含单词"fair"的行
grep   " ​
6、从文本中查找以字母"i"和字母'e'结尾的行
grep "[ie]$" lianxi.txt
​
7、从文本中查找包含两个字母"o"的行
egrep  "o{2}"  lianxi.txt
​
8、从文本中查找包含三个或更多连续字母"o"的行
egrep   "o{3,}"   lianxi.txt
​
9、从文本中查找以大写字母开头的单词的行
grep  "^[A-Z]" lianxi.txt
​
10、从文本中查找以小写字母开头的单词，但不包含大写字母的单词的行
​
egrep "^[a-z]" lianxi.txt | egrep -v [A-Z]
​
11、从文本中查找至少包含一个数字的行
grep "[0-9]" lianxi.txt
​
12、从文本中查找所有"n"的前导字符不是"i"和"k"的所有内容
egrep "[^ki]n" lianxi.txt

shell 编程-SED(流文本编辑器)

---

非交互式编辑器，一次处理一行内容。

---

sed "参数"  '模式'
​
常用参数  
-f 指定一个规则文件
-n 阻止输入行输出
-r 扩展正则
​
常用模式
s 替换  
g 整行(也可以是数字，替换第几个)
d 删除
p 打印
a 追加
i 是插入

#sed 's/新值/旧值/' 文件名
​
使用多重指令时用;隔开:
# sed 's/新值/旧值/; s/新值/旧值/' 文件名
​
使用脚本文件:
脚本:namestate
-f或--file= 以选项中指定的script文件来处理输入的文本文件。
$ sed -f namestate 文件名
保存输出:
$ sed -f namestate 文件名 > 对文件脚本后生成的新文件名
阻止输入行自动显示:
$ sed -n 's/MA/Massachusetts/p' file1.txt

sed流编辑器用法及解析

sed: stream editor(流编辑器)的缩写. 它们最常见的用法是进行文本的替换.

实用案例：
​
删除文件的第1行
#sed '1d'  文件名
​
删除文件的第1到2行
#sed '1,2d'   文件名
​
删除第2行到最后一行
#sed '2,$d'   文件名
​
匹配到root，删除此行
#sed '/root/d' 文件名
​
匹配到root行，到某一行
#sed '/root/,2d' 文件名
​
删除奇数行
#sed '1~2d'  文件名
​
删除偶数行
#sed '0~2d' 文件名

运用正则配合练习

拷贝/etc/passwd 文件到/opt下练习

cat -n /etc/passwd >> /opt/passwd
cd /opt/
​
1. 显示passwd文件的3-9行：
   sed -n "3,9p" passwd
​
2. 显示包含oo字符串的行到包含gin字符串的行:
sed '/oo/,/gin/p' passwd
​
3. 在文件第一行添加haha,文件结尾添加yesyes:
    sed -i '1i\haha' passwd
    sed -i '$a\yesyes' passwd
​
4. 用hahaha替换oo，打印前20行:
    sed -i 's/oo/hahaha/g' passwd
   sed -n '1,20p' passwd
​
5. 删除空行和以#开头的行:
 sed -i '/^$/d;/^#/d' passwd
​
6. 取出一个文件路径的目录名称:
    echo $( cd $( dirname $0 ) ; pwd)
​
7. 在第8行下面插入hahaha第10行上面插入lalala:
    sed -i '8a\hahaha;' passwd
    sed -i '10i\lalala' passwd
​
8. 删除10到20行最后一个字符:
    sed -i '10,20s/.$//g' passwd

9. 文件中出现所有sbin都被替换成hahaha，只有发生变化的行才被打印:
    sed -i "s/sbin/hahaha/gp" passwd
​
10. 解除文件注释，并删除4-6行:
    sed -i 's/^#//g' passwd
    sed -i '4,6d' passwd

11. 删除1-3行并用root替换sbin:
    sed -i '1,3d' passwd
    sed -i 's/sbin/root/g' passwd
​
12. 删除1-8行并打印1-20行:
    sed -i '1,8d' passwd -e sed -n '1,20p' passwd
​
13. 删除所有包含var的行:
    sed -i '/var/d' passwd
​
14. 把10行以后的末尾加上cloud:
    sed -i '10,$ s/$/cloud/g' passwd

15. 打印第1到10行，删除5行后面所有的行:
    sed -n '1,10p' passwd && sed -i '5,$d' passwd 

16. 将字符串/var替换成/hahaha，打印10，20行:
    sed -i 's/var/hahaha/g' passwd && sed -n "10p;20p" passwd

shell 编程-AWK

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息

awk处理过程: 依次对每一行进行处理，然后输出 默认分隔符是空格或者tab键

awk 参数 'BEGIN{处理之前要做的} {处理内容} END{处理之后的内容}
BEGIN{}
行处理前
{处理内容}
END{}
行处理 行处理后
​
awk工作原理
awk -F":" '{print $1,$3}' /etc/passwd
(1)awk使用一行作为输入，并将这一行赋给变量$0,每一行可称作为一个记录，以换行符结束

(2)然后，行被:分解成字段，每个字段存储在已编号的变量中，从$1开始

(3)awk如何知道空格来分隔字段的呢?因为有一个内部变量FS来确定字段分隔符，初始时，FS赋为空格或者是tab

(4)awk打印字段时，将以设置的方法，使用print函数打印，awk在打印的字段间加上空格，因为$1,$3间有一个,逗号。逗 号比较特殊，映射为另一个变量，成为输出字段分隔符OFS，OFS默认为空格

(5)awk打印字段时，将从文件中获取每一行，并将其存储在$0中，覆盖原来的内容，然后将新的字符串分隔成字段并进行处理。该过程持续到处理文件结束。

默认分隔符是空格或者tab键

​
awk中的特殊变量:
常用:
- NR: 表示记录编号, 当awk将行为记录时, 该变量相当于当前行号
- NF: 表示字段数量, 当awk将行为记录时, 该变量相当于当前列号
​
难理解:
FS(输入字段分隔符)   # 以什么符号去分割
OFS(输出字段分隔符)  # 以什么分隔符显示
NR(Number of record)行数  
FNR按不同的文件分开
RS(输入记录分隔符)
ORS(输出记录分隔符)
NF 字段个数

AWK实用理解案例

拷贝/etc/passwd 文件到/opt下练习

cat -n /etc/passwd >> /opt/passwd
cd /opt/

1. 打印文件中的第2列和第3列
​
awk '{ print $2, $3}' passwd
​
2. 打印3行指定列的第7列字符
​
 awk -F":" 'NR==3{ print $7 }'  passwd
​
3. 统计文件的行数
​
 awk '{ print NR}' passwd
​
4. 在脚本中, 传递变量到awk中
var=1000
echo | awk -v VARIABLE=$var '{ print VARIABLE }'
​
5.  指定字段分隔符-F或在BEGIN{ FS=":" }
$ awk -F: '{ print $2, $3 }' passwd
$ awk 'BEGIN{ FS=":" }{ print $2, $3 }' passwd
​
6.  在awk中使用for循环 (了解)
每行打印两次

# awk -F: '{for(i=1;i<=2;i++) {print $0}}' passwd
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

分别打印每行每列
# awk -F: '{ for(i=1;i<=NF;i++) {print $i}}' passwd
​
7.  在awk中使用if条件判断 （了解）
显示管理员用户名
awk -F: '{if($3==0) {print $1 " is administrator."}}'passwd

统计系统用户
awk -F":" '{if($3>0 && $3<1000){i++}} END{print i}' /passwd

感谢观看！希望能够帮助到大家！