第十一章：正则表达式day14，day15

重点：正则表达式、sed、awk，三剑客自身有特长的。

grep 过滤查找内容。筛子
sed 取行，替换，删除，追加
awk 取列
cut按列分割

1.正则表达式：

什么是正则表达式？
作用和特殊字符一样。
正则表达式是为处理大量的字符串及文本而定义的一套规则和方法。
开发者
假设"@"代表“I am”，"!"代表“oldboy”，
则执行echo "@!"的结果就是输出“I am oldboy”。
作用提高效率，快速获取到想要的内容。
适用于三剑客命令 grep（egrep）,sed,awk
以行为单位处理。

分类：
1、BRE grep
2、ERE egrep

image.png
易混淆事项
1、和通配符区别。
2、开发人员正则，一般是Perl兼容正则表达式。
3、Linux系统三剑客正则表达式******。
环境准备：调整字符集
export LC_ALL=C

基本正则（BRE）

image.png

示例：
[root@woaini ~/test]# grep "^I" oldboy.txt 显示文本中以I开头的行
[root@woaini ~/test]# grep "m$" oldboy.txt 显示文本中以m结尾的行
[root@woaini ~/test]# grep "^$" oldboy.txt 显示空行
[root@woaini ~/test]# grep "." oldboy.txt 显示除空格外的所有字符
[root@woaini ~/test]# grep ".$" oldboy.txt 让特殊字符回归本意（显示以.结尾的字符）
[root@woaini ~/test]# grep "0*" oldboy.txt 显示所有的0
[root@woaini ~/test]# grep ".*" oldboy.txt显示所有字符
[root@woaini ~/test]# grep "^.*" oldboy.txt 显示所有以任意字符或0个字符开头的内容
[root@woaini ~/test]# grep ".*$" oldboy.txt 显示所有以任意字符或0个字符结尾的内容
[root@woaini ~/test]# grep "[abc]" oldboy.txt显示括号中的任意一个字符
[root@woaini ~/test]# grep ".*[^abc]" oldboy.txt显示除括号中之外的任意字符
扩展正则（ERE）

image.png

[root@woaini ~/test]# egrep "0+" oldboy.txt
[root@woaini ~/test]# egrep "[:/]+" oldboy.txt
[root@woaini ~/test]# egrep "0?" oldboy.txt
[root@woaini ~/test]# egrep "0?|[:/]+" oldboy.txt
[root@woaini ~/test]# egrep "(0000)" oldboy.txt
[root@woaini ~/test]# egrep "(00)(0)\1\2" oldboy.txt \1匹配第一个，\2匹配第二个

特殊预定义中括号表达式

image.png

只记带*的

image.png

2.sed 流编辑器

Sed是操作、过滤和转换文本内容的强大工具。
常用功能有对文件实现快速增删改查（增加、删除、修改、查询），
其中查询的功能中最常用的2大功能是过滤（过滤指定字符串）和取行（取出指定行）。
sed [选项] [sed内置命令字符] [文件]
选项：
-n 取消默认sed的输出，常与sed内置命令的p连用※
-i 直接修改文件内容，而不是输出到终端。
-e 允许多次编辑
-r 表示支持扩展正则表达式
如果不使用-i选项sed只是修改在内存中的数据，并不会影响磁盘上的文件※
sed的内置命令字符说明
a append 追加文本 sed -e '2a qweqwe123' -e '5a dsadsadas?' 2.txt
i insert追加文本，在指定行前添加一行或多行
s 替换
g 全局global
p 打印print -n '/打印的内容/p'
d 删除delete '/要删除的内容/d'
替换格式：'s/要替换什么/拿什么替换/g'

sed必会练习：

环境搭建：
[root@oldboyedu ~/test]# cat oldgirl.txt
I am oldboy teacher!
I like badminton ball ,billiard ball and chinese chess!
our site is http://www.oldboyedu.com
my qq num is 49000448.

问题1：输出oldboy.txt的第2-3行内容※。
[root@woaini ~/test]# sed -n '2,3p' oldboy
问题2：过滤出含有oldboy字符串的行※。
sed -n '/oldboy/p' 2.txt
问题3：删除含有oldboy字符串的行※。
sed '/oldboy/d' oldboy.txt
问题4：将文件中的oldboy字符串全部替换为oldgirl※。
sed 's/oldboy/oldgirl/g' 2.txt
问题5：将文件中的oldboy字符串全部替换为oldgirl，同时将QQ号码49000448改为31333741。
sed -e 's/oldboy/oldgirl/g' -e 's/499000448/31333741/g' 2.txt
问题6：取ip地址

image.png

方法1：
[root@oldboyedu ~/test]# ~|sed -n 2p|sed 's#^.in##g'|sed's#netm.$##g'
10.0.0.201

image.png

image.png

cut 按列切割

参数：
-d 指定分隔符
-f 指定哪列，多列用逗号
-c 指定字符数量