Linux三剑客与正则

目录

正则表达式

text测试文件

正则符号分类

基础正则符号

正则表达式的贪婪性

扩展正则符号

linux三剑客

三剑客特点及应用场景

grep

sed

sed命令执行过程

sed查找script

sed删除script

sed增加script

具体功能

具体script

sed替换script

后向引用

awk

awk执行过程

awk的行与列

awk的内置变量

取行script

取列script

awk取行取列

BEGIN{}与END{}

awk数组

作用

使用案例

批量输出数组内容

awk的for循环

awk的if判断

正则表达式

text测试文件

[root@CentOS7-1 ~]# cat test
hello : orange : bird : cat : 21
Apple : cow : cup : desk : 12
deep : dog : app : country : 11
computer : phone : bag : paper : 8

含义:用于匹配有规律的东西的表达式

正则符号分类

基础正则符号

^:以……开头的行

test文件执行命令:grep '^deep' test

[root@CentOS7-1 ~]# grep '^deep' test
deep : dog : app : country : 11

$:以……结尾的行

test文件执行命令:grep '11$' test

[root@CentOS7-1 ~]# grep '11$' test
deep : dog : app : country : 11

注意:^$表示空行(这一行中没有任何东西)

.(点):表示任意一个字符

注意:点不匹配空行

test文件执行命令:grep '.' test

\:转义字符

需求:匹配出文件中以点结尾的行

对于app文件

[root@CentOS7-1 ~]# cat app
i am a dog.
no no no
I said this without thinking about it.

执行:grep '\.$' app

[root@CentOS7-1 ~]# grep '\.$' app
i am a dog.
I said this without thinking about it.

*:前一个字符出现了0次或以上

注意:所有内容都会显示出来——因为可以当作出现0次

test文件执行命令:grep 'a*' test

Linux三剑客与正则_第1张图片

注意:

  • .*表示所有内容
  • .*表示所有,或*连续出现时,表现出尽可能的贪婪(匹配的更多)

正则表达式的贪婪性

对于test文件执行:grep '^.*o' test

结论:由此观之,总是直接匹配到最后一个o,贪婪 

[]:匹配任何一个字符(只能算一个)

如:[a,b,c]相当于a或b或c

注意:

  • [a-z]:匹配小写字母任意一个
  • [0-9]:匹配数字任意一个
  • [a-Z]:匹配大小写字母任意一个([a-zA-Z]也可)
  • [a-z | A-Z | 0-9]:匹配字母和数字和|([]里的内容去掉特殊含义)
  • [^abc]:匹配除了a,b,c之外的任意一个字符(^在中括号里表示取反)

对于test文件执行:grep '[a,b]' test

扩展正则符号

前言:grep只支持基础正则,扩展正则使用egrep或-E

+:前一个字符出现了一次或多次以上

注意:[0-9]+:匹配连续出现的数字(一次或多次)

对于test文件执行:egrep 'p+' test

|:或者

对于test文件执行:egrep 'a|b' test

[]与|的区别

  • []一次匹配一个字符
  • |匹配一个或多个字符

():被括起来的内容表示一个整体

需求:我要选择oldboy或oldbey

对于person文件

[root@CentOS7-1 ~]# cat person
haha oldboy hello
beautiful oldbey hi
in the park

执行:egrep '(oldboy|oldbey)' person

{}:表示连续出现

理解:

  • o{n,m}表示o至少出现了n次,至多出现m次
  • o{n}表示o连续出现n次(超过也可)
  • o{n,}表示o至少出现n次,多了不限
  • o{,m}表示o最多出现m次,少了不管

对于test文件执行:egrep 'p{2,3}' test

?:表示字符出现了0次或1次

对于test文件执行:egrep 'de?s?' test

linux三剑客

三剑客特点及应用场景

命令 特点 场景
grep 过滤 grep命令过滤速度最快
sed 替换,修改文件内容,取行 替换/修改文件内容,取出某个范围内的内容
awk 取列,统计计算 取列,对比,比较,统计,计算

grep

作用:对文本进行搜索

语法:grep [options] 搜索内容 具体路径的文件名1 具体路径的文件名2

options

  • -n:显示行号
  • -w:精确匹配(匹配正正好好的数据)
  • -v:显示不匹配的行
  • -i:忽略大小写
  • -o:显示匹配过程
  • -c:统计匹配好的出现了多少行
  • -E:使用扩展正则表达式匹配(相当于egrep)
  • -A n:匹配你要的内容显示接下来的n行
  • -B n:匹配你要的内容显示上面的n行
  • -C n:匹配你想要的内容显示上下n行

注意:可以同时搜索多个文件

对于test文件执行:grep -ni app test

[root@CentOS7-1 ~]# grep -ni app test
2:Apple : cow : cup : desk : 12
3:deep : dog : app : country : 11

app文件内(验证精确匹配)

[root@CentOS7-1 ~]# cat app
i am a dog.
no no not
I said this without thinking about it.

执行:egrep -w 'no' app

sed

特点:stream editor流编辑器,sed把处理的内容(文件)当作是水,源源不断的进行处理,直到文件末尾

理解:sed是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓
冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理
完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件
内容并没有改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化
对文件的反复操作

sed功能:增删改查

Linux三剑客与正则_第2张图片

语法:sed [options] script 文件名 

options

  • -n:不输出现有的内容到屏幕,即不自动打印
  • -r:支持使用扩展正则表达式
  • -i:直接修改文本文件(若不加该参数不会修改文件)

sed命令执行过程

Linux三剑客与正则_第3张图片

命令含义:显示文件的第三行

过程:首先在sed执行时会把文件的内容的第一行读取到内存空间,然后看该行是否是我想要的,若是自己想要的,则直接将他打印到屏幕,若不是则看看有没有-n参数,若有则不将其打印到屏幕上,没有则将其打印到屏幕上。继续处理下一行以此类推,直到结束。

sed查找script

查找格式 含义
'np' 查找第n行
'n,mp' 查找第n-m行
'/hello/p' 类似grep过滤(查找hello所在行),//里面可以写正则
'/10:00/,/11:00/p' 查找10点开始到11点结束这段时间内的日志
'n,/hello/p' 混合查找(查找第n行到有hello的行)

test文件

[root@CentOS7-1 ~]# cat test
hello : orange : bird : cat : 21
Apple : cow : cup : desk : 12
deep : dog : app : country : 11
computer : phone : bag : paper : 8

执行:sed -n /cou/p test

[root@CentOS7-1 ~]# sed -n /cou/p test
deep : dog : app : country : 11

sed删除script

删除格式 含义
'nd' 删除第n行
'n,md' 删除第n-m行
'/hello/d' 类似grep过滤(删除hello所在行),//里面可以写正则
'/10:00/,/11:00/d' 删除10点开始到11点结束这段时间内的日志
'n,/hello/d' 混合删除(删除第n行到有hello的行)

test文件

[root@CentOS7-1 ~]# cat test
hello : orange : bird : cat : 21
Apple : cow : cup : desk : 12
deep : dog : app : country : 11
computer : phone : bag : paper : 8

执行:sed /app/d test

[root@CentOS7-1 ~]# sed /app/d test
hello : orange : bird : cat : 21
Apple : cow : cup : desk : 12
computer : phone : bag : paper : 8

sed增加script

具体功能

功能 含义
c replace替代这行的内容
a append追加,向指定行或某一行后面追加内容
i insert插入,向指定行或每一行前面插入内容

具体script

命令 含义
'na 要加的内容' 在n行后面添加要添加的内容(添加行)
'ni 要加的内容' 在n行前面添加要添加的内容(添加行)
'nc 要替换的内容' 将n行内容删除后换上新内容
'n,ma hello' 在n行到m行之后均添加hello这一行
'/hello/a hi' 在hello行的后面添加hi这一行
'n,/hello/a hello' 在n行和有hello的行之后添加hello这一行

注意:格式也支持上述格式

对于test文件

[root@CentOS7-1 ~]# cat test
hello : orange : bird : cat : 21
Apple : cow : cup : desk : 12
deep : dog : app : country : 11
computer : phone : bag : paper : 8

执行:sed '2,4i hello' test

[root@CentOS7-1 ~]# sed '2,4i hello' test
hello : orange : bird : cat : 21
hello
Apple : cow : cup : desk : 12
hello
deep : dog : app : country : 11
hello
computer : phone : bag : paper : 8

sed替换script

命令 含义
's/数据1/数据2/g' 全局将数据1替换成数据2
's/数据1/数据2/' 将每行的第一个数据1替换成数据2

注意:g为global全局替换,sed默认只替换每行第一个匹配的内容

test文件

[root@CentOS7-1 ~]# cat test
hello : orange : bird : cat : 21
Apple : cow : cup : desk : 12
deep : dog : app : country : 11
computer : phone : bag : paper : 8
cup app cup puc

执行:sed s/cup/haha/g test

[root@CentOS7-1 ~]# sed s/cup/haha/g test
hello : orange : bird : cat : 21
Apple : cow : haha : desk : 12
deep : dog : app : country : 11
computer : phone : bag : paper : 8
haha app haha puc

后向引用

使用方法:先保护,再引用

需求:将oldboy_lidao改成lidao_oldboy

执行:echo oldboy_lidao | sed -r 's/(^.*)_(.*$)/\2_\1/g'

[root@CentOS7-1 ~]# echo oldboy_lidao | sed -r 's/(^.*)_(.*$)/\2_\1/g'
lidao_oldboy

解释:先将要用的内容用小括号保护起来,后面的\n就为前面第n个小括号内的引用。

awk

前言:awk是一门语言,主要用来统计、过滤和计算

awk执行过程

案例:awk -F, 'BEGIN{print "name"}{print $2}END{print "end of file"}' oldboy.txt

Linux三剑客与正则_第4张图片

理解:awk读取文件之前,先看看命令行里有什么参数并处理begin{}的代码,awk读取文件时先从文件读取一行放到内存中,看该行是否满足条件,满足条件则执行对应的动作,不满足条件看是不是最后一行,若是直接就执行end{}里的代码,不是则从文件中取出另外一行依此类推直到文件结束后执行end{}的代码

注意:awk读取文件之前就可以执行命令行的参数或者begin{}

语法:awk [options] script 文件名

options

  • -F 分隔符:指定分隔符,指定每一列结束标记(默认空格/制表符)
  • -v val=val在执行处理过程之前,设置一个变量var,并给其设备的初始值为val。

awk的行与列

名词 awk中的叫法 一些说明
记录(record) 每一行默认通过回车分割的
字段(field) 每一行默认通过空格分割的

awk的内置变量

内置变量 说明
NR Number of Record(记录号,行号)
NF Number of Field(每行有多少字段,$NF为最后一列)
FS Field Separator字段分隔符,每个字段的结束标记
OFS Output Field Separator,输出字段分隔符(awk显示每列的时候,每列之间用什么分割,默认空格)

取行script

命令 说明
’NR==1'(这里的符号是灵活的) 取出第一行
'NR>=1&&NR<=5' 取出1到5行
'/hello/' 取出hello所在的行
'/2/,/4/' 取出2行到4行

符号:>,<,>=,<=,==,!=

test文件

[root@CentOS7-1 ~]# cat test
hello : orange : bird : cat : 21
Apple : cow : haha : desk : 12
deep : dog : app : country : 11
computer : phone : bag : paper : 8

执行:awk NR==1 test

[root@CentOS7-1 ~]# awk NR==1 test
hello : orange : bird : cat : 21

执行:awk /cow/ test

[root@CentOS7-1 ~]# awk /cow/ test
Apple : cow : haha : desk : 12

取列script

命令 说明
'{print $n}' 取出第n列
'{print $n,$m}' 取出第n列和第m列
'{print $NF}' 取出最后一列
'{print $n"cjc"$m}' 取出第n列和第m列,并在之间写上cjc
'$2~/g/' 确定第二列中包含g的行

注意:

  • 在awk中"$n"代表取出第n列
  • 通常情况下,取列与-F参数一同使用
  • 正则表达式中~表示包含,!~表示不包含

test文件

[root@CentOS7-1 ~]# cat test
hello : orange : bird : cat : 21
Apple : cow : haha : desk : 12
deep : dog : app : country : 11
computer : phone : bag : paper : 8

执行:awk -F : '{print $2,$5}' test

[root@CentOS7-1 ~]# awk -F : '{print $2,$5}' test
 orange   21
 cow   12
 dog   11
 phone   8

(OFS相关)执行:awk -F: -v OFS=? '{print $2,$4}' test

[root@CentOS7-1 ~]# awk -F: -v OFS=? '{print $2,$4}' test
 orange ? cat 
 cow ? desk 
 dog ? country 
 phone ? paper 

awk取行取列

test文件取3行2列:awk -F: 'NR==3{print $2}' test

[root@CentOS7-1 ~]# awk -F: 'NR==3{print $2}' test
 dog 

BEGIN{}与END{}

模式 含义 应用场景
BEGIN{} 里面的内容会在awk读取文件之前进行

1进行简单统计,不涉及读取文件

2用于在处理文件之前添加个表头

3用于定于awk变量

END{} 里面的内容会在awk读取文件之后进行

1awk进行统计,一般过程:先进行计算,最后在END里面输出结果

2awk使用数组,用来输出数组的结果

需求:计算从1加到100 

执行:seq 100 | awk 'BEGIN{print "start"}{sum=sum+$1}END{print sum}'

[root@CentOS7-1 ~]# seq 100 | awk 'BEGIN{print "start"}{sum=sum+$1}END{print sum}'
start
5050

awk数组

作用

  • 统计次数:类似于统计每个ip出现次数、统计每种状态码出现的次数、统计系统中每个用户被攻击的次数,统计攻击者ip出现的次数
  • 累计求和:统计每个ip消耗的流量

使用案例

执行:awk 'BEGIN{a[0]=12306;a[1]="hello"; print a[0],a[1]}'

[root@CentOS7-1 ~]# awk 'BEGIN{a[0]=12306;a[1]="hello"; print a[0],a[1]}'
12306 hello

注意:awk字母会被识别为变量,若只想使用字符串,则需要将该字母引起来

批量输出数组内容

语法:for(i in array) print array[i]

执行:awk 'BEGIN{a[0]=12306;a[1]="hello"; for(i in a) print i,a[i]}'

[root@CentOS7-1 ~]# awk 'BEGIN{a[0]=12306;a[1]="hello"; for(i in a) print i,a[i]}'
0 12306
1 hello

awk的for循环

前言:awk的for循环一般用来循环每个字段的

for(i=1;i<=10;i++)
print i

awk的if判断

if(条件) 
    print("success")
else
    print("fail")

案例:统计这段语句中,单词字符数小于6的单词,并显示出来

语句:echo I am oldboy teacher welcome to oldboy training class.

执行:echo I am oldboy teacher welcome to oldboy training class.|awk -F"[ .]" '{for(i=1;i<=NF;i++) if(length($i)<6) print $i}'

[root@CentOS7-1 ~]# echo I am oldboy teacher welcome to oldboy training class.|awk -F"[ .]" '{for(i=1;i<=NF;i++) if(length($i)<6) print $i}'
I
am
to
class

你可能感兴趣的:(Linux,linux,运维,服务器)