Shell基础（四）：正则表达式、cut、awk、sed命令

前言：

正则表达式是描述字符排列和匹配模式的一种语法规则。主要用于字符串的模式分割、匹配、查找及替换。（主要为了模糊匹配）

1、正则表达式与通配符区别

①通配符（* ？ []）用来匹配符合条件的文件名，是完全匹配。ls、find、cp这些命令不支持正则表达式，支持通配符匹配。

②正则表达式用来匹配在文件中的字符串，是包含匹配。grep、awk、sed等命令支持正则表达式。

2、基础正则表达式

①“*”前一个字符匹配0次或任意多次

“a*” 匹配所有内容，包括空格

“ab*” 匹配包含ab、abb、abbb...等字符的字符串，“*”只对b起作用

“abc*” 匹配包含abc、abcc、abccc...等字符的字符串

②“.”匹配除了换行符外任意一个字符

“s..d” 匹配s和d之间有两个字符的

“ s.*d ” 匹配s和d之间有任意多字符

③“^”匹配行首，“$”匹配行尾

“^a” 匹配以a开头的行

“$a” 匹配以a结尾的行

“^$” 匹配空白行

④[]匹配中括号中指定的任意一个字符

“a[bcd]f” 匹配abf、acf、adf中的一个

“^[0-9]” 匹配数字开头的行

⑤[^]匹配空号中字符以外的一个字符

“^[^0-9]” 匹配以非数字开头的行

“^[^a-zA-Z]”匹配非字母开头的行

⑥“\”转义字符，使之后的一个特殊字符变为普通字符

“\*” 就是普通字符*

“\$$” 匹配以$结尾的行

⑦“\{n\}”匹配前面字符出现n次的字符串

“a\{4\}” 连续出现4个a的行

“[0-9]\{4\}”连续出现4个数字的行，不一定完全一样的数字

“a\{2,5\}” a最少出现2次，至多出现5次的行

例：

“[0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}”匹配格式为1991-04-15的日期

“[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}”匹配格式为192.168.1.103的IP地址

3、字符截取命令

3.1 cut命令

cut命令用于列提取，默认分隔符是tab键。

选项：-d指定分隔符，-f指定提取第几列

例：cut  -t  ":"  -f1  /etc/passwd                  已：为分隔符提取文件的第一列

grep "/bin/bash" /etc/passwd | grep -v root | cut -f1 -d ":"            列出系统中普通用户的用户名

3.2 awk命令

①语法格式：awk  '条件1{动作1}条件2{动作2}...'  文件

条件，一般使用关系表达式作为条件，如a>10。动作，格式化输出或流程控制语句

awk一次读入一整行，默认以tab键或者空格为分隔符将一行分为多个字段，表示为$1、$2、$3...其中$0表示文件名

例：awk  '{printf $2 "\n"}'  /etc/passwd                打印文件的第二列，其中的转义字符要加双引号

df  -h | grep "/dev/sda5" | awk '{print  $5}' | cut -d "%" -f1          显示某分区磁盘使用量百分比

awk  '$3>60{printk  $4}'  filename              关系运算符成立才执行括号中命令

②BEGIN、END作为关系表达式，表示命令执行开始时和结束时

例：awk  'BEGIN{FS=":"}{print  $1  "\t"  $3}'  /etc/passwd    开始执行时FS指定分隔符

awk  'END{print "goodbye"}{print $2}'  filename            结束时打印一句话

③补充：格式化输出printf、print

格式:printf  '输出类型输出格式'  输出内容

输出类型：%ns，输出n个字符串。%ni，输出n个整数。%m.nf，输出浮点数，n为小数位数，m-n为整数位数

输出格式：\n换行、\r回车、\a输出警告声、\t水平制表符、\v垂直制表符、\b退格符、\f清屏符

print与printf不同之处在于，print自带换行符，比较方便

3.3 sed命令

sed命令主要用来将数据进行选取、替换、删除、新增的命令

sed  [选项]  '动作'  文件名

选项：-n：只会将sed处理的行输出，否则默认全篇输出

   -e：允许进行多个动作

   -i：sed修改默认是临时修改，-i选项表示直接修改文件

动作：a：追加，在当前行后添加

   c：行替换

   i：在当前行前插入

   d：删除指定行

   p：打印输出指定行

   s：字符串替换，格式：行范围s/旧字符串/新字符串/g

例：sed  - n  '2p'  filename                     打印输出第二行

sed  -i  '2,4d'  filename                    删除2至4行

sed  -i  '2a  helloworld'  filename    第二行追加内容

sed  -i  '3c  helloworld'  filename    替换第3行

sed  -i  '3i  helloworld'   filename     在第3行前插入

sed  -i  '2s/goodbye/goodnight/g'  filename   第2行的goodbye替换为goodnight

sed  -ie  's/Sunday/Monday/g;s/Tuesday/Saturday/g'   filename   同时多个动作

3.4 sort、wc命令

①sort命令用来排序

sort  [选项]  文件名

选项：

-f：忽略大小写

-n：以数值型进行排序，默认是字符串排序

-r：反向排序

-t：指定分隔符，默认分隔符是tab键

-k  n[,m]:指定排序的字段范围，n字段开始，m字段结束（可选），默认是到结尾

例：sort  /etc/passwd      按首字母排序

sort  -t ":"  -k "3,3"  /etc/passwd    指定冒号为分隔符，以第3字段为排序依据

sort -n  -t ":"  -k "3,3"  /etc/passwd 指定以数字型排序，若以字符串形式排序是先判断第一个字符的顺序，第一个字符相 同再判断第2个字符，以此类推

若以数值排序优先级：1>2>3>12>23>137>258

若以字符排序优先级：1>12>137>2>23>258>3

②wc命令 统计命令

wc [选项] 文件名

-l:只统计行数

-w：只统计单词数

-m:只统计字符数，包括换行符