Linux学习笔记(8)-正则表达式

文章预览:

  • 正则表达式
  • 一、基础正则表达式
  • 二、字符截取命令
    • 2.1 列截取命令 `cut`
    • 2.2 格式化打印命令`printf`
    • 2.3 字符截取命令 `awk`
    • 2.4 `sed命令`
  • 三、字符处理命令
    • 3.1排序命令 `sort`
    • 3.2 统计命令 `wc`
  • 四、条件判断
    • 4.1 根据文件类型进行判断
    • 4.2按照文件权限进行判断
    • 4.3两个文件进行比较判断
    • 4.4 两个整数进行比较
    • 4.5 字符串的判断
    • 4.6 多重条件判断
  • 五、流程控制
    • 5.1 `if`语句
    • 5.2 `case`语句
    • 5.3 for 循环
    • 5.4 `while`循环与`until`循环

正则表达式

一、基础正则表达式

正则表达式和通配符的区别:

  • 正则表达式用来在文件中匹配符合条件的字符串,正则是包含匹配. grep、awk、sed等命令可以支持正则表达式。
  • 通配符( ?[])是用来匹配符合条件的文件名*,通配符是完全匹配。ls、find、cp等命令不支持正则表达式,所有只能使用shell自己的通配符来进行匹配了。
元字符 作用
* 前一个字符匹配0次或者任意多次
. 匹配除了换行符外任意一个字符
^ 匹配行首,例如:^hello会匹配以hello开头的行。
$ 匹配行首,例如:hello$会匹配以hello开头的行。
[ ] 匹配括号中指定的任意一个字符,只匹配一个字符
[ ^] 匹配除中括号的字符意外的任意一个字符。例如:[^0-9]匹配任意一个非数字字符。
\ 转义符。用于将特殊符号的含义取消
{n} 表示其前面的字符签好出现n次。例如:[0-9]{4}匹配4位数字,[1][3-8][0-9]{9} 匹配手机号码
{n,} 表示七千亩的字符出现不小于n次。例如:[0-9]{2,}表示两位及以上的数字
{n,m} 表示其前面的字符至少出现n次,最多出现m次。例如:[a-z]{6,8}匹配6到8为的小写子母。

范例:

grep "a*" test_rule.txt
#匹配所有内容,包括空白行
grep "aaaa*" test_rule.txt
#匹配最少包含三个连续a的字符串
grep "s..d" test_rule.txt
#匹配在s和d两个子母之间的有两个字符的单词
grep "s.*d" test_rule.txt
#匹配在s和d之间有任意字符的单词所在的行
grep "^M" test_rule.txt
#匹配以大写子母M开头的行
grep "n$" test_rule.txt
#匹配以小写n结尾的行
grep -n "^$" test_rule.txt
#匹配空白行
grep "^[a-z]" test_rule.txt
#匹配以小写子母开头的行
grep "\.$" test_rule.txt
#匹配以.结尾的行

二、字符截取命令

2.1 列截取命令 cut

语法:

cut [选项] [文件名]
      -f 指定选取的列,多列以“,”隔开
      -d 指定分隔符

**局限:**不能很好截取以多个空格作为分隔符的行。


[root@mysql sh]# cat student.txt 
ID      Name    Gender  Score
1       liming  M       88
2       liuwei  M       66
#提取第二、三列数据
[root@mysql sh]# cut -f 2,3 student.txt 
Name    Gender
liming  M
liuwei  M
#指定分隔符为“:”
[root@mysql sh]# cut -d ":" -f 2,3 /etc/passwd
x:0
x:1
x:2
x:3
x:4

2.2 格式化打印命令printf

语法:

printf  '输出类型输出格式' 输出内容
         %ns: 输出字符串。n是数字指代输出几个字符
         %ni: 输出整数。n是数字指代输出几个数字
         %m.nf:输出浮点数。m和n是数字,指代输出的整数位数和小数位数。如%8.2f代表输出8位数,其中2位是小数,6位是整数。    

常用输出格式:

\n: 换行
\r: 回车
\t:水平输出退格键,也就是Tab键

范例:

 [root@mysql sh]# printf '%s %s %s\n' 1 2 3 4 5 6
1 2 3
4 5 6

2.3 字符截取命令 awk

语法:

awk '条件1 {动作1} 条件2 {动作2} ……' 文件名
  • 条件(Pattern):
    一般使用关系表达式作为条件
    - x>10 判断变量x是否大于10
    - x>=10 大于等于
    - x<= 小于等于

  • 动作(Action)

    • 格式化输出
    • 流程控制语句

范例:
以多个空格为分隔符的列表

[root@mysql ~]# df -h
Filesystem             Size  Used Avail Use% Mounted on
/dev/mapper/rhel-root   28G  4.3G   24G  16% /
devtmpfs               979M     0  979M   0% /dev
tmpfs                  991M     0  991M   0% /dev/shm
tmpfs                  991M  9.5M  981M   1% /run
tmpfs                  991M     0  991M   0% /sys/fs/cgroup
/dev/sda1              497M  126M  372M  26% /boot
tmpfs                  199M     0  199M   0% /run/user/0

awk 命令中“printf”命令不会自动换行,“print”命令可以自动换行。

[root@mysql ~]# df -h | awk '{printf $1 "\t" $5  "\t" $6  "\t\n"}'
Filesystem      Use%    Mounted
/dev/mapper/rhel-root   16%     /
devtmpfs        0%      /dev
tmpfs   0%      /dev/shm
tmpfs   1%      /run
tmpfs   0%      /sys/fs/cgroup
/dev/sda1       26%     /boot
tmpfs   0%      /run/user/0
[root@mysql ~]# df -h | awk '{print $1 "\t" $3}'
Filesystem      Used
/dev/mapper/rhel-root   4.3G
devtmpfs        0
tmpfs   0
tmpfs   9.6M
tmpfs   0
/dev/sda1       126M
tmpfs   0
[root@mysql ~]# df -h |grep sda1
/dev/sda1              497M  126M  372M  26% /boot
[root@mysql ~]# df -h |grep sda1 | awk '{printf $5}'
26%[root@mysql ~]# df -h |grep sda1 | awk '{printf $5 "\n"}'
26%
[root@mysql ~]# df -h |grep sda1 | awk '{printf $5 "\n"}' | cut -d "%" -f 1
26

BEGIN 命令:先执行期望打印内容之前的命令。

[root@mysql sh]# awk 'BEGIN {print "test!"} {print $2 "\t" $3}' student.txt
test!
Name    Gender
liming  M
liuwei  M

FS内置变量
awk命令默认分割符为“空格”以及“制表符”,无法自动识别“:”

[root@mysql sh]# awk '{print $1 "\t" $3}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

awk 命令会先读取后处理,因此第一行数据没有分割

[root@mysql sh]# awk '{FS=":"} {print $1 "\t" $3}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin     1
daemon  2

添加BEGIN命令强制先处理

[root@mysql sh]# awk 'BEGIN{FS=":"} {print $1 "\t" $3}' /etc/passwd
root    0
bin     1
daemon  2
adm     3
lp      4
sync    5

END命令

[root@mysql sh]# awk 'END{print "The end"} {print $2 "\t" $3}' student.txt student.txt
Name    Gender
liming  M
liuwei  M

The end

关系运算符 :每行的数据先判断才会执行打印命令

[root@mysql sh]# cat student.txt |grep -v Name | awk '$4>=85 {print $2}'
liming

2.4 sed命令

sed是一种几乎包括在所以UNIX平台的轻量级流编辑器。sed主要是用来将数据进行选取、替换、删除、新增的命令。
语法:

[root@localhost ~]# sed [选项] '[动作]' 文件名
 选项:
                          -n	一般sed命令会把所有数据都输出到屏幕,如果加入此选择,则只会把经过Sed命令处理的行输出到屏幕。
                          -e:	允许对输入数据应用多条sed命令编辑
                          -i:	用sed的修改结果直接修改读取数据的文件,而不是由屏幕输出
动作:
							     a \:	(append)追加,在当前行后添加一行或多行。添加多行时,除最后一行外,每行末尾用“\”代表数据未完结。
							     c \:	(change)行替换,用c后面的字符串替换原数据行,替换多行时,除最后一行外,每行末尾需用“\”代表数据未完结。
							     i \:	(insert)插入,在当期行前插入一行或多行。插入多行时,除最后一行外,每行末尾需要用“\”代表数据未完结
							     d:		(delete)删除,删除指定的行
							     p:		(print)打印,输出指定的行
							     s:	(substitute)字串替换。用一个字符串替换另外一个字符串。格式为“行范围s/旧字符/新字符/g” (和vim中的替换格式类似)

范例:
不加“-n“的话,除了输出第二行,所有数据都会输出一遍

[root@mysql sh]# sed '2p' student.txt 
ID      Name    Gender  Score
1       liming  M       88
1       liming  M       88
2       liuwei  M       66

[root@mysql sh]# sed -n '2p' student.txt 
1       liming  M       88

sed命令可以对命令输出结果直接进行处理,vi命令只能处理文件

[root@mysql sh]# df -h | sed -n '2p' 
/dev/mapper/rhel-root   28G  4.3G   24G  16% /

删除行,没有修改文件本身的内容,只是对输出进行了处理

[root@mysql sh]# sed '2,3d' student.txt 
ID      Name    Gender  Score
3       zhao    M       90

插入行

[root@mysql sh]# sed '4i hello' student.txt 
ID      Name    Gender  Score
1       liming  M       88
2       liuwei  M       66
hello
3       zhao    M       90
[root@mysql sh]# sed '3a hello \ world' student.txt   #”\“表示没输入完
ID      Name    Gender  Score
1       liming  M       88
2       liuwei  M       66
hello  world
3       zhao    M       90

行替换

[root@mysql sh]# sed '4c no such person' student.txt 
ID      Name    Gender  Score
1       liming  M       88
2       liuwei  M       66
no such person

字符串替换

[root@mysql sh]# sed '4s/90/95/g' student.txt 
ID      Name    Gender  Score
1       liming  M       88
2       liuwei  M       66
3       zhao    M       95

三、字符处理命令

3.1排序命令 sort

格式:

[root@localhost ~]# sort [选项] 文件名
						  -f	忽略大小写
						  -n	以数值型进行排序,默认使用字符串型排序
						  -r	反向排序
						  -t	指定分隔符,默认是分隔符是制表符
						  -k n[,m]:	按照指定的字段范围排序。从第n字段开始,m字段结束(默认到行尾)

范例:
根据用户的”uid“(第三个字段)进行排序

[root@mysql sh]# sort -n -t ":" -k 3 /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

3.2 统计命令 wc

格式:

[root@localhost ~]# wc [选项] 文件名
                         -l:	只统计行数
                         -w:	只统计单词数
                         -m:	只统计字符数

范例:

[root@mysql sh]# wc /etc/passwd
 20  28 876 /etc/passwd
 # 20行 28个单词 876个字符

四、条件判断

4.1 根据文件类型进行判断

测试一个条件是否成立,常用的选项有三个

测试选项 作用
-b 文件 判断该文件受否存在,并且是否为块设备文件(是块设备文件为真)
-c 文件 判断该文件受否存在,并且是否为字符设备文件(是字符设备文件为真)
-d 文件 判断该文件受否存在,并且是否为目录文件(是目录文件为真)
-e 文件 判断该文件受否存在(存在为真)
-f 文件 判断该文件受否存在,并且是否为普通文件(是普通文件为真)
-L 文件 判断该文件受否存在,并且是否为符号链接文件(是符号链接文件为真)
-p 文件 判断该文件受否存在,并且是否为管道文件(是管道文件为真)
-s 文件 判断该文件受否存在,并且是否为非空(非空为真)
-S 文件 判断该文件受否存在,并且是否为套接字(是套接字文件为真)

两只判别格式范例:

[root@mysql sh]# test -e student.txt
[root@mysql sh]# echo $?   #查看上一条命令是否执行正确
0
[root@mysql sh]# [ -e student.txt ]
[root@mysql sh]# echo $?
0
#第一条判断命令如果正确执行,打印”yes",否则打印”no“
[root@mysql sh]# [ -e studnt.txt ] && echo "Yes" ||echo "No"
No
[root@mysql sh]# [ -e student.txt ] && echo "Yes"||echo "No"
Yes

4.2按照文件权限进行判断

测试选项 作用
-r 文件 判断该文件受否存在,并且是否该文件有读权限(有读权限为真)
-w 文件 判断该文件受否存在,并且是否该文件有写权限(有写权限为真)
-x 文件 判断该文件受否存在,并且是否该文件执行权限(有执行权限为真)
-u 文件 判断该文件受否存在,并且是否该文件有SUID权限(有SUID权限为真)
-g 文件 判断该文件受否存在,并且是否该文件有SGID权限(有SGID权限为真)
-k 文件 判断该文件受否存在,并且是否该文件有SBit权限(有SBit权限为真)

范例:

[root@mysql sh]# [ -w student.txt ] && echo "yes" ||echo "no"
yes

4.3两个文件进行比较判断

测试选项 作用
文件1 -nt 文件2 判断文件1的修改时间是否比文件2的新(如果新则为真)newer than
文件1 -ot 文件2 判断文件1的修改时间是否比文件2的旧(如果旧则为真) older than
文件1 -ef 文件2 判断文件1是否和文件2的Inode号(i节点)一致,可以理解为两个文件是否为同一个文件。这个判断用于判断硬链接 equal file

范例:

ln /tmp/sh/student.txt /tmp/stu.txt  #创建硬链接
[root@mysql sh]# [ /tmp/stu.txt -ef /tmp/sh/student.txt ] && echo "yes" || echo "no"
yes
[root@mysql sh]# ls -i /tmp/stu.txt #查看文件i节点
17187280 /tmp/stu.txt
[root@mysql sh]# ls -i /tmp/sh/student.txt
17187280 /tmp/sh/student.txt

4.4 两个整数进行比较

测试选项 作用
整数1 -eq 整数2 判断整数1是否和整数2相等(相等为真)equal
整数1 -ne 整数2 判断整数1是否和整数2不相等(不相等为真)not equal
文件1 -gt 文件2 判断整数1是否大于整数2(大于为真)
文件1 -lt 文件2 判断整数1是否小于整数2(小于为真)
文件1 -ge 文件2 判断整数1是否大于等于整数2(大于等于为真)
文件1 -le 文件2 判断整数1是否小于等于整数2(小于等于为真)

范例:

[root@mysql sh]# [ 23 -le 30 ] && echo "yes" || echo "no"
yes

4.5 字符串的判断

测试选项 作用
-e 字符串 判断字符串是否为空(为空返回真)
-n 字符串 判断字符串是否为非空(非空返回真)
字符串1 == 字符串2 判断字符串1是否和字符串2相等(相等返回真)
字符串1 != 字符串2 判断字符串1是否和字符串2不相等(不相等返回真)

范例:

[root@mysql sh]# [ -z "$name" ] && echo "yes" || echo "no"
no
[root@mysql sh]# [ "$aa" == "$bb" ] && echo "yes" || echo "no" ##”==“两边要加空格否则全判断为真
no  

4.6 多重条件判断

测试选项 作用
判断1 -a 判断2 逻辑与,判断1和判断2都成立,最终的结果才为真
判断1 -o 判断2 逻辑或,判断1和判断2有一个成立,最终的结果才为真
! 判断 逻辑非,使原始的判断式取反

五、流程控制

5.1 if语句

单分支if 语句格式:

if [ 条件判断式 ] ; then
	程序
fi 

或者

if [条件判断式]
	then
		程序
fi

判断分区使用率范例:

#脚本内容
[root@mysql ~]# more /tmp/sh/if_test.sh
#!/bin/bash
#统计根分区使用率

rate=$(df -h | grep "/dev/sda1" | awk '{print $5}' | cut -d "%" -f1)
#把根分区使用率作为变量值赋给rete

if [ $rate -le 80 ]
        then
                echo "$rate"  "Warning /dev/sda3 isn't full!!"
#脚本运行结果
[root@mysql ~]# /tmp/sh/if_test.sh
26 Warning /dev/sda3 isn't full!!

双分支if语句格式:

if [ 条件判断式 ]
	then
		条件成立时,执行的程序
	else
		条件不成立时,执行的另一个程序
fi

备份范例:

[root@mysql sh]# cat -n if_test2.sh
     1  #!/bin/bash
     2
     3  date=$(date +%y%m%d)
     4  size=$(du -sh /tmp)
     5
     6  if [ -d /tmp/dbback ]
     7          then
     8                  echo "Date is : $date" > /tmp/dbback/db.txt
     9                  echo "Size is : $size" >> /tmp/dbback/db.txt
    10                  tar -zcf tmp_$date.tar.gz /tmp &> /dev/null
    11                  rm -rf /tmp/dbback/db.txt
    12          else
    13                  madir /tmp/dbback
    14
    15                  echo "Date is : $date" > /tmp/dbback/db.txt
    16                  echo "Size is : $size" >> /tmp/dbback/db.txt
    17                  tar -zcf tmp_$date.tar.gz /tmp &> /dev/null
    18                  rm -rf /tmp/dbback/db.txt
    19  fi

范例2 :判断apache是否启动

[root@mysql sh]# more if_test3.sh
#!/bin/bash

port=$(nmap -sT 192.168.160.10 | grep tcp | grep httpd | awk '{print $2}')
#使用nmap命令扫描服务器并截取apache状态,赋值给变量port

if [ "$port" == "open" ]
        then 
                echo "$(date) httpd is ok!" >> /tmp/autostart_acc.log
        else
                /etc/rc.d/init.d/httpd_start &> /dev/null
                echo "$(date) restart httpd!!" >> /tmp/autostart_acc.log
fi

多分支if语句格式:

if [ 条件判断式1 ]
	then
		当条件判断式1成立时,执行程序1
elif [ 条件判断式2 ]
	then
		当条件判断式2成立时,执行程序2
	……省略更多条件
else
		当所有条件都不成立时,最后执行此程序
fi	

文件类型判断范例:

[root@mysql sh]# cat -n if_test4.sh
     1  #!/bin/bash
     2
     3  read -p "Please input a filename :" file
     4  #接收键盘的输入,并赋值给file
     5
     6  if [ -z "$file"]
     7          #判断file是否为空
     8          then
     9                  echo "Erro please input a filename"
    10                  exit 1
    11  elif [ ! -e "$file" ]
    12  #判断file的值是否存在
    13          then
    14                  echo "Your put is not a file"
    15                  exit 2
    16  elif [ -f "$file" ]
    17  #判断file的值是否为普通文件
    18          then
    19                  echo "file is a regulare file"
    20  elif [ -d "$file" ]
    21  #判断file是否为目录文件
    22          then
    23                  echo "file is a directory"
    24  else
    25                  echo "file is another file!"
    26  fi

5.2 case语句

case语句只能匹配一种条件语句,if语句可以匹配多种条件语句。
格式:

case $变量名 in
	"值1")
		如果变量的值等于值1,则执行程序1
		;;
	"值2")
		如果变量的值等于值2,则执行程序2
		;;
	*)
		如果变量的值都不是以上的值,则执行此程序
		;;
esac

范例:

[root@mysql sh]# cat -n /tmp/sh/case.sh
     1  #!/bin/bash
     2
     3
     4  read -p "Please choose yes/no " -t 30 cho
     5  case $cho in
     6          "yes")
     7                  echo "your choice is yes!"
     8                  ;;
     9          "no")
    10                  echo "your choice is no!"
    11                  ;;
    12          *)
    13                  echo "your choice is error!"
    14                  ;;
    15  esac

5.3 for 循环

语法1:

for 变量 in 值1 值2 值3……
	do
		程序
	done

范例:

[root@mysql sh]# cat -n /tmp/sh/for2.sh
     1  #!/bin/bash
     2  #批量解压缩脚本
     3
     4  cd /lamp
     5  ls *.tar.gz > ls.log
     6  for i in $(cat ls.log)
     7          do
     8                  tar -zxf $i &> /dev/null
     9          done
    10  rm -rf /lamp/ls.log

语法2:

for ((初始值;循环控制变量;变量变化))
	do
		程序
	done

范例:

[root@mysql sh]# cat -n /tmp/sh/for3.sh
     1  #!/bin/bash
     2  #计算从1加到100
     3
     4  s=0
     5  for ((i=1;i<=100;i=i+1))
     6          do
     7                  s=$(( $s+$i ))
     8          done
     9  echo "The sum of 1+2+3+…… is: $s"
[root@mysql sh]# cat -n /tmp/sh/for4.sh
     1  #!/bin/bash
     2  #批量添加用户
     3
     4  read -p "Please input the username:" name
     5
     6  read -p "Please input the number of  users:" num
     7
     8  read -p "Please input the password of users:" pass
     9  if [ ! -z "$name" -a ! -z "$num" -a ! -z "$pass" ]
    10  #判断三个输入是否都不为空
    11          then
    12                  y=$(echo $num | sed 's/^[0-9]*$'//g)
    13                  #将以数字开头以任意字符结尾的num替换为空
    14                  if [ -z "$y" ]
    15                          then
    16                                  for ((i=1;i<=num;i=i+1))
    17                                          do
    18                                                  /usr/sbin/useradd $name$i &> /dev/null
    19                                                  echo $pass | usr/bin/passwd --stdin “$name$i” &>/dev/null
    20                                                  #stdin重定向输入,管道符接收前面指令结果作为后面指令的输入
    21                                          done
    22                  fi
    23  fi

5.4 while循环与until循环

while 循环时不定循环,也称作条件循环。只要条件判断式成立,循环就会一直继续,直到条件判断式不成立,循环才会停止。这就和for的固定循环不太一样了。
语法:

while [ 条件判别式 ]
	do
		程序
	done

范例:

[root@mysql sh]# cat -n /tmp/sh/while.sh
     1  #!/bin/bash
     2  #计算1到100的和
     3
     4  s=o
     5  i=1
     6  while [ $i -le 100 ]
     7          do
     8                  s=$(( $s+$i ))
     9                  i=$(( $i+1 ))
    10          done
    11  echo "The sum is : $s"

until 循环,和while循环相反,until循环时只要条件判断式不成立则进行循环,并执行循环程序。一旦循环条件成立,则终止循环。
范例:

[root@mysql sh]# cat -n /tmp/sh/until.sh
     1  #!/bin/bash
     2
     3  s=0
     4  i=1
     5  until [ $i -gt 100 ]
     6  #循环直到变量i的值大于100
     7          do
     8                  s=$(( $s+$i ))
     9                  i=$(( $i+1 ))
    10          done
    11  echo "The sum is :$s"

你可能感兴趣的:(学习笔记,linux)