问题
使用Shell完成各种Linux运维任务时,一旦涉及到判断、条件测试等相关操作时,往往需要对相关的命令输出进行过滤,提取出符合要求的字符串。
本案例要求熟悉字符串的常见处理操作,完成以下任务练习:
参考PPT示范操作,完成子串截取、替换等操作
根据课上的批量改名脚本,编写改进版renfilex.sh:能够批量修改当前目录下所有文件的扩展名,修改前/后的扩展名通过位置参数$1、$2提供
方案
子串截取的三种用法:
v a r : 起 始 位 置 : 长 度 e x p r s u b s t r " {var:起始位置:长度} expr substr " var:起始位置:长度exprsubstr"var" 起始位置 长度
echo v a r ∣ c u t − b 起 始 位 置 − 结 束 位 置 路 径 分 割 : 取 目 录 位 置 : d i r n a m e " 字 符 串 " 取 文 档 的 基 本 名 称 : b a s e n a m e " 字 符 串 " 子 串 替 换 的 两 种 用 法 : 只 替 换 第 一 个 匹 配 结 果 : var | cut -b 起始位置-结束位置 路径分割: 取目录位置:dirname "字符串" 取文档的基本名称:basename "字符串" 子串替换的两种用法: 只替换第一个匹配结果: var∣cut−b起始位置−结束位置路径分割:取目录位置:dirname"字符串"取文档的基本名称:basename"字符串"子串替换的两种用法:只替换第一个匹配结果:{var/old/new}
替换全部匹配结果: v a r / / o l d / n e w 字 符 串 掐 头 去 尾 : 从 左 向 右 , 最 短 匹 配 删 除 : {var//old/new} 字符串掐头去尾: 从左向右,最短匹配删除: var//old/new字符串掐头去尾:从左向右,最短匹配删除:{变量名#关键词}
从左向右,最长匹配删除:KaTeX parse error: Expected '}', got '#' at position 5: {变量名#̲#*关键词} 从右向左,最短匹…{变量名%关键词}
从右向左,最长匹配删除:${变量名%%关键词*}
步骤
实现此案例需要按照如下步骤进行。
步骤一:字符串的截取
1)方法一,使用 表 达 式 格 式 : {}表达式 格式: 表达式格式:{var:起始位置:长度}
定义一个变量SCHOOL,并确认其字符串长度:
[root@svr5 ~]# SCHOOL="Tarena IT Group."
[root@svr5 ~]# echo ${#SCHOOL}
16 //包括16个字符(含空格)
使用${}截取时,起始位置可以省略,省略时从第一个字符开始截。比如,以下操作都可以从左侧开始截取前6个字符:
[root@svr5 ~]# echo ${SCHOOL::6}
Tarena
或者
[root@svr5 ~]# echo ${SCHOOL:0:6}
Tarena
使用${}方式截取字符串时,起始位置是从0开始的(和数组下标编号类似) 。
因此,如果从起始位置1开始截取6个字符,那就变成这个样子了:
[root@svr5 ~]# echo ${SCHOOL:1:6}
arena //最后的空格未显示出来,实际为“arena ”
应用示例:提取文件/etc/fstab的MD5SUM校验和字串,排除无关文本。相关操作及结果如下所示:
[root@svr5 ~]# md5sum /etc/fstab //直接查看MD5SUM校验值
eef0254e6049a411dc30db864c0ee6ea /etc/fstab
[root@svr5 ~]# MD5STR=$(md5sum /etc/fstab) //保存到变量
[root@svr5 ~]# echo ${MD5STR::32} //截取前32个字符(MD5值的固定长度)
eef0254e6049a411dc30db864c0ee6ea
2)方法二,使用 expr substr
格式:expr substr “$var” 起始位置 长度
还以前面的SCHOOL变量为例,确认原始值:
[root@svr5 ~]# echo $SCHOOL
Tarena IT Group.
[root@svr5 ~]# echo ${#SCHOOL}
16
使用expr substr截取字符串时,起始编号从1开始,这个要注意与${}相区分。
从左侧截取SCHOOL变量的前6个字符:
[root@svr5 ~]# expr substr "$SCHOOL" 1 6
Tarena
这里注意,因为SCHOOL变量的值里含有空格,所以应该加双引号进行调用,否则是会报错的:
[root@svr5 ~]# expr substr $SCHOOL 1 6
expr: 语法错误
从左侧截取SCHOOL变量的第11-16个字符:
[root@svr5 ~]# expr substr "$SCHOOL" 11 16
Group.
应用示例:还是提取文件/etc/fstab的MD5SUM校验和字串,排除无关文本。若采用expr substr,则相关操作及结果如下所示:
[root@svr5 ~]# md5sum /etc/fstab //确认MD5SUM校验值
eef0254e6049a411dc30db864c0ee6ea /etc/fstab
[root@svr5 ~]# MD5STR=$(md5sum /etc/fstab) //保存到变量
[root@svr5 ~]# expr substr "$MD5STR" 1 32 //截取前32个字符
eef0254e6049a411dc30db864c0ee6ea
3)方式三,使用cut分割工具
格式:echo $var | cut -b 起始位置-结束位置
选项 -b 表示按字节截取字符,其中起始位置、结束位置都可以省略。当省略起始位置时,视为从第1个字符开始(编号也是从1开始,与expr类似),当省略结束位置时,视为截取到最后。
还以前面的SCHOOL变量为例,确认原始值:
[root@svr5 ~]# echo $SCHOOL
Tarena IT Group.
[root@svr5 ~]# echo ${#SCHOOL}
16
从左侧截取前6个字符,可执行以下操作:
[root@svr5 ~]# echo $SCHOOL | cut -b 1-6
Tarena
或者
[root@svr5 ~]# echo $SCHOOL | cut -b -6
Tarena
截取第11-16个字符:
[root@svr5 ~]# echo $SCHOOL | cut -b 11-16
Group.
从第8个字符截取到末尾:
[root@svr5 ~]# echo $SCHOOL | cut -b 8-
IT Group.
只截取单个字符,比如第9个字符:
[root@svr5 ~]# echo $SCHOOL | cut -b 9
T
如果起始位置、结束位置同时省略,那就和直接echo变量值没啥区别了:
[root@svr5 ~]# echo $SCHOOL | cut -b -
Tarena IT Group.
应用示例:还是提取文件/etc/fstab的MD5SUM校验和字串,排除无关文本。若采用cut工具,可以直接通过管道处理,相关操作及结果如下所示:
[root@svr5 ~]# md5sum /etc/fstab //确认MD5SUM校验值
eef0254e6049a411dc30db864c0ee6ea /etc/fstab
[root@svr5 ~]# md5sum /etc/fstab | cut -b -32 //截取前32个字符
eef0254e6049a411dc30db864c0ee6ea
步骤二:字符串的替换
1)只替换第1个子串
格式:${var/old/new}
以前面的SCHOOL变量作为测试,先确认变量值:
[root@svr5 ~]# echo $SCHOOL
Tarena IT Group.
将字符串中的第1个r替换为RRRR:
[root@svr5 ~]# echo ${SCHOOL/r/RRRR}
TaRRRRena IT Group.
2)替换全部子串
格式:${var//old/new}
以前面的SCHOOL变量作为测试,先确认变量值:
[root@svr5 ~]# echo $SCHOOL
Tarena IT Group.
将字符串中的所有r都替换为RRRR:
[root@svr5 ~]# echo ${SCHOOL//r/RRRR}
TaRRRRena IT GRRRRoup.
3)应用示例,根据变量值重设主机名
用法分解,将当前主机名的域后缀替换为“localdomain”:
[root@svr5 ~]# echo $HOSTNAME //确认当前的主机名
svr5.tarena.com
[root@svr5 ~]# echo ${HOSTNAME/tarena.com/localdomain}
svr5.localdomain //替换后的字串
将当前主机名整个替换为“localhost.localdomain”:
[root@svr5 ~]# echo ${HOSTNAME/$HOSTNAME/localhost.localdomain}
localhost.localdomain
假设要设置的新主机名保存在变量MYFQDN内,则重设操作如下所示:
[root@svr5 ~]# MYFQDN="dbsvr.example.org" //新主机名变量
[root@svr5 ~]# hostname ${HOSTNAME/$HOSTNAME/$MYFQDN} //重设操作
[root@svr5 ~]# hostname //确认修改后的主机名
dbsvr.example.org
如果希望恢复为原来的主机名,只要修改变量MYFQDN的值,然后再重新执行一遍替换操作即可:
[root@svr5 ~]# MYFQDN="svr5.tarena.com" //定义要恢复的主机名
[root@svr5 ~]# hostname ${HOSTNAME/$HOSTNAME/$MYFQDN} //重设主机名
[root@svr5 ~]# hostname //确认恢复结果
svr5.tarena.com
引入变量来保存主机名以后,可以使Shell脚本具有更广泛的适用性。
步骤三:字符串的匹配删除
以处理系统默认的邮箱路径为例,可直接使用环境变量MAIL:
[root@svr5 ~]# echo $MAIL
/var/spool/mail/root
1)从左向右,最短匹配删除
格式:${变量名#关键词}
删除从左侧第1个字符到最近的关键词“oo”的部分, 作通配符理解:
[root@svr5 ~]# echo ${MAIL#*oo}
l/mail/root
删除从左侧第1个字符到最近的关键词“/”的部分:
[root@svr5 ~]# echo ${MAIL#*/}
var/spool/mail/root
2)从左向右,最长匹配删除
格式:${变量名##*关键词}
删除从左侧第1个字符到最远的关键词“oo”的部分:
[root@svr5 ~]# echo $MAIL //确认变量MAIL的值
/var/spool/mail/root
[root@svr5 ~]# echo ${MAIL##*oo}
t
删除从左侧第1个字符到最远的关键词“/”的部分:
[root@svr5 ~]# echo ${MAIL##*/}
root
操作 ${MAIL##*/} 的效果与使用basename命令提取基本名称的效果相同:
[root@svr5 ~]# basename $MAIL
root
3)从右向左,最短匹配删除
格式:${变量名%关键词*}
删除从右侧最后1个字符到往左最近的关键词“oo”的部分,* 做通配符理解:
[root@svr5 ~]# echo $MAIL //确认变量MAIL的值
[root@svr5 ~]# echo ${MAIL%oo*}
/var/spool/mail/r
删除从右侧最后1个字符到往左最近的关键词“/”的部分:
[root@svr5 ~]# echo ${MAIL%/*}
/var/spool/mail
操作 ${MAIL%/*} 的效果与使用dirname命令提取目录名称的效果相同:
[root@svr5 ~]# dirname $MAIL
/var/spool/mail
4)从右向左,最长匹配删除
格式:${变量名%%关键词*}
删除从右侧最后1个字符到往左最远的关键词“oo”的部分:
[root@svr5 ~]# echo $MAIL //确认变量MAIL的值
/var/spool/mail/root
root@svr5 ~]# echo ${MAIL%%oo*}
/var/sp
删除从右侧最后1个字符到往左最远的关键词“/”的部分(删没了):
[root@svr5 ~]# echo ${MAIL%%/*}
[root@svr5 ~]#
步骤四:编写renfilex.sh脚本
1)验证原始改名脚本renfile.sh的效果
脚本用途为:批量修改当前目录下的文件扩展名,将.doc改为.txt。
脚本内容参考如下:
[root@svr5 ~]# vim renfile.sh
#!/bin/bash
for FILE in *.doc
do
mv $FILE ${FILE%.doc}.txt
done
[root@svr5 ~]# chmod +x renfile.sh
创建一个测试用的文件夹rendir,并在其下建几个测试文件
[root@svr5 ~]# mkdir rendir
[root@svr5 ~]# cd rendir
[root@svr5 rendir]# touch file1.doc abcde.doc xxyyzz.doc other1.xls killbill.mp4
[root@svr5 rendir]# ls
abcde.doc file1.doc killbill.mp4 other1.xls xxyyzz.doc
调用renfile.sh脚本,查看修改结果(原来扩展名为.doc的文件,其扩展名都变成了.txt):
[root@svr5 rendir]# ../renfile.sh
[root@svr5 rendir]# ls
abcde.txt file1.txt killbill.mp4 other1.xls xxyyzz.txt
2)建立改进版脚本renfilex.sh
要适应不同扩展名文件的修改,并能够反向还原。
修改前的扩展名、修改后的扩展名通过位置变量 $1、$2提供。
改进的脚本编写参考如下:
[root@svr5 rendir]# cp ../renfile.sh ../renfilex.sh
[root@svr5 rendir]# vim ../renfilex.sh
#!/bin/bash
for FILE in "$1"
do
mv $FILE ${FILE%$1}"$2"
done
3)验证、测试改进后的脚本
将 *.doc文件的扩展名改为.txt:
[root@svr5 rendir]# ls //修改前
abcde.txt file1.txt killbill.mp4 other1.xls xxyyzz.txt
[root@svr5 rendir]# ../renfilex.sh .txt .doc
[root@svr5 rendir]# ls //修改后
abcde.doc file1.doc killbill.mp4 other1.xls xxyyzz.doc
将 *.mp4文件的扩展名改为.mkv:
[root@svr5 rendir]# ls //修改前
abcde.doc file1.doc killbill.mp4 other1.xls xxyyzz.doc
[root@svr5 rendir]# ../renfilex.sh .mp4 .mkv
[root@svr5 rendir]# ls //修改后
abcde.doc file1.doc killbill.mkv other1.xls xxyyzz.doc