Linux进阶篇 Shell脚本编程进阶--数组、高级字符串操作高级变量以及expect用法
Linux进阶篇 Shell脚本编程进阶–数组、高级字符串操作、高级变量以及expect用法
一、数组
- 变量：存储单个元素的内存空间
- 数组：存储多个元素的连续的内存空间，相当于多个变量的集合
- 数组名和索引
索引：编号从0开始，属于数值索引
注意：索引可支持使用自定义的格式，而不仅是数值格式，即为关联索引，bash4.0版本之后开始支持
bash的数组支持稀疏格式（索引不连续） - 声明数组：
declare -a ARRAY_NAME
declare -A ARRAY_NAME: 关联数组
注意：两者不可相互转换
数组赋值
* 数组元素的赋值
(1) 一次只赋值一个元素
ARRAY_NAME[INDEX]=VALUE
weekdays[0]=”Sunday”
weekdays[4]=”Thursday”
(2) 一次赋值全部元素
ARRAY_NAME=(“VAL1” “VAL2” “VAL3” …)
(3) 只赋值特定元素
ARRAY_NAME=([0]=”VAL1” [3]=”VAL2” …)
(4) 交互式数组值对赋值
read -a ARRAY
* 显示所有数组：declare -a
一次赋值一个元素：
[root@centos7-1 ~]#declare -a title 声明数组title
[root@centos7-1 ~]#title[0]="ceo"
[root@centos7-1 ~]#title[1]="coo"
[root@centos7-1 ~]#title[2]="cto"
[root@centos7-1 ~]#echo ${title[0]}
ceo
[root@centos7-1 ~]#echo ${title[1]}
coo
[root@centos7-1 ~]#echo ${title[2]}
cto一次赋值全部元素：
[root@centos7-1 ~]#name=("mage" "wang")
[root@centos7-1 ~]#echo ${name[*]}
mage wang
[root@centos7-1 ~]#digit=({1..10})
[root@centos7-1 ~]#echo ${digit[*]}
1 2 3 4 5 6 7 8 9 10
[root@centos7-1 ~]#file=(/boot/*)
[root@centos7-1 ~]#echo ${file[*]}
/boot/config-3.10.0-862.el7.x86_64 /boot/efi /boot/grub /boot/grub2 /boot/initramfs-0-rescue-7eab25876df747da952cee5f5a6dbc5f.img /boot/initramfs-3.10.0-862.el7.x86_64.img /boot/symvers-3.10.0-862.el7.x86_64.gz /boot/System.map-3.10.0-862.el7.x86_64 /boot/vmlinuz-0-rescue-7eab25876df747da952cee5f5a6dbc5f /boot/vmlinuz-3.10.0-862.el7.x86_64
[root@centos7-1 ~]#num=(`seq 10 20`)
[root@centos7-1 ~]#echo ${num[*]}
10 11 12 13 14 15 16 17 18 19 20注意：对已赋值过的数组再次进行赋值，会把数组原有内容替换掉
[root@centos7-1 ~]#echo ${title[*]}
ceo coo cto
[root@centos7-1 ~]#title=([0]="boss" [2]="opt")
[root@centos7-1 ~]#echo ${title[*]}
boss opt另外，数组在用户重登后会丢失
引用数组
* 引用数组元素：
${ARRAY_NAME[INDEX]}
注意：省略[INDEX]表示引用下标为0的元素
[root@centos7-1 ~]#digit=({1..10})
[root@centos7-1 ~]#echo ${digit}
1- 引用数组所有元素：
${ARRAY_NAME[*]}
${ARRAY_NAME[@]}
[root@centos7-1 ~]#echo ${digit[*]}
1 2 3 4 5 6 7 8 9 10- 数组的长度(数组中元素的个数)：
${#ARRAY_NAME[*]}
${#ARRAY_NAME[@]}
[root@centos7-1 ~]#echo ${#digit[*]}
10- 删除数组中的某元素：导致稀疏格式
unset ARRAY[INDEX] - 删除整个数组：
unset ARRAY
[root@centos7-1 ~]#unset digit数组数据处理
* 引用数组中的元素：
数组切片：${ARRAY[@]:offset:number}
offset: 要跳过的元素个数
number: 要取出的元素个数
取偏移量之后的所有元素
${ARRAY[@]:offset}
* 向数组中追加元素：
ARRAY[${#ARRAY[*]}]=value
* 关联数组：
declare -A ARRAY_NAME
ARRAY_NAME=([idx_name1]=’val1’ [idx_name2]=’val2‘…)
注意：关联数组必须先声明再调用
* 示例：
生成10个随机数保存于数组中，并找出其最大值和最小值
#!/bin/bash
declare -i min max
declare -a nums
for ((i=0;i<10;i++));do
nums[$i]=$RANDOM
[ $i -eq 0 ] && min=${nums[$i]} && max=${nums[$i]}&& continue
[ ${nums[$i]} -gt $max ] && max=${nums[$i]}
[ ${nums[$i]} -lt $min ] && min=${nums[$i]}
done
echo “All numbers are ${nums[*]}”
echo Max is $max
echo Min is $min编写脚本，定义一个数组，数组中的元素是/var/log目录下所有以.log结尾的文件；统计出其下标为偶数的文件中的行数之和
#!/bin/bash
#
declare -a files
files=(/var/log/*.log)
declare -i lines=0
for i in $(seq 0 $[${#files[*]}-1]); do
if [ $[$i%2] -eq 0 ];then
let lines+=$(wc -l ${files[$i]} | cut -d' ' -f1)
fi
done
echo "Lines: $lines."二、高级字符串操作
字符串切片
* ${#var}:返回字符串变量var的长度
[root@centos7-1 ~]#alpha=`echo {a..z}|tr -d " "`
[root@centos7-1 ~]#echo ${#alpha}
26- ${var:offset}:返回字符串变量var中从第offset个字符后（不包括第offset个字符）的字符开始，到最后的部分，offset的取值在0 到 ${#var}-1之间(bash4.2后，允许为负值)
[root@centos7-1 ~]#echo ${alpha:3}
defghijklmnopqrstuvwxyz- ${var:offset:number}：返回字符串变量var中从第offset个字符后（不包括第offset个字符）的字符开始，长度为number的部分
[root@centos7-1 ~]#echo ${alpha:3:2}
de- ${var: -length}：取字符串的最右侧几个字符
注意：冒号后必须有一空白字符
[root@centos7-1 ~]#echo ${alpha: -3}
xyz- ${var:offset:-length}：从最左侧跳过offset字符，一直向右取到距离最右侧lengh个字符之前的内容
[root@centos7-1 ~]#echo ${alpha:3:-2}
defghijklmnopqrstuvwx- ${var: -length:-offset}：先从最右侧向左取到length个字符开始，再向右取到距离最右侧offset个字符之间的内容
注意：-length前空格
[root@centos7-1 ~]#echo ${alpha: -3:-2}
x注意：如果从右往左取，即变量后的数字均为负数，那么第一个数字必须小于第二个数字，如果大于，则会报错；如果相等，则内容为空。
如：上题中表示，从右往左先取3个，再从这三个数字中从右往左去掉2个，剩余的那个x即为所需的；如果为${alpha: -2:-3}，先取2个，再从这两个数字中去掉三个，无法成立
这种语法在centos6中不支持
字符串处理
* 基于模式取子串
${var#*word}：其中word可以是指定的任意字符
功能：自左而右，查找var变量所存储的字符串中，第一次出现的word, 删除字符串开头至第一次出现word字符之间的所有字符
[root@centos7-1 ~]#var=`getent passwd root`
[root@centos7-1 ~]#echo $var
root:x:0:0:root:/root:/bin/bash
[root@centos7-1 ~]#echo ${var#root}
:x:0:0:root:/root:/bin/bash${var##*word}：同上，贪婪模式，不同的是，删除的是字符串开头至最后一次由word指定的字符之间的所有内容
[root@centos7-1 ~]#var=`getent passwd root`
[root@centos7-1 ~]#echo $var
root:x:0:0:root:/root:/bin/bash
[root@centos7-1 ~]#echo ${var##*root}
:/bin/bash- ${var%word*}：其中word可以是指定的任意字符
功能：自右而左，查找var变量所存储的字符串中，第一次出现的word,删除字符串最后一个字符向左至第一次出现word字符之间的所有字符
[root@centos7-1 ~]#file="/etc/sysconfig/network-script"
[root@centos7-1 ~]#echo $file
/etc/sysconfig/network-script
[root@centos7-1 ~]#echo ${file%/*}
/etc/sysconfig- ${var%%word*}：同上，只不过删除字符串最右侧的字符向左至最后一次出现word字符之间的所有字符；
- 示例：
[root@centos7-1 ~]#url=http://www.magedu.com:80
[root@centos7-1 ~]#echo $url
http://www.magedu.com:80
[root@centos7-1 ~]#echo ${url%%:*}
http
[root@centos7-1 ~]#echo ${url##*:}
80- 查找替换
${var/pattern/substr}：查找var所表示的字符串中，第一次被pattern所匹配到的字符串，以substr替换之
[root@centos7-1 ~]#echo $var
root:x:0:0:root:/root:/bin/bash
[root@centos7-1 ~]#echo ${var/root/admin}
admin:x:0:0:root:/root:/bin/bash${var//pattern/substr}: 查找var所表示的字符串中，所有能被pattern所匹配到的字符串，以substr替换之
[root@centos7-1 ~]#echo ${var//root/admin}
admin:x:0:0:admin:/admin:/bin/bash${var/#pattern/substr}：查找var所表示的字符串中，行首被pattern所匹配到的字符串，以substr替换之
[root@centos7-1 ~]#echo ${var/#root/admin}
admin:x:0:0:root:/root:/bin/bash${var/%pattern/substr}：查找var所表示的字符串中，行尾被pattern所匹配到的字符串，以substr替换之
[root@centos7-1 ~]#echo ${var/%bash/csh}
root:x:0:0:root:/root:/bin/csh- 查找并删除
${var/pattern}：删除var表示的字符串中第一次被pattern匹配到的字符串
[root@centos7-1 ~]#echo $var
root:x:0:0:root:/root:/bin/bash
[root@centos7-1 ~]#echo ${var/root}
:x:0:0:root:/root:/bin/bash${var//pattern}：删除var表示的字符串中所有被pattern匹配到的字符串
[root@centos7-1 ~]#echo ${var//root}
:x:0:0::/:/bin/bash${var/#pattern}：删除var表示的字符串中所有以pattern为行首匹配到的字符串
[root@centos7-1 ~]#echo ${var/#root}
:x:0:0:root:/root:/bin/bash${var/%pattern}：删除var所表示的字符串中所有以pattern为行尾所匹配到的字符串
[root@centos7-1 ~]#echo ${var/%bash}
root:x:0:0:root:/root:/bin/- 字符大小写转换
${var^^}：把var中的所有小写字母转换为大写
${var,,}：把var中的所有大写字母转换为小写
[root@centos7-1 ~]#echo $var
root:x:0:0:root:/root:/bin/bash
[root@centos7-1 ~]#echo ${var^^}
ROOT:X:0:0:ROOT:/ROOT:/BIN/BASH
[root@centos7-1 ~]#echo $VAR
ROOT:X:0:0:ROOT:/ROOT:/BIN/BASH
[root@centos7-1 ~]#echo ${VAR,,}
root:x:0:0:root:/root:/bin/bash变量赋值
| 变量配置方式 | str没有配置 | str为空字符串 | str以配置非为空字符串 |
|---|---|---|---|
| var=${str-expr} | var=expr | var= | var=$str |
| var=${str:-expr} | var=expr | var=expr | var=$str |
| var=${str+expr} | var= | var=expr | var=expr |
| var=${str:+expr} | var= | var= | var=expr |
| var=${str=expr} | str=expr | str不变 | str不变 |
| var=expr | var= | var=$str | |
| var=${str:=expr} | str=expr | str=expr | str不变 |
| var=expr | var=expr | var=$str | |
| var=${str?expr} | expr输出至stderr | var= | var=$str |
| var=${str:?expr} | expr输出至stderr | expr输出至stderr | var=$str |
三、高级变量用法
高级变量用法-有类型变量
* Shell变量一般是无类型的，但是bash Shell提供了declare和typeset两个命令用于指定变量的类型，两个命令是等价的
* declare [选项] 变量名
-r 声明或显示只读变量
-i 将变量定义为整型数
-a 将变量定义为数组
-A 将变量定义为关联数组
-f 显示已定义的所有函数名及其内容
-F 仅显示已定义的所有函数名
-x 声明或显示环境变量和函数
-l 声明变量为小写字母 declare –l var=UPPER
-u 声明变量为大写字母 declare –u var=lower
eval命令
* eval命令将会首先扫描命令行进行所有的置换，然后再执行该命令。该命令适用于那些一次扫描无法实现其功能的变量.该命令对变量进行两次扫描
* 示例：
[root@server ~]# CMD=whoami
[root@server ~]# echo $CMD
whoami
[root@server ~]# eval $CMD
root
[root@server ~]# n=10
[root@server ~]# echo {0..$n}
{0..10}
[root@server ~]# eval echo {0..$n}
0 1 2 3 4 5 6 7 8 9 10间接变量引用
* 如果第一个变量的值是第二个变量的名字，从第一个变量引用第二个变量的值就称为间接变量引用
* variable1的值是variable2，而variable2又是变量名，variable2的值为value，间接变量引用是指通过variable1获得变量值value的行为
&emsp variable1=variable2
variable2=value
* bash Shell提供了两种格式实现间接变量引用
格式1：eval tempvar=\$$variable1
格式2：tempvar=${!variable1}
* 示例：
[root@server ~]# N=NAME
[root@server ~]# NAME=wangxiaochun
[root@server ~]# N1=${!N}
[root@server ~]# echo $N1
wangxiaochun
[root@server ~]# eval N2=\$$N
[root@server ~]# echo $N2
wangxiaochun 创建临时文件
* mktemp命令：创建并显示临时文件，可避免冲突
* mktemp [OPTION]… [TEMPLATE]
TEMPLATE: filenameXXX
注意：X至少要出现三个
* OPTION：
-d: 创建临时目录
-p DIR或–tmpdir=DIR：指明临时文件所存放目录位置
* 示例：
[root@centos7-1 data]#mktemp -d /data/fileXXX
/data/fileWad
[root@centos7-1 data]#mktemp -d /data/fileXXXXXX
/data/fileIrXK3C
[root@centos7-1 data]#ll
total 2
drwx------ 2 root root 6 Sep 9 11:08 fileIrXK3C
-rw------- 1 root root 0 Sep 9 11:07 test7LC安装复制文件
* install命令：
install [OPTION]… [-T] SOURCE DEST 单文件
install [OPTION]… SOURCE… DIRECTORY
install [OPTION]… -t DIRECTORY SOURCE…
install [OPTION]… -d DIRECTORY…创建空目录
* 选项：
-m MODE，默认755
-o OWNER
-g GROUP
* 示例：
install -m 700 -o wang -g admins srcfile desfile
install –m 770 –d /testdir/installdir四、expect用法
expect介绍
* expect 是由Don Libes基于Tcl（ Tool Command Language ）语言开发的，主要应用于自动化交互式操作的场景，借助Expect处理交互的命令，可以将交互过程如：ssh登录，ftp登录等写在一个脚本上，使之自动化完成。尤其适用于需要对多台服务器执行相同操作的环境中，可以大大提高系统管理人员的工作效率
* expect 语法：
expect [选项] [ -c cmds ] [ [ -[f|b] ] cmdfile ] [ args ]
* 选项
-c：从命令行执行expect脚本，默认expect是交互地执行的
示例：expect -c ‘expect “\n” {send “pressed enter\n”}
-d：可以输出输出调试信息
示例：expect -d ssh.exp
* expect中相关命令
spawn：启动新的进程
send：用于向进程发送字符串
expect：从进程中抓取关键字，进而回应该进程
interact：允许用户交互
exp_continue 匹配多个字符串在执行动作后加此命令
- expect最常用的语法(tcl语言:模式-动作)
- 单一分支模式语法：
expect “hi” {send “You said hi\n”}
匹配到hi后，会输出“you said hi”，并换行 - 多分支模式语法：
expect "hi" { send "You said hi\n" } \
"hehe" { send “Hehe yourself\n" } \
"bye" { send “Good bye\n" } 匹配hi,hello,bye任意字符串时，执行相应输出。等同如下：
expect {
"hi" { send "You said hi\n"}
"hehe" { send "Hehe yourself\n"}
"bye" { send “Good bye\n"} - 示例：
expect用法：
[root@centos7-1 ]#cat expect1.sh
#!/usr/bin/expect 注意shebang机制中使用的是expect，而不是/bin/bash
spawn scp /etc/fstab 192.168.32.128:/data
expect {
"yes/no" { send "yes\n";exp_continue }
"password" { send “magedu\n" }
}
expect eofinteract用法：
[root@centos7-1 ]#cat expect2.sh
#!/usr/bin/expect 注意shebang机制中使用的是expect，而不是/bin/bash
spawn ssh 192.168.32.128
expect {
"yes/no" { send "yes\n";exp_continue }
"password" { send “magedu\n" }
}
interact
#expect eof变量用法：
[root@centos7-1 ]#cat expect3.sh
#!/usr/bin/expect 注意shebang机制中使用的是expect，而不是/bin/bash
set ip 192.168.32.128
set user root
set password magedu
set timeout 10
spawn ssh $user@$ip
expect {
"yes/no" { send "yes\n";exp_continue }
"password" { send "$password\n" }
}
interact位置参数用法：
[root@centos7-1 ]#cat expect4.sh
#!/usr/bin/expect 注意shebang机制中使用的是expect，而不是/bin/bash
set ip [lindex $argv 0]
set user [lindex $argv 1]
set password [lindex $argv 2]
spawn ssh $user@$ip
expect {
"yes/no" { send "yes\n";exp_continue }
"password" { send "$password\n" }
}
interact
[root@centos7-1 ]#./expect4.sh 192.168.32.128 root magedu执行多个命令：
[root@centos7-1 ]#cat expect5.sh
#!/usr/bin/expect 注意shebang机制中使用的是expect，而不是/bin/bash
set ip [lindex $argv 0]
set user [lindex $argv 1]
set password [lindex $argv 2]
set timeout 10
spawn ssh $user@$ip
expect {
"yes/no" { send "yes\n";exp_continue }
"password" { send "$password\n" }
}
expect "]#" { send "useradd haha\n" }
expect "]#" { send "echo magedu |passwd --stdin haha\n" }
send "exit\n"
expect eof
[root@centos7-1 ]#./expect5.sh 192.168.32.128 root magedu
注意：脚本中用户名为root，因此抓取的关键字为#，只有管理员用户，命令提示符为#，如果是普通用户，那么提示符为$符号shell脚本调用expect：
[root@centos7-1 ]#cat expect6.sh
#!/bin/bash
ip=$1
user=$2
password=$3
expect <set timeout 10
spawn ssh $user@$ip
expect {
"yes/no" { send "yes\n";exp_continue }
"password" { send "$password\n" }
}
expect "]#" { send "useradd hehe\n" }
expect "]#" { send "echo magedu |passwd --stdin hehe\n" }
expect "]#" { send "exit\n" }
expect eof
EOF
[root@centos7-1 ]#./expect6.sh 192.168.32.128 root magedu 在多台主机上同时增加用户：
先获取需要增加用户的主机ip地址(iplist.log)
在多台主机上增加用户(expect7.sh)
[root@centos7-1 ]#cat scanip.sh
#!/bin/bash
> /data/iplist.log
read -p "Please input the network:(eg:192.168.0.0): " net
net=`echo $net|cut -d. -f1-3`
for i in {1..254};do
{ if ping -c1 -W1 $net.$i &> /dev/null ;then
echo $net.$i is up
echo $net.$i >> /data/iplist.log
else
echo $net.$i is down
fi } &
done
wait
[root@centos7-1 ]#cat expect7.sh
#!/bin/bash
while read ip ;do
user=root
password=magedu
expect <set timeout 10
spawn ssh $user@$ip
expect {
"yes/no" { send "yes\n";exp_continue }
"password" { send "$password\n" }
}
expect "]#" { send "useradd xixi\n" }
expect "]#" { send "echo magedu |passwd --stdin xixi\n" }
expect "]#" { send "exit\n" }
expect eof
EOF
done < /data/iplist.log