免交互 、 字符处理与高级变量

一、多行重定向

Here Document  多行重定向

定义

        使用I/O重定向的方式将命令列表提供给交互式程序

        标准输入的一种替代品

        Here Document 是标准输 入的一种替代品，可以帮助脚本开发人员不必使用临时文件来构建输入信息，而是直接就地 生产出一个文件并用作命令的标准输入,Here Document 可以与非交互式程序和命令一起使用

语法格式：

命令  << 标记

....

......

标记

注意事项：

1. 标记可以使用任意的合法字符（通用的字符是EOF）

2. 结尾的标记一定要顶格写，前面不能有任何字符（包括空格）

3. 结尾的标记后面也不能有任何字符（包括空格）

4. 开头标记前后空格会被省略掉

5. 单引号 变量双引号 —

例一：

        使用 wc -l 命令后面直接跟文件名就可以统计文件内有多少行内容，将要统计的内容置于标记“EOF” 之间，直接将内容传给 wc -l 来统计。

[root@localhost opt]#vim 1.sh
#!/bin/bash
wc -l <统计行数

2. <

例二：

通常使用 read 命令接收用户的输入值时会有交互过程

[root@localhost ~]# read -p "请输入一个数字" ack
请输入一个数字8
[root@localhost ~]# echo $ack 
8



[root@localhost opt]#read a < 1122
> EOF
[root@localhost opt]#echo $a
1122

例三：

        使用 passwd命令设置密码

        EOF 标记之间的两行是输入的密码和确认密码，两行内容必须保持一致，否则密 码设置不成功。此脚本执行后不会输出任何信息，可另开一个终端使用 jerry 用户登录，输 入新修改的密码来验证密码是否修改正确

[root@localhost opt]#passwd zhangsan < 1234
> 1234
> EOF

注意密码的格式要求

例四：

编写yum仓库的内容

[root@localhost etc]#cat </etc/yum.repos.d/local.repo
> [local]
> name=local
> baseurl=file:///mnt
> gpgcheck=0
> EOF

[root@localhost etc]#cat /etc/yum.repos.d/local.repo 
[local]
name=local
baseurl=file:///mnt
gpgcheck=0

Here Document 变量设定

Here Document 也支持使用变量，如果标记之间有变量被使用，会先替换变量值。如 果想要将一些内容写入文件，除了常规的方法外，也可以使用 Here Document。如果写入 的内容中包含变量，在写入文件时要先将变量替换成实际值，在结合 cat 命令完成写入。

例一：

[root@localhost ~]# cat < hello
> world
> !!!
> EOF
hello
world
!!!


[root@localhost data]#cat >>/data/1 < 123
> asd
> zxc
> EOF
#把输入内容追加到/data/1文件中。
[root@localhost data]#cat 1
123
asd
zxc



#####可以使用变量

#!/bin/bash
file="gt.txt"
qa="school"

cat >$file <

例二：

在引用的变量上，加上 " " 完美引用

[root@localhost ~]# vim eof.sh
#!/bin/bash
var="today i will good study"
myvar=$(cat <

例三：

在标记符上加上  " "  表示不引用变量显示原来的意思

[root@localhost ~]# vim eof.sh
#!/bin/bash
var="today i will good study"
myvar=$(cat <<"EOF"            #这里EOF加了双引号
this is my day
$var
this is good day
EOF
)

echo "$myvar"



[root@localhost ~]# ./eof.sh 
this is my day
$var
this is good day
#可以看到变量未被引用，表示原来意思。

例四：

在标记符前加上 - 不显示tab键但是显示空格键

[root@localhost ~]# vim eof.sh

#!/bin/bash
var="today i will good study"
myvar=$(cat <<-EOF
        this is my day   #这里用的TAB
$var
   this is good day    #这里用的空格
EOF
)

echo "$myvar"


[root@localhost data]#bash eof.sh 
this is my day
today i will good study
   this is good day
#可以看到TAB了的行不显示。

例五：

前面加上冒号表示注册
:<

EOF

二、 expect 免交互

定义：

        是建立在 tcl（tool command language）语言基础上的一个工具，常被用于进行自动化控制和测试，解决shell脚本中交互的相关问题

你需要检查是否有 expect 和 tcl 软件包

rpm -q expect

rpm -q tcl

yum install -y expect     #yum安装expect

格式：

expect     [选项]     [ -c cmds ]     [ [ -[f|b] ] cmdfile ]     [ args ]

expect中相关命令

• spawn 启动新的进程（监控，捕捉）

spawn  passwd root

• expect 从进程接收字符串
• send 用于向进程发送字符串
• exp_continue 匹配多个字符串在执行动作后加此命令
• interact 允许用户交互
• expect  eof   结束符

例子：

[root@localhost data]#expect
expect1.1> expect "hi" {send "hello\n"}
hihisjs
hello
expect1.2> 
#只要屏幕上出现hi ，输出hello并换行。

要先安装expect

#####免交互，传输文件#####
[root@localhost data]#vim scp.exp
#!/usr/bin/expect
spawn scp /etc/fstab 192.168.91.101:/mnt
expect {
  "yes/no" { send "yes\n";exp_continue }
  "password" { send "123123\n" }
}

expect eof

[root@localhost data]#expect scp.exp    #注意使用expect运行这个脚本
spawn scp /etc/passwd 192.168.80.10:/mnt
The authenticity of host '192.168.80.10 (192.168.80.10)' can't be established.
ECDSA key fingerprint is SHA256:x3FGetAdEbA5tIBXXkLnxfIj3rVQz34pGBRZ1MH/X38.
ECDSA key fingerprint is MD5:cb:3f:b4:60:6c:b3:74:19:56:76:80:ea:7c:00:13:be.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.80.10' (ECDSA) to the list of known hosts.
[email protected]'s password: 
passwd                                         100% 2095     4.1MB/s   00:00    

基本命令介绍：

（1）脚本解释器

expect 脚本中首先引入文件，表明使用的事哪一种shell     

#！/usr/bin/expect

（2）spawn

spawn 后面通常跟一个Linux执行命令，表示开启一个会话、进程，并跟踪后续交互信息

例： spawn passwd root

（3）expect

判断上次输出结果中是否包含指定的字符串，如果有则立即返回，否则就等待超时时间后返回；只能捕捉有swpan启动的进程输出；

用于接受命令执行后的输出，然后和期望的字符串匹配

（4）send

向进程发送字符串，用于模拟用户的输入：该命令不能自动回车换行，一般要加 \r (回车) 或者\ n 

expect 书写方式：

方式一：
expect "密码" {send "abc123\r"}     #同一行send部分要有{}

方式二：
expect "密码"  
send "abc123\r"                    # 换行send部分不需要有{}


方式三：
expect 支持多个分支
expect          #只要匹配了其中一个情况，执行相应的send 语句后退出该expect 语句
只匹配一次
expect
{
{"密码1"  {send "abc123\r"}
{"密码2"  {send "123123\r"}
{"密码3"  {send "123456\r"}
}

#这里 \r \n 都是回车

(5)  结束符

expect    eof

        表示交互结束，等待执行结束，退回到原用户，与spawn对应

        比如切换到root用户，expect   脚本默认的等待时间是10s，当执行王命令后，默认停留10s后，自动切回原用户.

interact

        执行完成后保持交互状态, 把控制权交给控制台，会停留在目标终端而不是退回到原终端，这时候就可以手工操作了，interact后命令不再起作用，比如interact后添加exit，并不会退出root用户。而如果没有interact则登录完成后会退出，而不是留在远程终端上。

        使用interact会保持在终端而不会退回原终端，比如切换到root用户，会一直在root用户状态下；比如ssh到另一台服务器，会一直在目标服务器终端而不会切回原服务器。

需要注意的是，expect eof 与 interact 只能二选一。

（6）set

expect 默认的超时时间是10秒，通过set 命令可以设置会话超时时间，若不限制超时时间则应设置为-1

例子： set time out 30

(7) exp_continue

exp_continue 表示允许 expect 继续向下执行指令.

exp_continue附加于某个expect 判断选项之后，可以是该项被匹配后还能继续匹配expect 判断语句内的其他项。exp_continue类似于控制语句的continue语句。表示允许expect继续向下执行命令。

例如： 

expect 

{ 

"(yes/no)"    {send "yes\r";exp_continue；} 

"password"    {set timeout 300; send "abc123\r"} 

}

注意：使用 exp_continue 时，如果跟踪像passwd这样输入密码后就结束进程的命令，expect {}外不要加上expect  eof 因为spawn进程结束后会默认向expect 发送eof，会导致后面的expect  eof执行报错

（8）send_user 

表示回显命令与echo相同

（9）接收参数（位置变量）

expect 脚本可以接受从bash命令行传递参数，或使用  [lindex $argv n]获得。其中你从0开始，分别表示第一个，第二个，第三个.....参数

例子：

set hostname  [lindex $argv 0]     相当于hostname=$1

set password [lindex $argv 1]        相当于passswd=$2

expect直接执行，需要expect命令去执行脚本

远程拷贝

[root@localhost data]#vim kaobei.exp

#!/usr/bin/expect
spawn scp /etc/passwd 192.168.80.10:/data
expect {
  "yes/no" {send "yes\n";exp_continue}
  "password"  {send "123\n"}
}
expect eof

[root@localhost data]#expect kaobei.exp

ssh远程连接

[root@localhost data]#vim ssh.exp

#!/usr/bin/expect
spawn ssh 192.168.80.10
expect {
   "yes/no"  {send "yes\n";exp_continue}
   "password" {send "123\n"}

}
interact
#执行完成后保持交互状态

[root@localhost data]#expect ssh.exp

变量

[root@localhost data]#vim ssh.exp

#!/usr/bin/expect
set user root
set ip 192.168.80.10
set pw 123

set timeout 10
#设置超时时间

spawn ssh $user@$ip
expect {
   "yes/no"  {send "yes\n";exp_continue}
   "password" {send "$pw\n"}

}
interact
#执行完成后保持交互状态

[root@localhost data]#expect ssh.exp

接收参数（位置变量）

远程ssh脚本

[root@localhost data]#vim ssh2.exp

#!/usr/bin/expect
set timeout 10

set hostname [lindex $argv 0]
#相当于hostname=$1
set ip [lindex $argv 1]
#相当于ip=$2
set password [lindex $argv 2]
#相当于password=$3

spawn ssh $hostname@$ip
expect {
  "Connection refused" exit
  "No route to host"  exit
  "yes/no" {send "yes\n";exp_continue}
  "password" {send "$password\n"}
}
interact

[root@localhost data]#expect ssh2.exp root 192.168.80.10 123
                                     用户名   IP地址      密码

切换用户脚本

[root@localhost data]#su - w
上一次登录：四 2月  1 14:28:59 CST 2024pts/1 上
[w@localhost ~]$ 
[w@localhost ~]$ vim su.exp
[w@localhost ~]$ expect su.exp root 123
spawn su root
密码：
[root@localhost w]#hello root!
#这里 当前目录 出现 w 是因为没有完全切换用户。

#!/usr/bin/expect
set timeout 5
#设置超时时间

set name [lindex $argv 0]
set pd [lindex $argv 1]

spawn su $name
#可以写成 su - $name 完全切换用户。

expect {
  "密码：" {send "$pd\n"}
}

expect {
  "*]#"  {send_user "hello root!"}
  #这里 * 的意思是字符出现0到无数次且以]#结尾，只要屏幕上出现这种情况就回显hello root！（跟echo相同）
}
interact

使用bash 编写 expect脚本

[root@localhost data]#vim ssh3.sh

#!/bin/bash
name=$1
ip=$2
pw=$3

/usr/bin/expect <  mtu 1500
        inet 192.168.80.10  netmask 255.255.255.0  broadcast 192.168.80.255
        inet6 fe80::8a14:98:a26f:9ab6  prefixlen 64  scopeid 0x20
        ether 00:0c:29:70:48:93  txqueuelen 1000  (Ethernet)
        RX packets 114990  bytes 7674276 (7.3 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 20470  bytes 6147335 (5.8 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@localhost ~]#exit
登出
Connection to 192.168.80.10 closed.

如何对两台主机进行操作？

#!/bin/bash
net=192.168.80.
pw=123
iplist="
10
11
"

for i in $iplist
do
{
  ip=$net$i

/usr/bin/expect <

三、字符处理

字符串切片

3.1 基于偏移变量取字符

一、取字符串长度

${#var}
#返回字符串变量var的字符的长度,一个汉字算一个字符

例子：

[root@localhost ~]#str=abc123你好
#定义变量
[root@localhost ~]#echo ${#str}
#使用 字符公式取长度
8

[root@localhost ~]#echo {a..z}
a b c d e f g h i j k l m n o p q r s t u v w x y z
[root@localhost ~]#echo {a..z}|tr -d " "
abcdefghijklmnopqrstuvwxyz
[root@localhost ~]#str=`echo {a..z}|tr -d " "`
[root@localhost ~]#echo $str
abcdefghijklmnopqrstuvwxyz
[root@localhost ~]#echo ${#str}
26


数组：
[root@localhost ~]#a=(a b c v)
[root@localhost ~]#echo ${#a[*]}
4

跳过左边的字符

${var:offset}
#返回字符串变量var中从第offset个字符后（不包括第offset个字符）的字符开始，到最后的部分，offset的取值在0 到 ${#var}-1 之间(bash4.2后，允许为负值)
${var:offset:number}
#返回字符串变量var中从第offset个字符后（不包括第offset个字符）的字符开始，长度为number的部分

例子：

[root@localhost ~]#str=`echo {a..z}|tr -d " "`
[root@localhost ~]#echo $str
abcdefghijklmnopqrstuvwxyz


[root@localhost ~]#echo ${str:2}
#跳过最左边的两个字符  跳过ab
cdefghijklmnopqrstuvwxyz


[root@localhost ~]#echo ${str:2:3}
#跳过前两个， 往后取三个
cde


[root@localhost ~]#echo ${str:0:2}
#取前两个字符
ab

取字符串右边的字符

${var: -length}
#取字符串的最右侧几个字符,取字符串的最右侧几个字符, 注意：冒号后必须有一空白字符

例子：

[root@localhost ~]#echo ${str}
abcdefghijklmnopqrstuvwxyz
[root@localhost ~]#echo ${str:-3}
#不加  空格没有任何变化
abcdefghijklmnopqrstuvwxyz

[root@localhost ~]#echo ${str: -3}
#取字符串右边的  三个字符
xyz

掐头去尾

${var:offset:-length}
#从最左侧跳过offset字符，一直向右取到距离最右侧lengh个字符之前的内容,即:掐头去尾

例子：

[root@localhost ~]#echo ${str:2: -3}
cdefghijklmnopqrstuvw
#跳过前两个字符且跳过倒数三个字符

取倒数的范围

${var: -length:-offset}
#先从最右侧向左取到length个字符开始，再向右取到距离最右侧offset个字符之间的内容,注意：-length前空格,并且length必须大于offset

例子：

[root@localhost ~]#echo ${str: -6}
uvwxyz
[root@localhost ~]#echo ${str: -6: -1}
uvwxy
#倒数6个 到 倒数 1个。



[root@localhost ~]#echo ${str: -3:1}
x
#取字符串右边三个字符 后 取一个字符

3.2基于模式取子串

删左留右

${var#*word}
#其中word可以是指定的任意字符,自左而右，查找var变量所存储的字符串中，第一次出现的word, 删除字符串开头至第一次出现word字符串（含）之间的所有字符,即懒惰模式,以第一个word为界删左留右

#同上，贪婪模式，不同的是，删除的是字符串开头至最后一次由word指定的字符之间的所有内容,即贪婪模
式,以最后一个word为界删左留右
${var##*word}

例子：

懒惰模式：
[root@localhost ~]#url="http://www.baidu.com/index.html"
[root@localhost ~]#echo ${url#*/}
#从左边开始匹配，遇到/  就把/左边的都删除包括 /  本身
/www.baidu.com/index.html


[root@localhost ~]#url="http://www,baidu.com:8080/index.html"
[root@localhost ~]#echo ${url#*:}
//www,baidu.com:8080/index.html



贪婪模式：
[root@localhost data]#url="http://www.baidu.com/index.html"
[root@localhost data]#
[root@localhost data]#echo ${url##*/}
index.html
#从左边开始匹配 到最后一个 / 并把左边的都删除包括 /  本身

[root@localhost data]#echo ${url##*.}
html
#从左边开始匹配 到最后一个 . 并把左边的都删除包括 .  本身

删右留左

${var%word*}
#其中word可以是指定的任意字符,功能：自右而左，查找var变量所存储的字符串中，第一次出现的word, 删除字符串最后一个字符向左至第一次出现word字符串（含）之间的所有字符,即懒惰模式,以从右向左的第一个word为界删右留左

${var%%word*}
#同上，只不过删除字符串最右侧的字符向左至最后一次出现word字符之间的所有字符,即贪婪模式,以从右向左的最后一个word为界删右留左

例子：

懒惰模式：

[root@localhost ~]#echo $url
http://www.baidu.com:8080/index.html
[root@localhost ~]#echo ${url%:*}
#懒惰模式， 遇到  ：  会把右边删除留下左边
http://www.baidu.com



贪婪模式：

[root@localhost ~]#echo ${url%%:*}
#贪婪模式， 会一直找到所有的  ：  会把左边删除留下右边
http

3.3 查找替换

${var/pattern/substr}
${变量/搜索的字符串/修改的字符串}
#查找var所表示的字符串中，第一次被pattern所匹配到的字符串，以substr替换之

${var//pattern/substr}
#查找var所表示的字符串中，所有能被pattern所匹配到的字符串，以substr替换之

${var/#pattern/substr}
#查找var所表示的字符串中，行首被pattern所匹配到的字符串，以substr替换之
#  在 此处  #代表开头

${var/%pattern/substr}
#查找var所表示的字符串中，行尾被pattern所匹配到的字符串，以substr替换之
# 在此处  % 代表结尾

例子：

[root@localhost data]#url=http://www,baidu.com:8080/index.html

[root@localhost data]#echo ${url/http/https}
https://www,baidu.com:8080/index.html
#把 http换成  https

[root@localhost data]#echo ${url}
http://www,baidu.com:8080/index.html
#只是改变显示，内容没变。


[root@localhost ~]#echo ${url/:/+}
http+//www.baidu.com:8080/index.html
[root@localhost ~]#echo ${url//:/+}
#把所有的冒号换成加号
http+//www.baidu.com+8080/index.html




[root@localhost ~]#echo ${user/#lisi/ls}
ls:x:1003:1003::/home/lisi:/bin/bash
#开头的lisi换成ls

[root@localhost ~]#echo ${user/%bash/nologin}
lisi:x:1003:1003::/home/lisi:/bin/nologin
#结尾的bash 换成nologin

3.4 查找并删除

${var/pattern}
#删除var表示的字符串中第一次被pattern匹配到的字符串

${var//pattern}
删除var表示的字符串中所有被pattern匹配到的字符串

${var/#pattern}
删除var表示的字符串中所有以pattern为行首匹配到的字符串

${var/%pattern}
删除var所表示的字符串中所有以pattern为行尾所匹配到的字符串

例子：

[root@localhost data]#useradd lisi
[root@localhost ~]#user=`getent passwd lisi`


[root@localhost ~]#echo ${user}
lisi:x:1003:1003::/home/lisi:/bin/bash

[root@localhost ~]#echo ${user/lisi/}
#没有换的就是  删除
:x:1003:1003::/home/lisi:/bin/bash

3.5 大小写转换
 

${var^^}
#把var中的所有小写字母转换为大写

${var,,}
#把var中的所有大写字母转换为小写

例子：

[root@localhost data]#zxc=ABCDasdf
[root@localhost data]#echo ${zxc^^}
ABCDASDF
[root@localhost data]#echo ${zxc,,}
abcdasdf
[root@localhost data]#echo ${zxc}
ABCDasdf

四、高级变量

4.1 高级变量赋值

变量配置方式	str没有配置	str为空字符串	str已配置非为空字符串
var=${str-expr}	var=expr	var=	var=$str
var=${str:-expr}	var=expr	var=expr	var=$str
var=${str+expr}	var=	var=expr	var=expr
var=${str:+expr}	var=	var=	var=expr
var=${str=expr}	str=expr var=expr	str=不变 var=	str 不变 var=$str
var=${str:=expr}	str=expr var=expr	str=expr var=expr	str 不变 var=$str
var=${str?expr}	expr 输出至 stderr	var=	var=$str
var=${str:?expr}	expr 输出至 stderr	expr 输出至 stderr	var=$str

例子：

[root@localhost ~]#unset str   #使str为没有配置状态
[root@localhost ~]#var=${str-expr}
[root@localhost ~]#echo $var
expr
#var=expr


[root@localhost ~]#str=" "   #使str为空字符串
[root@localhost ~]#var=${str-expr}
[root@localhost ~]#echo $var

[root@localhost ~]#
#var=



[root@localhost ~]#str=asa      #使str为已配置状态（不是空字符串）
[root@localhost ~]#var=${str-expr}
[root@localhost ~]#echo $var
asa
#var=$str

4.2 变量的间接引用

        eval命令

        eval命令将会首先扫描命令行进行所有的置换，然后再执行该命令。该命令适用于那些一次扫描无法实现其功能的变量,该命令对变量进行两次扫描

        例子：

[root@localhost ~]#n=10
[root@localhost ~]#echo {1..$n}
{1..10}

#这是因为 在输出时只扫描了一次$n，{1..10}未被扫描，所以输出的时{1..10}


[root@localhost ~]#eval echo {1..$n}
1 2 3 4 5 6 7 8 9 10



[root@localhost ~]#i=a
[root@localhost ~]#j=1
[root@localhost ~]#$i$j=hello
bash: a1=hello: 未找到命令...

[root@localhost ~]#eval $i$j=hello   #相当于a1=hello
[root@localhost ~]#echo $a1
hello