[TOC]
认识 Shell
什么是 Shell
Shell 是命令解释器, 将命令解释给内核来执行, 它是用户和内核之间的中间层.
用户
Shell
内核查看所有的shell类型
cat /etc/shells
/bin/sh
/bin/bash # 基于 bsh 的加强重构版, 是 CentOS 7 和 Ubuntu 的默认 Shell
/usr/bin/sh
/usr/bin/bash
/bin/tcsh
/bin/cshLinux 的启动过程
启动顺序从上至下
BIOS 基本的输入输出系统
|
MBR 硬盘的主引导部分(前446字节是主引导记录, 前512除了主引导记录还包括磁盘分区表)
|
BootLoader(grub) 启动和引导内核的工具, 目前使用的是 /boot/grub2
|
kernel 内核
CentOS 7 | CentOS 6
/ \
systemd init 1号进程(在CentOS 6中是 /usr/sbin/init 进程, CentOS 7则是 /usr/lib/systemd/systemd )
| |
系统初始化 由shell脚本完成引导 CentOS 7 中有一部分是由systemd配置, 应用程序引导. 系统初始化仍是由shell脚本完成.
|
shellCentOS 6 在 init 后面的引导会和CentOS 7有略微的差异.
在CentOS 6 中, init 的引导步骤
/etc/rc.d/rc.sysinit系统初始化工作- 等待用户终端接入
在CentOS 7中, systemd 的步骤
/etc/systemd/system读取启动级别/usr/lib/systemd/system读取各个service
# 导出主引导记录
dd if=/dev/sda of=mbr.bin bs=446 count=1
hexdump -C mbr.bin # 查看主引导记录
# 导出主引导记录和磁盘所有分区表
dd if=/dev/sda of=mbr2.bin bs=512 count=1
hexdump -C mbr2.bin # 最后面以 55aa 结尾表示可引导如何编写shell脚本
标准的 Shell 脚本要包含的元素
- Sha-Bang
首行的
#!开头的部分文本文件首行添加
#!/bin/bash可以在以./脚本.sh这种方式执行脚本时声明当前是bash脚本, 系统会自行选择对应的 shell 来执行, 若是以bash 脚本.sh则会被视为注释. #开头的视为注释- 脚本执行权限, 若是二进制可执行文件只需要
x, 若是文本文件则需要rx - 通常约定bash脚本的扩展名为
.sh - 在一行中可使用
;分隔多条命令, 会依次按顺序逐个执行命令, 只有在前一个命令执行完才会执行后一个命令.
确保脚本执行错误时马上退出
可在脚本开头设置: set -e , 从而告知 bash, 若有任何语句执行失败, 就直接退出脚本, 防止错误像滚雪球般变大.
此时
$? 无法使用
若在 set -e 模式下为了确保某些语句失败不退出脚本, 可采用如下方式
# 方法1
command || { echo "command failed"; exit 1; }
# 方法2
if ! command; then
echo "command failed"
exit 1
fi关于 set 更多参见 set 命令
shell 脚本执行方式
执行命令的4种方式
bash file.sh会在当前终端下产生一个 bash 子进程, 再由该子进程去执行该脚本.
这种方式无需赋予脚本执行权限
./file.sh同样会在当前终端下产生一个子进程, 会根据脚本的 Sha-Bang(即第一行的
#!/path/to/bash) 来解释该脚本.比如python脚本第一行是
#!/usr/bin/python需要 赋予脚本执行权限
source file.sh在当前进程执行该脚本, 脚本中的操作会影响当前环境.
这种方式同样无需赋予脚本执行权限.
由于是在当前进程执行, 因此操作会影响当前进程, eg 脚本中的
cd /tmp同样会改变当前环境的工作目录.. file.sh.是source的缩写, 等价于source file.sh
补充
exec使用
command进程替换当前进程, PID 不变, command 执行完后直接退出.
内建命令和外部命令的区别
内建命令
- 不需要创建子进程
- 对当前 Shell 生效
比如
cd 是内建命令, 执行时会切到当前 Shell 的工作目录
shell 选项
shopt 命令
查看/设置shell选项
shopt [选项] [<选项名>]
示例
shopt # 查看所有选项及其值
shopt <选项名> # 查看指定选项的值
选项
-s set, 设置值为 on
-u unset, 设置值为 off
部分重要选项
login_shell # 指示当前是 login shell 还是 non-login shell实用示例
获取当前脚本所在目录
# 将当前目录保存到变量 PWD 中(注意命令)
PWD="$(cd $(dirname ${BASH_SOURCE[0]}) && pwd -P)"BASH_SOURCE 变量是一个数组, 其第一个参数是当前脚本名
若使用source来执行脚本时, 参数$0的值是父脚本的名字, 而不是当前脚本的名字.
打印消息时带日期时间
log() {
echo $(date "+%Y-%m-%d %H:%M:%S")" "$*
}
log "lala"管道与重定向
一个进程默认会打开标准输入、标准输出、标准错误三个文件描述符.
- 标准输入默认是由终端输入
- 标准输出和标准错误默认是输出到终端
管道与管道符 |
管道和信号都是进程通信的方式之一.
匿名管道(管道符 | )是 Shell变成经常用到的通信工具.
管道符 | , 将前一个命令执行的结果传递给后面的命令.
- 管道实际上是将不同的进程的标准输出和标准输入做一个连接.
- 将前一个命令的 标准输出 连接到下一个命令的 标准输入
管道符是通过创建子进程的方式来运行的
子进程如果是一个 shell, 则称之为 子shell.
在有管道符的命令中运行内建命令其实是在新的子shell中执行的, 不会影响当前shell环境, 这个需要理解好.
因此一般避免在管道符中使用内建命令
- 如果连接的是外部命令, 则会按顺序同时建立多个子进程来分别执行外部命令, 同时按顺序连接各个标准输出和标准输入
示例
ps | cat echo 123 | ps示例
cat子进程的标准输出(1)重定向至匿名管道(463978), 而less的标准输入(0)重定向至同一个匿名管道(463978), 也就是cat的标准输出通过匿名管道连接重定向至less的标准输入.
注意管道符和分号的区别:
- 分号隔开的多条命令是没有任何关系的, 且每次只会执行一条, 执行完后才会继续下一条.
- 管道符隔开的多条命令是具有输入输出重定向关系的, 会几乎同时启动(实际顺序是从做到右), 其中执行的命令(包括内建命令)都是在新的子进程中执行, 而不是在当前shell中执行.
返回码
正常可以使用$?获取上一条命令的执行结果状态码(0 正常, 非0异常)但是若是在执行一条管道后使用
$?获取的只是管道最后一个指令执行返回的状态码
$PIPESTATUS 变量类似 $?, 但它保存的是管道中每个命令的返回码
${PIPESTATUS[0]}表示管道中第一个命令的返回码- 若上一条命令不是管道, 同样会更新
`$PIPESTATUS值
参考: https://www.cnblogs.com/suane...
重定向符号
重定向符号实际上是将进程的标准输入和标准输出与文件建立连接.
- 利用文件代替终端输入
- 利用文件代替终端输出
所有重定向符号包括
输入重定向
<<<<"EOF"不转义特殊字符<<'EOF'不转义特殊字符
输出重定向
语法 [<文件描述符=1>]<重定向符号> 参数解释 <文件描述符> 1 标准输出(不写则默认) 2 标准错误 & 标准输出和标准输出 <重定向符号> > 清空并写入 >> 追加写入 示例 &>> # 将标准输出和标准错误重定向至文件, 并追加写入 1>1.txt 2>>2.txt # 将标准输出重定向至 1.txt 文件并清空该文件后写入. 同时将标准错误重定向至 2.txt 文件并追加写入. # 组合使用输入和输出重定向(转义内容, 其中的变量会被替换, `whoami` 命令会被执行并替换) cat > /path/to/file <> /var/spool/cron/root <<'EOF'
EOF
### 使用输入重定向来代替标准输入
输入重定向
read <变量名> <
EOF
从文件输入重定向
echo 123 > tmp.txt
read <变量名> < /tmp.txt
> 不能使用管道, 因为管道里的命令是在新的进程中执行, 读取的变量无法影响当前环境
>
> ```sh
> # 无效
> echo "123" | read <变量名>
> ```
>
>
## xargs 命令
从标准输入构建并执行命令行
- 适用于待执行命令只能从参数中而不是标准输入读取值的情况
xargs [选项]
选项
分隔符
-d # 定义输入分隔符, 默认是空白和换行
--null, -0 # 以 null 作为分隔符, 常搭配使用(文件名可能有空格, 反斜杠等) `find -print0 | xargs -0`
分割成多个命令并分别执行
-n # 将最多 个参数用于构建一个命令行
-L # 如果标准输入包含多行，-L参数指定多少行作为一个命令行参数(分别执行多次命令). 一般更常用 -n
-I <替换符> # 使用-I指定一个替换字符串，这个字符串在xargs扩展时会被替换掉，当-I与xargs结合使用，每一个参数命令都会被执行一次
--interactive, -p # 逐个命令确认是否执行, 只有回复 y 或 Y 开头的才会执行, 否则略过
--verbose, -t # 在执行之前在标准错误输出显示待执行的命令
--max-procs # 最多同时运行多少个进程, 默认是 1, 如果是 0 则表示不限制. 可与 -n 配合, 避免只执行一次 exec
用法
<前一个命令> | xargs # 通过管道符重新构建待执行命令
xargs # 由用户手动输入(Ctrl+D 结束输入), 并构建待执行命令
示例: echo, rm, mkdir, ls 等命令
# 简单的 echo 示例
echo 123 | xargs echo
# 使用每2个参数执行一次命令
echo {0..9} | xargs -n 2 echo
# echo 执行了3次(以下几种等效)
echo -e "a\nb\nc" | xargs -L 1 echo
echo -e "a\nb\nc" | xargs -n 1 echo
echo "a b c" | xargs -n 1 echo
# 找出所有 TXT 文件以后，对每个文件搜索一次是否包含字符串abc。
find . -name "*.txt" -print0 | xargs -0 grep "abc"
# 变量
## 变量定义
Shell 的变量不区分类型
命名规则
- 字母、数字、下划线
- 不以数字开头
## 变量赋值
### read 命令
交互方式
通过标准输入读取变量值
read [选项] 变量名
选项
-a # array assign the words read to sequential indices of the array
# variable ARRAY, starting at zero
-p # 在读取变量前, 打印一个提示文本(不换行)
-r # 不解析反斜杠, 即读入原始值(正常使用时推荐)
> 写Shell脚本时一边会避免用交互式来给变量复制, 除非是有必要.
*持续读取管道中的数据*
seq 1 10 | while read line; do echo $line; done;
### 非交互方式
注意: `=` 相邻的左右两侧不允许出现空格.
**字符串赋值**
变量名=变量值
eg.
a=123
> 等号的左右不允许出现空格
>
> 变量值包含空格时, 需要用 `""` 或 `''` 包含起来
>
> 单引号, 双引号的区别:
>
> - 单引号: 不会对变量值中的引用命令、引用变量、转义字符等进行解析。
> - 双引号： 会解析变量中的引用命令、引用变量、转义字符， 再将解析后的值赋值给变量名
**数学表达式赋值**
let 变量名=变量值
示例
let a=10+20 # a 的值是 30
> 变量值只能是数学表达式
>
> 由于 Shell 的计算性能较差, 一般不怎么用来计算
**将命令赋值给变量**
变量名="命令"
如果变量的值是可执行命令, 则可直接使用 $<变量名> 来执行命令.
但如果要将运行结果赋值给另一个变量, 则需配合 $ 或 `
示例
直接执行变量值
l="ls -hl"; $l # 此时等价执行了 ls -hl
将变量值执行结果赋值给另一个变量
cmd="uptime"; result=$($cmd) # 将 uptime 运行后的结果赋值给 result 变量
cmd="uptime"; result=`$cmd` # 同上
> 常用于拼接命令后再执行
**将命令结果赋值给变量**
变量名=$(命令)
变量名=命令
示例
current=`pwd`
current=$(pwd)
## 变量的引用
- `${变量名}` 表示对变量的引用
- `echo ${变量名}` 查看变量的值
- `${变量名}` 在部分情况下可以省略为 `$变量名`
> 部分清空指: 在变量名后面紧跟其他字符时
- `${!变量名}` 对变量的引用的引用
t1=t2
t2="i am t2"
echo $t1 # 输出 "t2"
echo ${!t1} # 输出 "i am t2"
## 变量的作用范围
变量的作用范围默认只在当前Shell中, 其父、子、平行 Shell 都是不可见的.
> 如果想要某个脚本中定义的变量在当前Shell生效, 则有两种方法:
>
> - 在当前shell中执行 `source 脚本.sh` 或 `. 脚本.sh`
> -
**变量的导出 export**
在父进程中执行 export, 从而让子进程能够获取父进程中的变量.
export 变量名[=变量值]
> 在子进程中对父进程的变量名修改在父进程是不感知的(无效), 但是在子孙进程是有效的.
**删除变量 unset**
删除变量
unset 变量名
## 系统环境变量
### 临时设置环境变量
环境变量指的是: 每个 Shell 打开都可以获得到的变量.
> 环境变量都是经过 export 的, 因此对其修改会影响到子进程.
若只是想临时修改某个环境变量来执行某个程序, 那么可以方便地类似如下所示:
<环境变量名>=<环境变量值> <命令>
示例
LANG=c man iptables # 查看英文版本的man帮助
### 部分变量解释
#### 环境变量
**很重要**
PATH # 当前命令的搜索路径, 用 : 分隔. 可以用如下方式新增命令搜索路径
# PATH=$PATH:/path/to/bin
PS1 # 当前终端提示文本
**知道即可**
USER # 当前用户名
UID # 当前用户id
#### 预定义变量
$? # 上一条命令是否正确执行, 0 表示正确, 1 表示有出错.
$$ # 当前进程号
$0 # 所属进程的进程名, 而不是脚本名!!! 这个概念不一样
# 如果用 bash 方式来执行脚本则该值是脚本名, 如果用 source的方式则该值是父进程的进程名.
# 这个联系之前的脚本执行方式很容易理解
$LINENO # shell脚本当前的行号
> `$?` 常用于判定上一条命令是否正确执行, 从而实现脚本自动化处理异常.
#### 位置变量
$* # 脚本执行的所有参数
$@ # 脚本执行的所有参数
$# # 参数个数
$1 # 第1个参数
...
$9
${10} # 第10个参数, 此时不能省略大括号
`$*` 与 `$@` 不同之处在于用双引号括起来时行为不一样
当传入参数为 a b c 时
"$*" # "a b c"
"$@" # 'a' 'b' 'c
### env 命令
查看当前的所有变量(包括环境变量)
env
### set 命令
修改shell环境运行参数
set # 显示所有环境变量和Shell环境参数
set [参数] [-o option-name] [arg ...] # 设置shell环境参数
选项
-u # 使用到不存在的变量时报错(unbound variable)并终止脚本(默认忽略), 等价 -o nounset
-x # 打开回显, 每个命令执行的时候会输出所执行的命令, 方便调试复杂脚本(默认不打开), 等价 -o xtrace
-e # 命令运行失败时退出脚本, 防止错误累计, 实际开发建议打开(默认忽略), 等价 -o xtrace
# 注意不适用于管道(除非是在管道的最后一个子命令)
+e # 适用于临时关闭 `-e`
-o pipefail # 管道中任意一个子命令失败都退出脚本(默认不会, 即使打开 -e)
常用写法
set -euxo pipefail
set -eux -o pipefail
也可以在执行 bash 脚本时从命令行传入:
bash -euxo pipefail script.sh
`set` 部分参考: http://www.ruanyifeng.com/blog/2017/11/bash-set.html
#### set -e
开启 `set -e` 后若部分语句允许失败(或失败后需要执行其他逻辑), 则可采用如下写法
写法1
command || true
command || { echo "fail"; }
写法2
if !command; then
:fi
写法3
set +e # 临时取消 -e
do something
set -e # 恢复 -e
### 环境变量配置文件
配置文件
- `/etc/profile`
- `/etc/profile.d/*`
- `~/.bash_profile`
- `~/.bashrc`
- `/etc/bashrc`
#### 从存储位置划分:
- `/etc/` 下的配置是所有用户通用
- `~/` 下的配置是仅个人有效
#### 从文件类型划分:
- `profile`
配置环境变量
- `bashrc`
别名及函数定义
#### 根据 login 和 no-longin shell 划分
用户在登录时分为以下两种 Shell
可以通过如下命令查看当前属于哪种
shopt login_shell # on 表示 login shell, off 表示 non-login shell
**login shell**
- 包括: `su - `
- 会加载 `profile` 和 `bashrc` 类文件.
- 加载顺序如下
su - root
loading /etc/profile
loaded /etc/profile
loading ~/.bash_profile
loading ~/.bash_rc
loading /etc/bashrc
loaded /etc/bashrc
loaded ~/.bash_rc
loaded ~/.bash_profile
graph TB
1(/etc/profile) --步骤 1--> 1
2(/root/.bash-profile) --步骤 2--> 3
3(/root/.bash-rc) --步骤 3--> 4
4(/etc/bashrc) --步骤4--> 3
3 --步骤5--> 2
> 上述图中
>
> 由于 `~` 会被转义, 因此用具体的 `/root/` 替代
>
> 由于 `_` 显示不出来, 因此用 `-` 替代
**no-login shell**
- 包括: `su` 不加减号
- 仅 `bashrc` 类的文件会被加载到.
- 何时开始加载: 当运行 `bash`时
- 加载顺序如下:
su root
loading ~/.bash_rc
loading /etc/bashrc
loaded /etc/bashrc
loaded ~/.bashrc
- 这种方式配置加载是不完全, 和正常登录环境不i一样, 因此一般不建议使用.
### /etc/profile
系统启动和终端启动时的系统环境初始化
### /etc/bashrc
函数和命令别名
## 字符串处理
变量默认值相关
不改变原变量值
${变量名-默认值} # 变量未定义, 使用默认值
${变量名:-默认值} # 变量为空时, 使用默认值. 为空包括未定义或空(只包含一个空格的不失为空)
${变量名:+默认值} # 变量不为空时, 使用默认值
改变原变量
${变量名=默认值} # 变量未定义, 使用默认值, 同时修改原变量
${变量名:=默认值} # 变量为空时, 使用默认值, 同时修改原变量
直接报错
${变量名:?提示文本} # 变量为空时提示报错
字符串操作
${#变量名} # 字符串长度
${变量名:pos:length} # 从位置 pos(下标从0开始)开始提取字串 length 个字符.
# pos 可省略, 默认为0
# length 可省略, 默认为到字符串结尾
${变量名#substring} # 前缀匹配, 删除匹配的字串(非贪婪模式)
# substring 要删除的字串, 支持"通配符"${变量名##substring} # 贪婪模式
${变量名%substring} # 后缀匹配, 删除匹配的字串(非贪婪模式)
${变量名%%substring} # 贪婪模式
${变量名/substring/replace} # 匹配所有, 并替换第一个匹配
${变量名//substring/replace} # 匹配所有, 并替换所有
${变量名/#substring/replace} # 前缀匹配, 并替换
${变量名/%substring/replace} # 后缀匹配, 并替换
> 上述的匹配是 "通配符" 匹配模式
更多可参考: https://linuxeye.com/390.html
## 数组
**定义数组**
数组名=( 元素1 元素2 元素3)
注意
元素之间用空格间隔开, 若元素本身含有空格, 则需要使用引号包含.
() 内的相邻位置不限制是否有空格
显示数组
打印第一个元素
echo $数组名
打印数组所有元素
echo ${数组名[@]}
显示数组元素个数
echo ${#数组名[@]}
显示数组第一个元素
echo $数组名
显示数组某个元素
echo ${数组名[n]} # 此处n表示元素下标, 从0开始
示例
cmdList=(
A1
A2
A3
)
for i in "${cmdList[@]}"; do
if $i; then
echo "success"
else
echo "error with code: $?"
fidone
# 特殊符号
## 其他字符
- `#` 注释符
- `;` 命令分隔符
- `;;` case 语句使用的分隔符
> 在一行中连接多条命令, 每个命令在前一个命令执行完后执行.
>
> 前一个任务的执行结果不会影响后续任务.
- `:` 空指令(什么都不做)
可用于循环中作为一个占位符, `:` 永远返回真(即 0).
> 因为在循环中都没有执行语句是会报错的.
- `,` 分隔目录
> `cp 123{txt,log}` 执行效果 `cp 123.txt 123.log`
- `?` 条件测试
- `$` 取值符号
> ```sh
> echo $(命令) # 取运行结果的值
>
> echo ${变量名} # 取变量的值
> echo ${#变量名} # 取变量长度
>
> echo ${变量名[@]} # 取数组的值
> echo ${#变量名[@]} # 取数组的长度
>
> echo ${!变量名} # 取变量名的值所对应的变量值. 即间接取值.
> # x=y; y=z; echo ${!x} # 结果是 z
> ```
- `|` 管道符
- `&` 后台运行
- shell 下专用
- `.` 等价于 source 命令
- `~` home 目录
- `-` 上一次目录
`cd -`
- `*` 通配符(任意字符)
- `?` 通配符(1个任意字符)
- ` ` 空格
## 转义
- 普通字符转义赋予不同功能
`\n`, `\t`, `\r` 单个字母的转义
- 特殊字符转义成普通字符用
`\$`, `\"`, `\'` `\\` 单个非字母的转义(即不转义)
## 引用
- `"` 双引号: **不完全引用**
不完全引用, 会解释双引号其中的变量.
a="$SHELL" # 值为 /bin/bash
- `'` 单引号: **完全引用**
完全引用(RAW), 不解释其中的变量.
a='$SHELL' # 值为 $SHELL
- `` ` 反引号: **执行命令**
等价 `$()`
a=whoami # 值为 当前用户名
## 括号
单独使用和非单独使用的意义通常是不一样的.
- `()`, [`(())`](#双圆括号 - let 命令的简化), `$()` 圆括号
# 单独使用, 会产生一个子shell
() # eg. (a=123) 执行完这个命令时, 由于是在子进程(子Shell)中执行, 因此不会影响当前shell环境. ( 想一下管道)
# 数组初始化
变量名=(数组元素)
# 算数运算符
(( )) # 等价 let 命令的简写, eg. ((i++))
# 执行命令并将结果赋值给变量
变量名=$(命令) # 等价于 变量名=命令
- `[]`, `[[]]` 方括号(test 测试)
# 单独使用, 测试(test)
[ ] # 等价 test 命令, 使用 -gt, -lt 等. 方括号与内容需保持间隔. 可通过 $? 查看test结果
# 测试表达式, [ ] 的加强, 支持扩展语法: &&, ||, <, > 等
[[ ]] # 方括号与内容需保持间隔. 可通过 $? 查看test结果
- `<`, `>` 尖括号(重定向))
重定向符号
- `{}` 花括号 (范围, 枚举)
# 输出范围
echo {0..9} # 0 1 2 3 4 5 6 7 8 9
echo a{1,3,5} # a1 a3 a5
# 文件复制的快捷操作等
cp /etc/passwd{,.bak} # 实际执行的是 cp /etc/passwd /etc/passwd.bak
# 范围
for i in {1..9}; do echo $i; done;
## 运算符和逻辑符号
- `+`, `-`, `*`, `/`, `%` 算术运算符
- `>`, `<`, `=` 比较运算符
- `&&`, `||`, `!` 逻辑运算符
## 算术运算
### expr 运算
使用 `expr` 运算
expr <运算部分>
示例
expr 4 + 5
a=`expr 4 + 5` # 将结果赋值给变量
注意
只支持整数, 不支持浮点数
数值和运算符之间"必须"有空格分隔
### let 命令
let 变量名=变量值
示例
let a=10+20 # a 的值是 30
注意
变量值可以是数学表达式, 包括: + - ++ -- += -= 等
变量值不支持浮点数.
变量值 `0` 开头为八进制.
变量值 `0x`开头为十六进制.
> 实际很少用 `let`, 而是使用更简便的 双圆括号.
>
> 数值和运算符之间无所谓有没有空格
### 双圆括号 - let 命令的简化
[点击查看其他括号](#括号)
双圆括号是 let 命令的简化
语法
(()) # 赋值/运算
$(()) # 引用计算结果
示例
((a=10))
((a++))
((a--))
((a+=5))
((a=b=c=1))
echo $((10+20)) # 打印结果
b=$((1+2+3)) # 引用结果
# 测试与判断
## 退出与退出状态
程序
- `exit` 退出程序, 返回状态以 `exit` 的上一条命令执行结果为准
- `exit <返回值>` 退出程序, 返回状态以此处填写的 返回值(只能是数字)为准.
函数
- `return` 返回状态以 `return` 的上一条命令执行结果为准
- `return <返回值>` 退出程序, 返回状态以此处填写的 返回值(只能是数字)为准
一般约定, 返回值 `0` 表示正常, 其他都是不正常退出.
使用 `$?` 可以查看返回值, 用于确定 **当前Shell** 的上一个执行语句(进程, 脚本, 函数)是不是正常退出.
## 测试命令 test
`[ ]` 等价于 test 命令, 更推荐 `[ ]` 写法.
`[[ ]]` 是 `[ ]` 的扩展写法, 支持 `&&`、`||`、`<`、`>`
> 若要使用 `&&`、`||`、`<`、`>` 这些字符, 则**必须**用 `[[ ]]`
test 命令用于检测文件或比较值
- 文件测试
- 数值比较测试
- 字符串测试
返回值说明
真(True) 返回 0
假(False) 返回 1
语法
test 表达式
test
[ 表达式 ]
[ ]
表达式
逻辑表达式
表达式1 -a 表示2 # 逻辑与
表达式1 -o 表达式2 # 逻辑或
! 表达式 # 逻辑非
字符串表达式
-z STR # zero, 字符串长度为0
-n STR # non-zero, 字符串长度不为0
STR1 = STR2 # 字符串相等测试(大小写敏感)
STR1 != STR2 # 字符串不相等测试(大小写敏感)
数值表达式
-eq # =
-ge # >=
-gt # >
-le # <=
-lt # <
-ne # !=
文件
不同文件比较
FILE1 -ef FILE2 # 相同文件(同个设备, 相同inode)
FILE1 -nt FILE2 # FILE1 修改时间比 FILE2 更新(也就是最近修改)
FILE1 -ot FILE2 # 与 -nt 相反
文件
-e FILE # 文件存在
-s FILE # 长度大于0的文件
类型
-f FILE # 普通文件(非下述几种类型)
-b FILE # block 块设备
-c FILE # char 字符设备
-d FILE # dir 目录
-h FILE # 软连接文件, 等同 -L
-L FILE # link 软连接文件, 等同 -h
-p FILE # 命名管道文件
-S FILE # socket 文件
归属
-O FILE # 文件有有效的属主
-G FILE # 文件有有效的属组
权限
-r FILE # 已设置读权限
-w FILE # 已设置写权限
-x FILE # 已设置执行权限
-u FILE # 已设置 SUID(set-user-ID)
-g FILE # 已设置 SGID(set-group-ID)
-k FILE # 已设置 SBIT(sticky bit set)
其他
-t FD # 文件描述符在终端上打开
### `[[]]` 扩展用法
此处记录的是与 `[]` 不同的
表达式
== # 通配符匹配, 支持: * ?
=~ # 正则匹配
&&
||
<
>
> 不支持 `-a` , `-o`
## 条件 if
完整语法
if [ 测试条件 ]
then 执行相应命令 # 如果条件成立 或 返回值为0则进入 then, then 后面无需跟分号
elif [ 测试条件 ] # 即 else if
else 执行相应命令
fi # 结束
可以写成1行
if [ 测试条件 ]; then 执行相应命令; else 执行相应命令; fi
调试时 if true
if :; then ... fi
调试时 if false
if [ ! : ]; then ... fi
判断执行某个命令后的结果
if 命令; then
echo "success"else
echo "fail"fi
> `<测试条件>` 如果是个命令或执行的脚本或函数, 那么此时是根据其返回的结果值来判断是否为真.
>
> if 语句支持嵌套使用.
## 分支 case
完整语法
case "$变量" in
情况1)
命令
;;
情况2)
命令
;;
*) # 此处用了通配符, 匹配其余情况
都不匹配时执行的命令
;;esac
匹配条件支持如下通配符
- `*`
- `?`
- `|`
- `[ ]` 表示范围内的任意一个字符, 范围内可以使用 `-`
- `[^]` 逆向选择 ?
- `[!]` 逆向选择 ?
> 上述的 情况 支持通配符, 比如 `*`, `|`, `?`
>
>
>
> 注意以下两种是不同的表示
>
> - `"情况)"` 此处是将 `情况` 视为一个字符串, 其中的通配符之类的都不会生效
> - `情况)` 此处的 `情况` 中的通配符之类的生效
>
> 因此以下几种匹配是不一样的
>
> ```sh
> start|stop) # 匹配 start 或 stop
>
> "start"|"stop") # 同上, 匹配 start 或 stop
>
> "start|stop") # 完整匹配 "start|stop" 整个字符串
>
> "cmd*") # 完整匹配 "cmd*" 整个字符串
>
> "cmd?") # 完整匹配 "cmd?" 整个字符串
>
> cmd*) # 通配符匹配 cmd*
>
> cmd?) # 通配符匹配 cmd?
> ```
## 循环
### for 遍历
for 参数名 in 列表
do
:done
**列表来源**
1. 列表中包含多个变量(空格分隔)
for i in 1 2 3
for i in {1..3} # 使用花括号产生列表
2. 使用 ` `` ` 或 `$()` 方式执行命令, 默认逐行处理(若出现空格会被视为多行)
for file in `ls`
3. 枚举路径(可使用通配符)
# 枚举出的是完整路径, 可配合使用 basename 命令获取简短的文件名
for file in /etc/profile*
do
echo $filedone
# 输出如下
/etc/profile
/etc/profile.d
### for 循环
C语言风格的for命令
语法
for ((变量初始化;循环判断条件;变量变化))
do
命令
done
示例
for ((i=0;i<=10;i++)); do echo $i; done
> 不太常用
### while 循环
语法
# 满足条件就执行
while test测试条件为真
do
命令
done
示例
i=0
while [[ i<=10 ]]
do
((i+=3))
done
> 常用于构建交互式菜单
可配合 `shift` 命令偏移参数处理
位置参数位移, 如果偏移数为n, 则新的 $1 值为原来的 ${n+1}, 以此类推
shift <偏移数=1>
示例
while [ $# -gt 0 ] do
shift 1
done
### until 循环
语法
# 不满足条件就执行
until test测试条件为假
do
命令
done
### break 和 continue
while :
do
break;
continue;done
# 函数
## 自定义函数
定义
函数名称 () {
local 函数局部变量名; # 变量作用域仅在函数内部
echo $1; #
}
注意
语法要求: 第一个花括号后面需要有空(空格, 换行等)
使用
函数名
可将自定义的函数统一放在一个脚本文件中, 赋予执行权限后通过 `source` 或 `.` 执行以在当前Shell环境调用.
示例
hello() { echo hello $USER; }
hello # 输出 hello root
顺序执行多个函数的示例
A1 () { : }
A2 () { : }
A3 () { : }
cmdList=(
A1
A2
A3
)
for i in "${cmdList[@]}"; do
if $i; then
echo "success"
else
echo "error with code: $?"
fidone
## 获取函数名
在函数内部有一些预定义变量
$FUNCNAME 数组, 包含调用栈名
示例
!/bin/bash
abc() {
echo "in abc: ${FUNCNAME[@]}"
ef}
ef() {
echo "in ef: ${FUNCNAME[@]}"}
abc
输出内容
in abc: abc main
in ef: ef abc main
## 删除函数
unset -f 函数名
## 系统脚本
系统自建的函数库: `/etc/init.d/functions`
# 脚本控制
## 脚本优先级控制
可以使用 nice 和 renice 调整脚本优先级
CPU 的计算和创建子进程都会造成系统 开销.
创建死循环大量消耗cpu导致死机的情况
1. while 和 for 创建死循环会导致cpu占用过高,
2. fork 炸弹: 程序大量创建子进程, CPU不响应任何信息.
# 示例 - 定义一个 func 的函数
func () { func | func& }
# 调用之后系统会疯狂创建子进程, 此时 ctrl+c 已经不生效了
func
# 另一个常见的fork炸弹
.(){ .|.&}; .
`ulimit -a` 的输出
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 5642
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 5642 # 同时可创建的子进程数量, root无效
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
> 大部分限制对 root 是不生效的.
## 捕获信号
`kill` 默认发送 15号(SIGTERM)信号给应用程序
`ctrl+c` 发送2号(SIGINT)信号给应用程序
9号(SIGKILL)信号不可捕获, 不可阻塞, 强行杀进程.
设置捕获信号
trap [参数] 信号
<参数> 表示捕获到信号后的处理, 分为以下几种情况
未设置 <参数> 按默认处理情况处理
值为 - 按默认处理情况处理, 同上
值为 空 捕获信号, 直接忽略
值为其他 捕获信号, 并执行指定命令
示例
# 捕获 SIGINT(2) 信号, 并打印 "got signal 2"
trap "echo got signal 2" 2
> 可在重要不可中断的脚本中设置捕获信号以免被无意中结束掉, 比如备份脚本.
control group? 控制内存?
# 计划任务
## at 命令
设置一次性计划任务
输入要执行的任务后需要追加 ctrl+d 以表示输入完毕.
at [选项] 时间
时间格式
HH:MM # 时:分 指定下一个该时间点执行(今天或隔天)
HH:MM today # 今天指定时间运行
HH:MM tomorrow # 明天指定时间运行
HH:MM MMDDYY # 时:分 月日天, 年可以是2位的缩写, 或4位的全写
HH:MM MM/DD/YY
HH:MM MM.DD.YY
HH:MM YYYY-MM-DD
now + 计数 # 当前时间点的偏移, 计数单位: minutes, hours, days, weeks. Eg. 4pm + 3 days
选项
-c <序号> # 查看具体的任务执行内容
-f # 从指定文件读取命令, 而不是从标准输入
注意
1. 非内部命令应使用完整路径, 如果是shell脚本应使用 source 来引入环境变量
2. 计划任务的执行是没有终端的, 因此是没有标准输出的, 需自行重定向输出
Tip
鉴于 at 在设置命令时的不方便, 可以考虑配合 cat 一同设置, eg.
cat <<'EOF' | at 时间
具体要执行的命令
EOF
注意
- `at` 一次性任务是依赖 atd 服务来执行的
- `at` 目录会以设置任务时所在的目录作为工作目录, 因此若该目录无效(被删除, 权限限制) 则会导致任务执行失败.
- root用户可以在任何情况下使用at命令，而其他用户使用at命令的权限定义在/etc/at.allow（被允许使用计划任务的用户）和/etc/at.deny（被拒绝使用计划任务的用户）文件中，默认没有文件需要自己创建允许用户和拒绝用户文件；
- 如果/etc/at.allow文件存在，只有在该文件中的用户名对应的用户才能使用at；
- 如果/etc/at.allow文件不存在，/etc/at.deny存在，所有不在/etc/at.deny文件中的用户可以使用at；
- at.allow比at.deny优先级高，执行用户是否可以执行at命令，先看at.allow文件中有没有才看at.deny文件；
- 如果/etc/at.allow和/etc/at.deny文件都不存在，则只有root用户能使用at；
**atq 命令**
查询等待执行的一次性计划任务队列
最左边的数字即计划任务的任务id
atq
**atrm 命令**
移除未执行的计划任务
atrm 任务序号
## 周期性计划任务 cron
crontab [选项]
选项
-e # 编辑, 进入vim编辑器
-l # 查看已配置项
配置格式
分 时 日 月 周 命令
* # 任意
1,2,3 # 逗号分隔
1-3 # 等价表示 1,2,3
注意
命令应使用完整路径
配置文件(每个用户有各自的一份配置)
`/var/spool/cron/用户名`
crond 相关日志(不包括任务的输出)
`/var/log/cron`
## 计划任务和锁
### anacron 周期命令调度程序
anacron 是一个用于周期性执行命令的工具(适用于非24小时开机, 同时需要确保 每日/每周/每月 运行指定任务).
它的时间粒度是"天", 比如配置了 logrotate 每天运行一次, 那么它默认会在 3~22 点之间每小时尝试运行该任务(因此主机不一定需要保持24小时开机)
**适合**: 需要定期执行至少1次的脚本(对具体执行时机没有严格要求的)可以使用 anacron 来配置定时任务.
> 比如要求每3天至少执行1次, 但对于在哪一天的哪一个小时执行没有严格要求.
**Crond 服务调用 Anacron 的过程**
1. crond 服务每分钟会执行 `/etc/cron.d/` 目录下配置的定时任务(crontab 格式):
- `/etc/cron.d/0hourly` 配置每小时的第1分钟执行 `/etc/cron.hourly/` 目录下的所有**脚本**
- `/etc/cron.d/sysstat` 配置每10分钟系统性能统计收集, 每天接近凌晨时生成一份每日报告
2. `/etc/cron.hourly/0anacron` 脚本
> 脚本的主要逻辑: 若今日未执行过 anacrontab, 则会执行 `/usr/sbin/anacron -s` 命令
>
> 意思是顺序(非并行)执行延时计划任务.
**Anacron 的执行过程**
1. 读取配置文件 `/etc/anacrontab`
# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=45
# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22
#period in days delay in minutes job-identifier command
1 5 cron.daily nice run-parts /etc/cron.daily
7 25 cron.weekly nice run-parts /etc/cron.weekly
@monthly 45 cron.monthly nice run-parts /etc/cron.monthly
2. 依次执行上面配置的任务
Anacron 会在每天的 3点~22点时间范围内, 每次随机延迟 0~45 分钟开始执行上面配置的 每日/每周/每月 任务.
- `/etc/cron.daily/logrotate` 日志轮转工具调用
- ...
### flock 锁文件
flock [选项]
示例
flocak -xn "/tmp/f.lock" -c "需执行的命令或脚本"
选项
锁类型
-x # 排他锁
-n, --nb, --nonblock # 加锁失败时直接退出 (默认是等待)
-c, --command # 需执行的命令
注意
锁文件被删除后会失效.
# 其他待整理
##
# run-parts 命令
运行指定目录下的所有可执行文件(具有执行权限)
- 可通过在目录下配置 jobs.deny 和 jobs.allow 来配置黑/白名单
- 常用于crond定时任务执行某个目录下的所有脚本
run-parts <目录>
## mktemp 命令
创建一个临时文件或目录
mktemp [选项] [模板]
模板
需包含至少连续3个 "X", 若未指定, 则会在 /tmp 目录下创建 tmp.XXXXXXXXXX
选项
-d, --directory # 创建一个目录(而不是默认的文件)
-t # 在 /tmp 目录下创建临时文件
示例
mktemp # /tmp/tmp.CaE8KvS8HI
mktemp log.XXXXXXX # log.KyvESFk 在当前目录下
mktemp -t log.XXXX # /tmp/log.RNwC
## yes 命令
在命令行中输出指定的字符串，直到yes进程被杀死
yes [选项]
示例
常用语需要简单交互: 输入 y/yes 以继续操作的情况
yes|yum install ... # 这里只是示例, 实际 yum 一般是配合 -y