【Linux】Shell学习笔记

---

前言

Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。让用户能够更加高效、安全、低成本地使用 Linux 内核，这就是 Shell 的本质。

shell脚本就是由Shell命令组成的执行文件，将一些命令整合到一个文件中，进行处理业务逻辑，脚本不用编译即可运行。它通过解释器解释运行，所以速度相对来说比较慢。

Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。

---

一、bash

bash（Bourne Again Shell）：CentOS 默认使用，它是 Bourne Shell 的扩展。 与 Bourne Shell 完全兼容，并且在 Bourne Shell 的基础上增加了很多特性。可以提供命令补全，命令编辑和命令历史等功能。它还包含了很多 C Shell 和 Korn Shell 中的优点，有灵活和强大的编辑接口，同时又很友好的用户界面

# Linux 提供的Shell有 （cat /etc/shells）
/bin/sh
/bin/bash
/usr/bin/sh
/usr/bin/bash
/bin/tcsh
/bin/csh

# 查看 CentOS 默认的解析器
echo $SHELL
# 查看 bash 和 sh 的关系
ll | grep bash

二、Shell 脚本入门

格式：脚本以#!/bin/bash开头（用于指定解析器），#!告诉系统其后路径所指定的程序即是解释此脚本文件的 Shell 程序

eg：编写hello.sh输出hello,world!

#!/bin/bash
echo "hello,world!"

执行方式：

1. bash 文件名，有路径加路径；

bash hello.sh

2. 绝对路径或相对路径，但必须先赋予脚本可执行权限，chmod +x 脚本名；

chmod +x hello.sh
./hello.sh
/root/scripts/hello.sh

这两种方式都是在当前 shell 中打开一个子 shell 来执行脚本内容，当脚本内容结束，则子 shell 关闭，回到父 shell 中

3. . hello.sh 或者 source hello.sh

. hello.sh
source hello.sh

与前两者不同的是脚本内容在当前shell 里执行，不打开子 shell
开子 shell 与不开子 shell 的区别就在于，环境变量的继承关系，如在子 shell 中设置的当前变量，父 shell 是不可见的
手动开子shell：bash

三、变量

1. 系统预定义变量

• 常用系统变量：$HOME $PWD $SHELL $USER等
• 查看系统全局变量：
  echo $HOME
env | less
printenv USER

# 加了$符号，使用环境变量的值
ll $HOME
ll /root/

# 打开子shell，嵌套在父shell里可以调用系统全局变量
bash
echo $HOME
ls $HOME

• 查看所有变量：set | less

2. 自定义变量

• 定义局部变量：变量名=变量值

=前后均无空格，变量默认类型都是字符串类型，无法进行数值运算，提升权限export 变量名

# 数值运算
echo $((9+9))
a=$[999+999]
echo $a

• 定义全局变量：export 变量名=变量值

子shell中对全局变量的任何更改只在子shell中生效，说明是值传递而不是引用传递

• 只读变量（常量）：readonly b=888，值不能被改变
• 删除变量：使用 unset命令可以删除变量，不能删除只读变量

命名规则

1. 命名只能使用英文字母，数字和下划线，首个字符不能以数字开头
2. 中间不能有空格，可以使用下划线 _
3. 不能使用标点符号
4. 不能使用bash里的关键字（可用help命令查看保留关键字）

3. 特殊变量

对输入参数进行捕获和处理

3.1 $n

描述：n 代表一个数字，其中 $0 为执行的文件名（包含文件路径），1为执行脚本的第一个参数，2为执行脚本的第二个参数，以此类推…大于等于10时要用{}括起来

#!/bin/bash
echo '=============$n==============='
echo script name '($0)':"$0"
echo 1st paremater '($1)':"$1"
echo 2nd paeameter '($2)':"$2"!

# 执行脚本
./hello.sh a b

# 输出
=============$n===============
script name ($0):./hello.sh
1st paremater ($1):a
2nd paeameter ($2):b

单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的

3.2 $#

描述：获取所有输入参数个数，常用于循环，判断参数的个数是否正确以及加强脚本的健壮性

#!/bin/bash
echo '=============$n==============='
echo script name '($0)':"$0"
echo 1st paramater '($1)':"$1"
echo 2nd parameter '($2)':"$2"
echo '=============$#==============='
echo parameter numbers '($#)':"$#"

# 输出
=============$n===============
script name ($0):./hello.sh
1st paramater ($1):a
2nd parameter ($2):b
=============$#===============
parameter numbers ($#):2

3.3 $ *、$@

均是代表命令行中所有的参数，$*把所有的参数看成一个整体，类似一个字符串，$@把每个参数看作一个个体，类似数组元素

#!/bin/bash
echo '=============$n==============='
echo script name '($0)':"$0"
echo 1st paramater '($1)':"$1"
echo 2nd parameter '($2)':"$2"
echo '=============$#==============='
echo parameter numbers '($#)':"$#"
echo '=============$*==============='
echo "$*"
echo '=============$@==============='
echo "$@"

# 输出
script name ($0):./hello.sh
1st paramater ($1):a
2nd parameter ($2):b
=============$#===============
parameter numbers ($#):2
=============$*===============
a b
=============$@===============
a b

上述看不出区别，但在循环遍历输出时，看得出来$*是一个元素，$@则是两个元素，前提是两者要加上引号！否则无区别

3.4. $?

​ $?：最后一次执行的命令的返回状态。如果这个变量的值为0，则上一个命令正确执行；如果这个变量非0（具体是哪个数，由命令自己来决定）则上一命令执行失败

3.5. $其他

参数	功能
$$	脚本运行的当前进程ID号
$!	后台运行的最后一个进程的ID号
$-	显示Shell使用的当前选项，与set命令功能相同

四、运算符

expr 是一款表达式计算工具，表达式和运算符之间要有空格

# 乘法
expr 6 \* 8
48

# 赋值
a=$(expr 6 \* 8)
a='expr 6 \* 8'

相比之下a=$((6*8))或a=$[6*8]更加常用方便一些，且不用加空格

五、条件判断

test condition 或 [condition]

1. 字符串

1.1. 例子

test 8 != 8
echo $?
[ 8=6 ] 
echo $?

# 输出
0
0

注意

1. condition前后要有空格，不加空格被认为是一个整体，为true
2. 条件非空即为true, [ygy]返回true, [ ]返回false
3. 不可以用> 或 <，因为[…]结构不允许，而[[…]]可以

1.2. 字符串拼接

# 中间无任何+，之类的字符
name="this is"" my name"; name="this is my name"; name="this" is "my name" # 等效
name='this is'' my nam'; name='this is my name'; name='this' is 'my name' # 等效

1.3. 字符串运算符

字符串运算符	说明
=	两个字符串是否相等，相等返回 true
!=	两个字符串是否不相等，不相等返回 true
-z	字符串长度是否为0，为0返回 true
-n	字符串长度是否不为 0，不为 0 返回 true
$	字符串是否不为空，不为空返回 true

2. 整数

2.1. 算术运算符

算术运算符	说明
=	赋值
==	用于比较两个数字是否相等，相同则返回 true

注意
判断字符串时=判断是否相等，而在判断整数时=是赋值，==判相等

2.2. 关系运算符

关系运算符	说明
-eq	两个数是否相等，相等返回 true
-nq	两个数是否不相等，不相等返回 true
-gt	左边是否大于右边，如果是，则返回 true
-lt	左边是否小于右边，如果是，则返回 true
-ge	左边是否大于等于右边，如果是，则返回 true
-le	左边是否小于等于右边，如果是，则返回 true

[ 8 -lt 6 ]
echo $?

# 输出
1

2.3. 布尔运算符

布尔运算符	说明
!	非运算，表达式为 true 则返回 false，否则返回 true
-o	或运算，有一个表达式为 true 则返回 true
-a	与运算，两个表达式都为 true 才返回 true

# 效果演示，实际中用变量代替数字
[ 20 -gt 18 -a 20 -lt 35]

#输出
0

3. 文件

运算符	说明
-r	是否可读，如果是，则返回 true
-w	是否可写，如果是，则返回 true
-x	是否可执行，如果是，则返回 true
-e	文件/目录是否存在，如果是，则返回 true
-f	文件是否是普通文件（既不是目录，也不是设备文件），如果是，则返回 true
-d	是否是目录，如果是，则返回 true

[ -x ygy.sh ]
[ -e /root/ygy.sh]

4. 多条件判断

condition && echo 内容1 || echo 内容2，&&表示前一条命令执行成功时，才执行后一条命令，||表示上一条命令执行失败后,才执行下一条命令

a=15
[ $a -lt 21 ] && echo "$a < 21" ll echo "$a >= 21"

# 输出
15 < 21

相当于三元运算符condition ? 条件1 : 条件2

5. [[…]] 、((…))

说明：[[…]] 和 ((…)) 分别是[…]的针对字符串表达式和数学比较表达式的加强版

• 优点：
  1️⃣使用[[ … ]]条件判断结构，而不是[ … ]，能够防止脚本中的许多逻辑错误。比如，&&、||、<和> 操作符能够正常存在于[[…]]条件判断结构中，但是如果出现在[…]结构中的话，会报错
  2️⃣(( ))不需要再将表达式里面的大小于符号转义，除了可以使用标准的数学运算符外，还增加了以下符号

符号	描述
++	自增
--	自减
!	逻辑求反
~	位求反
**	幂运算
>>	右位移
<<	左位移
&&	逻辑与
||	逻辑或

if [ $a -ne 1] && [ $a != 2 ] 
if [ $a -ne 1 -a $a != 2 ]
[ $a -lt 21 ] && echo "$a < 21" ll echo "$a >= 21"

# 使用双括号后
if [[ $a != 1 && $a != 2 ]]
(( $a < 21 )) && echo "$a < 21" ll echo "$a >= 21"

六、流程控制

1. if

语法：

# 分号顺序执行➕单分支
if [ condition ];then 程序 ;fi

# 不写分号➕双分支
if [ condition ]
then
	程序
else
	程序
fi

# 多分支
if [ condition ]
then
	程序
elif [ condition ]
then
	程序
else
	程序
fi

例子：

a=66
b=99
if [ $a == $b ]
then
   echo "a 等于 b"
elif [ $a -gt $b ]
then
   echo "a 大于 b"
elif [ $a -lt $b ]
then
   echo "a 小于 b"
else
   echo "没有符合条件"
fi

# 使用双括号后

if (( $a == $b ))
then
   echo "a 等于 b"
elif (( $a > $b ))
then
   echo "a 大于 b"
elif (( $a < $b ))
then
   echo "a 小于 b"
else
   echo "没有符合条件"
fi

2. case

语法：

case $a in
值1)
    程序1
    ;;
值2)
    程序2
    ;;
*)
	程序3
esac

例子：

echo '输入 1 到 4 之间的数:'
echo '你输入的数为:'
read a
case $a in
    1)  echo '你选 1'
    ;;
    2)  echo '你选 2'
    ;;
    3)  echo '你选 3'
    ;;
    4)  echo '你选 4'
    ;;
    *)  echo '你没有输入 1 到 4 之间的数字'
    ;;
esac

3. for

语法：

# 循环版
for (( 初始值; 循环控制条件; 变量变化 ))
do 
	程序
done

# 取值版
for i in {1..100}; do 程序; done; 

例子：

#!/bin/bash
for (( i=1; i <= $1 ; i++  ))
do
        sum=$[ $sum + $i ]
done
echo $sum

4. while

语法：

while (($a<$1))
do
	程序
done

例子：

#!/bin/bash
a=1
while (($a<$1)
do
#        sum=$[ $sum + $a ]
#         a=$[ $a + 1 ]
	let sum+=a
	let a++
done
echo $sum

七、read

read 读取控制台输入，read [选项] 参数，一个一个词组地接收输入的参数，每个词组需要使用空格进行分隔
如果输入的词组个数大于需要的参数个数，则多出的词组将被作为整体为最后一个参数接收

选项	说明
-p	输入提示文字
-n	输入字符长度限制(达到6位，自动结束)
-t	输入限时
-s	隐藏输入内容

#!/bin/bash
read -t 10 -p "这是read读取你的输入，请输入：" -s name

八、函数

1. 系统函数

basename [string/pathname] [suffix] 会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来，最后一个/后的字符串
如果将后缀（suffix）指定了，则会将后缀去掉

# 截取该/home/user1/banzhang.txt 路径的文件名称
basename /home/user1/banzhang.txt
banzhang.txt
basename /home/user1/banzhang.txt .txt
banzhang

dirname [string/pathname]取文件路径的绝对路径名称，也就是最后一个/前的字符串

# 利用该函数输出绝对路径
#!/bin/bash
$(cd $( dirname $0 ); pwd )

$( 函数 )命令替换，命令的调用方式
$[ 运算式 ]用于算术式

2. 自定义函数

语法：

[ function ] funname [()]
{
    action;
    [return int;]
}

经验技巧

1. 必须在调用函数地方之前，先声明函数，shell脚本是逐行运行，不会像其他语言一样先编译
2. 函数返回值只能通过$?系统变量获得，可以显示加：return返回；如果不加，将以最后一条命令运行结果作为返回值。return后跟n(0~255)

例子：

function add(){
        s=$[$1+$2]
        echo $s
}
read -p "请输入第一个整数" a
read -p "请输入第二个整数" b
sum=$(add $a $b)
echo "和是:"$sum
echo "平方是："$[ $sum*$sum ]

九、正则表达式

定义模式匹配规则，用来检索、替换那些符合某个模式的文本，在 Linux 中，grep，sed，awk 等文本处理工具都支持通过正则表达式进行模式匹配

常用特殊字符：

符号	说明	举例
^	匹配一行的开头	cat /etc/passwd | grep ^a匹配出所有以 a 开头的行
$	匹配一行的结束	cat /etc/passwd | grep t$会匹配出所有以 t 结尾的行
.	匹配一个任意的字符	cat /etc/passwd | grep r..t会匹配包含 rabt,rbbt,rxdt,root 等的所有行
*	不单独使用，他和上一个字符连用，表示匹配上一个字符 0 次或多次	cat /etc/passwd | grep ro*t会匹配 rt, rot, root, rooot, roooot 等所有行

例子：

# 显示文档空行所在位置,-n显示行号，^$空行
cat daily_archive.sh | grep -n ^$

# 以a开头(^)，以bash结尾($)，中间任意字符(.*)
cat /etc/passwd | grep ^a.*bash$
# 中间带个var
cat /etc/passwd | grep ^a.*var.*bash$

字符区间（中括号）：

符号	说明
[num1,num2]	匹配num1或num2
[num1-num2]	匹配一个num1到num2的数
[0-9]*	匹配任意长度的数字字符串
[a-z]*	匹配任意长度的字母字符串
[a-c, e-f]	匹配 a-c 或者 e-f 之间的任意字符

例子：

# a或b或c出现任意次
cat /etc/passwd | grep r[a,b,c]*t
# 查找带有/$符号,单个$表示结尾，需要转义，单引号输出原本内容
cat /etc/passwd | grep '/\$'
# 查找手机号，加-E支持花括号
echo "19877795119" | grep -E ^1[345789][0-9]{9}$

十、文本处理工具

1. cut

cut 的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出
语法：cut [选项] filename 或接在管道符|之后做数据裁剪
选项：

选项	说明
-f	列号，提取第几列
-d	自定义分隔符，默认为制表符
-c	按字符进行切割后加加n表示取第几列，比如 -c 1

例子：

# 裁剪以空格为分隔的第一列文本
cut -d " " -f 1 cut.txt

# 裁剪以bash结尾、冒号分隔的第1，6，7列
cat /etc/passwd | grep bash$ | cut -d ":" -f 1,6,7
# 如果是6列之后所有
cat /etc/passwd | grep bash$ | cut -d ":" -f 6-

# 查看IP地址
ifconfig ens33 | grep netmask | cut -d " " -f 10

grep相当于提取行元素，cut提取列，结合使用精确定位

2. awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理

语法：awk [选项] ‘/pattern1/{action}’ ‘/patten2/{action2}’ filename。pattern：表示awk在数据中查找的内容，就是匹配模式（正则）；action:在匹配内容时所执行的一系列命令

选项	功能
-F	指定输入文件分隔符
-v	赋值一个用户定义变量

例子：

# 搜索passwd文件以root关键字开头的所有行，并输出该行的第7列
 cat /etc/passwd | grep ^root | cut -d ";" -f 7
# awk
cat /etc/passwd | awk -F ":" '/^root/ {print $7}'

# 搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割
cat /etc/passwd | awk -F ":" '/^root/ {print $1","$7}'

# 只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名"begin"在最后一行添加"end"
cat /etc/passwd | awk -F ":" 'BEGIN{print "begin"}{print $1","$7}END{print "end"}'

# 将passwd文件中的用户id增加1并输出
cat /etc/passwd | awk -F ":" '{print $3+1}'
# 使用变量
cat /etc/passwd | awk -v i=1 -F ":" '{print $3+i}'

# 查看IP地址(awk版)
  ifconfig ens33 | awk '/netmask/ {print "IP: "$2}' 

内置变量：

变量	说明
FILENAME	文件名
NR	已读的记录数（行号）
DF	浏览记录的域的个数（切割后，列的个数）

# 查看passwd文件名，每行的行号，每行的列数
cat /etc/passwd | awk  -F ":" '{print "文件名 :"FILENAME "行号：" NR "列数: "NF }'

十一、综合应用案例

1. 文件归档

实际生产中，往往需要对重要数据进行归档备份

tar -c建立新的备份文件
​ 需求：实现一个每天对指定目录归档备份的脚本，输入一个目录名称（末尾不带/），将目录下所有文件按天归档保存，并将归档日期附加在归档文件名上，放在/root/archive下。加上-cz选项表示备份归档同时进行压缩，得到的文件后缀名为tar.gz

归档代码：

#!/bin/bash

# 首先判断输入的参数是否为1
if [ $# -ne 1 ]
then 
	echo "参数个数错误！应该输入一个参数，作为归档目录"
	exit
fi

# 从参数中获取目录名称
if [ -d $1 ]
then
        echo 
else
        echo
        echo "目录不存在!"
        exit
fi

DIR_NAME=$(basename $1)
DIR_PATH=$(cd $(dirname $1); pwd)


# 获取当前日期
DATE=$(date +%y%m%d)
# 定义生成的归档文件名称
FILE=archive_${DIR_NAME}_$DATE.tar.gz
DEST=/root/archive/$FILE

# 开始归档目录文件
echo "开始归档..."
echo 

tar -zcf $DEST  $DIR_PATH/$DIR_NAME

# 查看是否归档成功
if [ $? -eq 0 ]
then
        echo
        echo "归档成功"
        echo "归档文件为：$DEST"
else
        echo "归档出现问题"
        echo 
fi
exit

定时执行归档任务：

crontab -e进入编辑界面，会打开vim编辑你的工作

crontab -e

0 2 * * * /root/scripts/daily_archive.sh /root/scripts

2. 发送消息

我们可以利用 Linux 自带的 mesg 和 write 工具，向其它用户发送消息。

需求：实现一个向某个用户快速发送消息的脚本，输入用户名作为第一个参数，后面直 接跟要发送的消息。脚本需要检测用户是否登录在系统中、是否打开消息功能，以及当前发送消息是否为空
mesg 查看自身消息功能是否打开
who -T 查看所有用户消息功能是否打开
write 用户名 对应的控制台即可进行通讯

脚本实现如下：

#!/bin/bash

# 查看用户是否登录
login_user=$(who | grep -i -m 1 $1 | awk '{print $1}' )

# login_user 是否为空
if [ -z $login_user ]
then
	echo "$1 不在线！"
	echo "脚本退出"
	exit
fi

# 查看用户是否开启消息功能
is_allowed=$(who -T | grep -i -m 1 $1 | awk '{print $2}' )

if [ $is_allowed != "+" ]
then
	echo "$1 没有开启消息功能"
	echo "脚本退出..."
	exit
fi

# 确认是否有消息发送
if [ -z $2 ]
then
	echo "没有消息发送"
	echo "脚本退出"
	exit
fi

# 从参数中获取要发送的消息
whole_msg=$(echo $* | cut -d " " -f 2-)

# 获取用户登录的终端
user_terminal=$(who | grep -i -m 1 $1 | awk '{print $2}' )


# 写入要发送的消息
echo $whole_msg | write $login_user $user_terminal

# 发送情况
if [ $? != 0 ]
then 
	echo "发送失败！"
else
	echo "发送成功!"
fi
exit

---

总结

shell脚本就是由Shell命令组成的执行文件，将一些命令整合到一个文件中，进行处理业务逻辑，脚本不用编译即可运行

使用变量时，一定要加$符，echo a仅输出a；使用[…]时，外面赋值语句不加空格，[…]里面为逻辑判断时里面要加空格，为算数式时可加可不加

多敲多练