大数据----【Shell编程】
Shell编程
Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。它类似于 DOS 下的 command 和后来的 cmd.exe。Shell 既是一种命令语言，又是一种程序设计语言。Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。Shell 编程跟 java、php 编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了Linux 的 Shell 种类众多，一个系统可以存在多个 shell，可以通过 cat /etc/shells 命令查看系统中安装的 shell。Bash 由于易用和免费，在日常工作中被广泛使用。同时，Bash 也是大多数Linux 系统默认的 Shell。
1. 基本格式
#!/bin/bash
echo "Hello World !"
#!是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种 Shell。
echo 命令用于向窗口输出文本。
Shell 脚本的执行：
chmod +x ./hello.sh #使脚本具有执行权限
./hello.sh #执行脚本
直接写 hello.sh，linux 系统会去 PATH 里寻找有没有叫 hello.sh的。用 ./hello.sh 告诉系统说，就在当前目录找。还可以作为解释器参数运行。直接运行解释器，其参数就是 shell 脚
本的文件名，如：
绝对路径读取
/bin/sh /root/hello.sh
相对路径读取
./hello.sh
sh调用读取
sh hello.sh
这种方式运行脚本，不需要在第一行指定解释器信息，写了也不生效。
shell开发流程：
- 文件名后缀名一般使用
.sh - 指定本脚本的解析器是什么 #！/bin/xxx
- shell脚本内容
- 给shell脚本授予执行的权限（x）
- u(前三位) user g(中间三位) group o(最后三位) other a all
- e.g. o+r g-w 777
- shell执行的三种方式
- 决定路径 执行脚本
- ./脚本
- sh 脚本
2. Shell 变量
2.1 语法 语法 格式
变量＝值，如：your_name=“itcast.cn”
注意：变量名和等号之间不能有空格，同时，变量名的命名须遵循如下规则：
- 首个字符必须为字母（a-z，A-Z）
- 中间不能有空格，可以使用下划线（_）
- 不能使用标点符号
- 不能使用 bash 里的关键字（可用 help 命令查看保留关键字）
2.2 变量 变量 使用
使用一个定义过的变量，只要在变量名前面加$即可。
your_name=“itcast.cn”
echo $your_name
echo ${your_name}
花括号是可选的，加不加都行，加花括号是为了帮助解释器识别变量的边界。已定义的变量，可以被重新定义。使用 readonly 命令可以将变量定义为只读变量，只读变量的值不能被改变。使用 unset 命令可以删除变量。不能删除只读变量。
readonly variable_name
unset variable_name
2.3 变量类型
局部变量 局部变量在脚本或命令中定义，仅在当前 shell 实例中有效，其他 shell 启动的程序不能访问局部变量。
环境变量 所有的程序，包括 shell 启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。可以用过 set 命令查看当前环境变量。
shell 变量是由 shell 程序设置的特殊变量。shell 变量中有一部分是环境变量，有一部分是局部变量，这些变量保证了 shell 的正常运行。
3. Shell 参数传递
在执行 Shell 脚本时，可以向脚本传递参数。脚本内获取参数的格式为：$n。n 代表一个数字，1 为执行脚本的第一个参数，2 为执行脚本的第二个参数，以此类推…… $0 表示当前脚本名称。
3.1 特殊字符
| 命令 | 说明 |
|---|---|
| $# | 传递到脚本的参数个数 |
| $* | 以一个单字符串显示所有向脚本传递的参数 |
| $$ | 脚本运行的当前进程 ID 号 |
| $! | 后台运行的最后一个进程的 ID 号 |
| $@ | 与$*相同 , 但是使用时加引号，并在引号中返回每个参数。 |
| $? | 显示最后命令的退出状态。0 表示没有错误，其他任何值表明有错误。 |
例子：
#!/bin/bash
echo "第一个参数为：$1";
echo "第二个参数为：$2";
echo "当前脚本名称：$0";
echo "参数个数为：$#";
echo "传递的参数作为一个字符串显示：$*";
执行脚本：./test.sh 1 2 3输出结果为
第一个参数为：1
第二个 参数为：2
当前脚本名称：test.sh
参数个数为：3
传递的参数作为一个字符串显示：1 2 3
3.2 ∗ 和 和 *和 和 ∗和和@ 区别
相同点：都表示传递给脚本的所有参数。
不同点：
不被" "包含时，$*和$@都以**$1 $2… n ∗ ∗ 的 形 式 组 成 参 数 列 表 。 被 ‘ " " ‘ 包 含 时 ， ‘ " n** 的形式组成参数列表。 被`" "`包含时，`" n∗∗的形式组成参数列表。被‘""‘包含时，‘"*"会将所有的参数作为一个整体，以**"$1 $2 … $n"**的形式组成一个整串；"$@"` 会将各个参数分开，以**"$1"** “ 2 " ∗ ∗ … ∗ ∗ " 2"** … **" 2"∗∗…∗∗"n” 的形式组成一个参数列表。
4. Shell 运算符
Shell 和其他编程语音一样，支持包括：算术、关系、布尔、字符串等运算符。原生 bash 不支持简单的数学运算，但是可以通过其他命令来实现，例如expr。expr 是一款表达式计算工具，使用它能完成表达式的求值操作。
例如，两个数相加：
val=expr 2 + 2
echo $val ===> 4
注意：
表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2。
完整的表达式要被 ````包含，注意不是单引号，在 Esc 键下边。
此外，还可以通过(())、$[]进行算术运算
count=1
((count++))
echo $count # 2
a=$((1+2)) # 3
a=$[1+2] # 3
5. 流程控制
5.1 if else
语法 : 最后需要反写if==>fi
if 条件1
then
条件1成立执行的命令
elif 条件2
then
条件2成立执行的命令
else
上述条件都不成立执行的命令N
fi
5.2 for
方式一
在vi编辑器中编写的(即.sh文件中编写)
for N in 1 2 3
do
echo $N
done
或
在控制台中编写
for N in 1 2 3; do echo $N; done
或
省略写法
for N in {1..3}; do echo $N; done
方式二
for ((i = 0; i <= 5; i++))
do
echo "welcome $i times"
done
或
for ((i = 0; i <= 5; i++)); do echo "welcome $i times"; done
5.3 while
方式一
while 表达式或者条件
do
成立执行的命令
…
done
方式二
i=1
while ((i<=3))
do
echo $i
let i++
done
let 命令是 BASH 中用于计算的工具，用于执行一个或多个表达式，变量计算中不需要加上 $ 来表示变量。自加操作： let no++ 自减操作： let no --
方式三：无限循环
while true
do
条件成立执行的命令
done
5.4 case
case 值 in
模式 1)
模式1下的命令1
模式1下的命令2
...
模式1下的命令N
;;
模式 2）
模式2下的命令1
模式2下的命令2
...
模式2下的命令N
;;
esac
tips: 最后需要将case反写 ===> esac , 同时两个条件用两个分号分隔
;;
例子
--------------------------------------------------------
算术运算符
#!/bin/bash
a=10
b=20
val=`expr $a + $b`
echo "a + b : $val"
val=`expr $a - $b`
echo "a - b : $val"
val=`expr $a \* $b`
echo "a * b : $val"
val=`expr $b / $a`
echo "b / a : $val"
val=`expr $b % $a`
echo "b % a : $val"
if [ $a == $b ]
then
echo "a 等于 b"
fi
if [ $a != $b ]
then
echo "a 不等于 b"
fi
执行脚本，输出结果如下所示
a + b : 30
a - b : -10
a * b : 200
b / a : 2
b % a : 0
a 不等于 b
乘号(*)前边必须加反斜杠(\)才能实现乘法运算；
--------------------------------------------------------
关系运算符
关系运算符只支持数字，不支持字符串，除非字符串的值是数字。
EQ 就是 EQUAL等于
NQ 就是 NOT EQUAL不等于
GT 就是 GREATER THAN大于
LT 就是 LESS THAN小于
GE 就是 GREATER THAN OR EQUAL 大于等于
LE 就是 LESS THAN OR EQUAL 小于等
#!/bin/bash
a=10
b=20
if [ $a -eq $b ]
then
echo "$a -eq $b : a 等于 b"
else
echo "$a -eq $b: a 不等于 b"
fi
if [ $a -ne $b ]
then
echo "$a -ne $b: a 不等于 b"
else
echo "$a -ne $b : a 等于 b"
fi
if [ $a -gt $b ]
then
echo "$a -gt $b: a 大于 b"
else
echo "$a -gt $b: a 不大于 b"
fi
if [ $a -lt $b ]
then
echo "$a -lt $b: a 小于 b"
else
echo "$a -lt $b: a 不小于 b"
fi
if [ $a -ge $b ]
then
echo "$a -ge $b: a 大于或等于 b"
else
echo "$a -ge $b: a 小于 b"
fi
if [ $a -le $b ]
then
echo "$a -le $b: a 小于或等于 b"
else
echo "$a -le $b: a 大于 b"
fi
-----------------------------------------------------------------
布尔运算符
#!/bin/bash
a=10
b=20
if [ $a != $b ]
then
echo "$a != $b : a 不等于 b"
else
echo "$a != $b: a 等于 b"
fi
if [ $a -lt 100 -a $b -gt 15 ]
then
echo "$a 小于 100 且 $b 大于 15 : 返回 true"
else
echo "$a 小于 100 且 $b 大于 15 : 返回 false"
fi
if [ $a -lt 100 -o $b -gt 100 ]
then
echo "$a 小于 100 或 $b 大于 100 : 返回 true"
else
echo "$a 小于 100 或 $b 大于 100 : 返回 false"
fi
if [ $a -lt 5 -o $b -gt 100 ]
then
echo "$a 小于 5 或 $b 大于 100 : 返回 true"
else
echo "$a 小于 5 或 $b 大于 100 : 返回 false"
fi
-------------------------------------------------------------
逻辑运算符
#!/bin/bash
a=10
b=20
if [[ $a -lt 100 && $b -gt 100 ]]
then
echo "返回 true"
else
echo "返回 false"
fi
if [[ $a -lt 100 || $b -gt 100 ]]
then
echo "返回 true"
else
echo "返回 false"
fi
----------------------------------------------------------------
字符串运算符
下表列出了常用的字符串运算符，假定变量 a 为 "abc"，变量 b 为 "efg"：
#!/bin/bash
a="abc"
b="efg"
if [ $a = $b ]
then
echo "$a = $b : a 等于 b"
else
echo "$a = $b: a 不等于 b"
fi
if [ $a != $b ]
then
echo "$a != $b : a 不等于 b"
else
echo "$a != $b: a 等于 b"
fi
if [ -z $a ]
then
echo "-z $a : 字符串长度为 0"
else
echo "-z $a : 字符串长度不为 0"
fi
if [ -n $a ]
then
echo "-n $a : 字符串长度不为 0"
else
echo "-n $a : 字符串长度为 0"
fi
if [ $a ]
then
echo "$a : 字符串不为空"
else
echo "$a : 字符串为空"
fi
--------------------------------------
文件测试运算符
文件测试运算符用于检测 Unix 文件的各种属性。
属性检测描述如下：
#!/bin/bash
file="/var/www/itcast/test.sh"
if [ -r $file ]
then
echo "文件可读"
else
echo "文件不可读"
fi
if [ -w $file ]
then
echo "文件可写"
else
echo "文件不可写"
fi
if [ -x $file ]
then
echo "文件可执行"
else
echo "文件不可执行"
fi
if [ -f $file ]
then
echo "文件为普通文件"
else
echo "文件为特殊文件"
fi
if [ -d $file ]
then
echo "文件是个目录"
else
echo "文件不是个目录"
fi
if [ -s $file ]
then
echo "文件不为空"
else
echo "文件为空"
fi
if [ -e $file ]
then
echo "文件存在"
else
echo "文件不存在"
fi
-----------------------------------------------------------
流程控制语句
-----------------------------------------------------------
if else
if：
if 条件
then
条件成立执行的命令1
条件成立执行的命令2
...
条件成立执行的命令N
fi
写成一行：if [ $(ps -ef | grep -c "ssh") -gt 1 ]; then echo "true"; fi
if else：
if 条件
then
条件成立执行的命令1
条件成立执行的命令2
...
条件成立执行的命令N
else
条件不成立执行的命令
fi
if else-if else：
if condition1
then
command1
elif condition2
then
command2
else
commandN
fi
例子：
a=10
b=20
if [ $a == $b ]
then
echo "a 等于 b"
elif [ $a -gt $b ]
then
echo "a 大于 b"
elif [ $a -lt $b ]
then
echo "a 小于 b"
else
echo "没有符合的条件"
fi
---------------------------------------------------
case语句
echo '输入 1 到 4 之间的数字:'
echo '你输入的数字为:'
read aNum
case $aNum in
1) echo '你选择了 1'
;;
2) echo '你选择了 2'
;;
3) echo '你选择了 3'
;;
4) echo '你选择了 4'
;;
*) echo '你没有输入 1 到 4 之间的数字'
;;
esac
6. 函数使用
所有函数在使用前必须定义。这意味着必须将函数放在脚本开始部分，直至shell 解释器首次发现它时，才可以使用。调用函数仅使用其函数名即可。
格式:
[ function ] 函数名 [()] // []表示可选
{
操作;
[return int;]//返回
}
1、可以带 function fun()定义，也可以直接 fun() 定义,不带任何参数。
2、参数返回，可以显示加 return ，如果不加，将以最后一条命令运行结果，作为返回值。 return 后跟数值 n(0-255)。
6.1 函数参数
在函数体内部，通过 $n 的形式来获取参数的值，例如，$1 表示第一个参数，$2 表示第二个参数…
注意，当 n>=10 时，需要使用${n}来获取参数。
函数例子
#!/bin/bash
demoFun(){
echo "这是我的第一个 shell 函数!"
}
echo "-----函数开始执行-----"
demoFun
echo "-----函数执行完毕-----"
#!/bin/bash
funWithReturn(){
echo "这个函数会对输入的两个数字进行相加运算..."
echo "输入第一个数字: "
read aNum
echo "输入第二个数字: "
read anotherNum
echo "两个数字分别为 $aNum 和 $anotherNum !"
return $(($aNum+$anotherNum))
}
funWithReturn
echo "输入的两个数字之和为 $? !"
函数返回值在调用该函数后通过 $? 来获得。
#!/bin/bash
funWithParam(){
echo "第一个参数为 $1 !"
a=$1
echo "第二个参数为 $2 !"
echo "第十个参数为 $10 !"
echo "第十个参数为 ${10} !"
echo "第十一个参数为 ${11} !"
echo "参数总数有 $# 个!"
echo "作为一个字符串输出所有参数 $* !"
}
funWithParam 1 2 3 4 5 6 7 8 9 34 73
输出结果:
第一个参数为 1 !
第二个参数为 2 !
第十个参数为 34 !
第十一个参数为 73 !
参数总数有 11 个!
作为一个字符串输出所有参数 1 2 3 4 5 6 7 8 9 34 73 !