Linux之编程：Linux Shell编程概述
简介
从程序员的角度来看， Shell本身是一种用C语言编写的程序，从用户的角度来看，Shell是用户与Linux操作系统沟通的桥梁(本质上来说，Shell每一行可以看做一个命令)。用户既可以输入命令执行，又可以利用 Shell脚本编程，完成更加复杂的操作。在Linux GUI日益完善的今天，在系统管理等领域，Shell编程仍然起着不可忽视的作用。深入地了解和熟练地掌握Shell编程，是每一个Linux用户的必修 功课之一。
Linux的Shell种类众多，常见的有：Bourne Shell（/usr/bin/sh或/bin/sh）、Bourne Again Shell（/bin/bash）、C Shell（/usr/bin/csh）、K Shell（/usr/bin/ksh）、Shell for Root（/sbin/sh），等等。不同的Shell语言的语法有所不同，所以不能交换使用。每种Shell都有其特色之处，基本上，掌握其中任何一种 就足够了。在本文中，我们关注的重点是Bash，也就是Bourne Again Shell，由于易用和免费，Bash在日常工作中被广泛使用；同时，Bash也是大多数Linux系统默认的Shell。在一般情况下，人们并不区分 Bourne Shell和Bourne Again Shell，所以，在下面的文字中，我们可以看到#!/bin/sh，它同样也可以改为#!/bin/bash。
Shell 基本格式
利用vi等文本编辑器编写Shell脚本的格式是固定的，如下：
#!/bin/sh
首行中的符号#!告诉系统其后路径所指定的程序即是解释此脚本文件的Shell程序。如果首行没有这句话，在执行脚本文件的时候，将会出现错误。
#comments
后续的部分就是主程序，Shell脚本像高级语言一样，也有变量赋值，也有控制语句。除第 一行外，以#开头的行就是注释行，直到此行的结束。如果一行未完成，可以在行尾加上"，这个符号表明下一行与此行会合并为同一行。
Your commands go here
一个小的示例程序
#!/bin/sh
#example of shell
echo "first example"
echo #this inserts an empty line in output
echo "we are currently in the following directory"
/bin/pwd
echo
echo "this directory contains the following files"
/bin/ls脚本执行
用户需要执行一个脚本，需要对这个脚本具有r权限，对脚本所在目录有rx权限。
l 创建一个包含命令和控制结构的文件。
l 修改这个文件的权限使它可以执行，使用chmod u+x
l 执行./example或者sh example
数据结构
变量定义
变量时shell传递数据的一种方法，用来代表每个取值的符号名。
Shell Script有两种类型的变量：
l 临时变量：Shell程序内部定义的，其使用范围仅限于定义它的程序，对其他程序不可见。包括了用户自定义变量、位置变量。
l 永久变量：永久变量是环境变量，其值不随shell脚本的执行结束而消失。
Shell Script是一种弱类型语言，其使用变量的时候不需要首先声明其类型。新的变量会在本地数据区分配内存进行存储，这个变量归当前的Shell所有，任何子进程都不能访问本地变量。
变量的辅助命令：
| set |
查看系统中所有定义的变量 |
| unset 变量名 注意，不要加$符号 |
删除变量 |
用户自定义变量
变量赋值的方式是：
variable_name=variable_value
【注意】赋值号两边应该没有空格,否则variable_name会被当做一个命令。
如果对一个已经有值的变量赋值，新值将取代旧值。取值的时候要在变量名前加$，$variable_name可以在引号中使用，这一点和其他高级语言是明显不同的。如果出现混淆的情况，可以
v 用花括号来区分，例如：
echo "Hi, $as"
就不会输出“Hi, hello worlds”，而是输出“Hi，”。这是因为Shell把$as当成一个变量，而$as未被赋值，其值为空。正确的方法是：
echo "Hi, ${a}s"
v 使用单引号，单引号中的变量不会进行变量替换操作。
譬如：$ABC = “time is $Date”,echo $ABC的值为：time is 2013-12-4
$ABC = ‘time is $Date’,echo $ABC的值为：time is $Date
永久变量
位置变量和特殊变量
Shell 解释执行用户命令时，将命令行的第一个部分（实际的命令加选项）作为命令名，其它部分作为参数。由出现在命令行上的位置确定的参数称为位置参数。例如：
ls -l file1 file2 file3
$0 这个程序的文件名 ls -l
$n 这个程序的第n个参数值，n=1-9
特殊变量
| $* |
这个程序的所有参数 |
| $# |
这个程序的参数个数 |
| $$ |
这个程序的PID |
| $! |
执行上一个后台命令的PID |
| $？ |
执行上一个命令的返回值。 返回值为0表示上一个命令执行成功。 返回值不为0表示错误代码。 |
变量类型
基本类型
| 基本类型 |
定义时赋值，如NUM=1，$NAME=’Zhang’或者$NAME=”张”。 |
| 命令类型 |
将一个命令的执行结果赋给变量，如：TIME=`date`，此时`称为命令替换符或者TIME=$(date)。 |
| 变量 |
将一个变量赋值给另一个变量，如：A=$B |
流程控制
变量测试Test
变量测试语句用于测试变量是否相等，是否为空，以及文件类型等等，基本格式为：
test 测试条件
文件测试
| -b filename |
当filename 存在并且是块文件时返回真(返回0) |
| -c filename |
当filename 存在并且是字符文件时返回真 |
| -d pathname |
当pathname 存在并且是一个目录时返回真 |
| -e pathname |
当由pathname 指定的文件或目录存在时返回真 |
| -f filename |
当filename 存在并且是正规文件时返回真 |
| -g pathname |
当由pathname 指定的文件或目录存在并且设置了SGID 位时返回真 |
| -h filename |
当filename 存在并且是符号链接文件时返回真 (或 -L filename) |
| -k pathname |
当由pathname 指定的文件或目录存在并且设置了"粘滞"位时返回真 |
| -p filename |
当filename 存在并且是命名管道时返回真 |
| -r pathname |
当由pathname 指定的文件或目录存在并且可读时返回真 |
| -s filename |
当filename 存在并且文件大小大于0 时返回真 |
| -S filename |
当filename 存在并且是socket 时返回真 |
| -t fd |
当fd 是与终端设备相关联的文件描述符时返回真 |
| -u pathname |
当由pathname 指定的文件或目录存在并且设置了SUID 位时返回真 |
| -w pathname |
当由pathname 指定的文件或目录存在并且可写时返回真 |
| -x pathname |
当由pathname 指定的文件或目录存在并且可执行时返回真 |
| -O pathname |
当由pathname 存在并且被当前进程的有效用户id 的用户拥有时返回真(字母O 大写) |
| -G pathname |
当由pathname 存在并且属于当前进程的有效用户id 的用户的用户组时返回真 |
| file1 -nt file2 |
file1 比file2 新时返回真 |
| file1 -ot file2 |
file1 比file2 旧时返回真 |
| f1 -ef f2 |
files f1 and f2 are hard links to the same file |
逻辑测试
| -a |
逻辑与，操作符两边均为真，结果为真，否则为假。 |
| -o |
逻辑或，操作符两边一边为真，结果为真，否则为假。 |
| ! |
逻辑否，条件为假，结果为真。 |
举例: [ -w result.txt -a -w score.txt ] ;echo $? // 测试两个文件是否均可写
字符串测试
| -z string |
字符串string 为空串(长度为0)时返回真 |
| -n string |
字符串string 为非空串时返回真 |
| str1 = str2 |
字符串str1 和字符串str2 相等时返回真 |
| str1 == str2 |
同 = |
| str1 != str2 |
字符串str1 和字符串str2 不相等时返回真 |
| str1 < str2 |
按字典顺序排序，字符串str1 在字符串str2 之前 |
| str1 > str2 |
按字典顺序排序，字符串str1 在字符串str2 之后 |
举例: name="zqf"; [ $name = "zqf" ];echo $? // 打印 0 表示变量name 的值和字符串"zqf"相等
常见数值测试
常见数值测试
| int1 -eq int2 |
如果int1 等于int2，则返回真 |
| int1 -ne int2 |
如果int1 不等于int2，则返回真 |
| int1 -lt int2 |
如果int1 小于int2，则返回真 |
| int1 -le int2 |
如果int1 小于等于int2，则返回真 |
| int1 -gt int2 |
如果int1 大于int2，则返回真 |
| int1 -ge int2 |
如果int1 大于等于int2，则返回真 |
在 (()) 中的测试：
| < |
小于(在双括号里使用) |
(("$a" < "$b")) |
| <= |
小于等于 (在双括号里使用) |
(("$a" <= "$b")) |
| > |
大于 (在双括号里使用) |
(("$a" > "$b")) |
| >= |
大于等于(在双括号里使用) |
(("$a" >= "$b")) |
If 语句
变量测试语句一般不单独使用，一般作为if语句的测试条件，譬如：
if test -d $1 then
...
elif 条件2 then
...
fi
而变量测试语句可用[]进行简化，譬如：
test -d $1
等价于
[ -d $1 ]
Case
case 变量 in
字符串1) 命令列表1
;;
...
*) 通用命令
;;
esac
循环
While
while 条件
do
命令
done
Until
until 条件
do
命令
done
until类似于while循环，不同的是until是条件返回值为假时才继续执行。
For
for 变量 in 名字列表
do
命令列表
done
#!/bin/sh
for DAY in Sunday Monday Tuesday
do
echo "The day is : $DAY"
done
For语句也可以如下使用：
Vi hello.sh
#!/bin/bash
for((i=0;i<3;i++))
do
echo $i
done
流控制语句
v continue：继续当前循环
v break：跳出当前循环
Shell 命令
I/O输入输出
控制行
| read |
从键盘读入数据，赋值给变量 使用格式： read UserName Para1 Para2,... |
注意 l 输入参数个数小于定义，则缺省不赋值。 l 输入参数个数多于定义，则多余的参数会一次性赋给最后一个变量。 |
| select |
select 变量 in 关键字 do command 1 ... command n done
|
#!/bin/sh echo "You choice?" select var in "a" "b" "c";do break; done echo $var 如果提示select not found，则 把#!/bin/sh改为#!/bin/bash 执行脚本时将sh select.sh改为 bash select.sh |
| tee |
读取标准输入的数据，并将其内容输出成文件。 语法： tee [-ai][--help][--version][文件...] 参数： -a或--append :附加到既有文件的后面，而非覆盖它． -i-i或--ignore-interrupts :忽略中断信号。 --help :在线帮助。 --version :显示版本信息。 |
|
文件输入
运算
算术运算
| expr |
对整数型变量进行算术运算,注意运算参数之间的空格不可以省略。 |
expr 3 + 5 expr $var1 - 5 expr $var1 / $var2 expr $var3 \* 10 乘法需要转义字符 |
| let |
let 是 bash 內建的整數運算。arg 代表運算式。 當得到的值為 0，回應狀態值 1，其他數值，則回應狀態值 0。 |
#!/bin/bash let "t1 = ((a = 5 + 3, b = 7 - 1, c = 15 - 4))" echo "t1 = $t1, a = $a, b = $b" #!/bin/bash let a=5+4 b=9-3 echo $a $b |
进程控制
流程
| exit |
退出程序执行，并返回一个返回码，返回码为0表示正常退出，非0表示非正常退出 |
exit 0 |
字符串
统计
wc 命令
| Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。 |
| 1．命令格式： wc [选项]文件... 2．命令功能： 统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。 3．命令参数： -c 统计字节数。 -l 统计行数。 -m 统计字符数。这个标志不能与 -c 标志一起使用。 -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。 -L 打印最长行的长度。 -help 显示帮助信息 --version 显示版本信息 |
| 实例1：查看文件的字节数、字数、行数 命令： wc test.txt |
分隔
| awk -F |
域分隔符‘命令’ |
示例： 1、检测系统中UID为0的用户 awk -F: ‘$3==0 {print $1}’ /etc/passwd 2、检测系统中密码为空的用户 awk -F: ‘length($2)==0 {print $1}’ /etc/shadow |
调试
sh -x script：使用+号表示脚本执行情况。
sh -n script：不执行脚本只是进行脚本的语法检测，返回所有的错误。
************DEMO************
文件管理
删除
自动清除过时文件
1创建shell：
touch /opt/soft/bin/auto-del-30-days-ago-log.sh
chmod +x auto-del-30-days-ago-log.sh
新建一个可执行文件auto-del-30-days-ago-log.sh，并分配可运行权限
2编辑shell脚本：
vi auto-del-30-days-ago-log.sh
编辑auto-del-30-days-ago-log.sh文件如下：
#!/bin/sh
find /opt/soft/log/ -mtime +30 -name "*.log" -exec rm -rf {} \;
3计划任务：
#crontab -e
将auto-del-30-days-ago-log.sh执行脚本加入到系统计划任务，到点自动执行
输入：
10 0 * * * /opt/soft/log/auto-del-7-days-ago-log.sh >/dev/null 2>&1
这里的设置是每天凌晨0点10分执行auto-del-7-days-ago-log.sh文件进行数据清理任务了。
搜索
监控指定大小的文件
| 查找当前目录中所有大于500M的文件,把这些文件名写到一个文本文件中，并统计其个数。 |
| find ./ -size +500M -type f | tee file_list | wc -l |
| 在目录/tmp下找到100个以abc开头的文件，然后把这些文件的第一行保存到文件new中。 |
| for filename in `find /tmp -type f -name "abc*"|head -n 100` do sed -n '1p' $filename>>new done |
| 每隔10分钟监控一次，监控/usr下如果大于5G，发邮件给管理员 |
| #!/bin/bash while true do sleep 600 n=$(du -s /usr | cut -f1) if [ $n -gt 5242880 ] then mail -s "greater" filwsyl@gmail.com < ~/filename #将文件filename的内容发送出去。 fi done |
监控指定路径的文件