shell脚本学习

shell脚本编程

export PS1='\n\e[1;37m[\e[m\e[1;32m\u\e[m\e[1;33m@\e[m\e[1;35m\H\e[m \e[4m`pwd`\e[m\e[1;37m]\e[m\e[1;36m\e[m\n\$'

当shell脚本运行时，它会先查找系统环境变量ENV，该变量指定了环境文件（加载顺序通常是/etc/profile、~/bash_profile、~/bash_rc、/etc/bashrc）

常见的全局变量配置文件：
/etc/profile
/etc/bashrc
/etc/profile.d/
诺要在登陆后初始化或显示加载内容，则把脚本文件放在/etc/profile.d/下即可（无需加执行权限）

设置登录提示的两种方式：
1.在/etc/motd里增加提示的字符串
2.在/etc/profile.d/下面增加脚本

shell脚本

---

协程，协程可以同时做两件事。它在后台生成一个子shell，并在这个子shell中执行命令。要进行协程处理，得使用coproc命令，还要有在子shell中执行的命令.当外部命令执行时，会创建一个子进程。这种操作被称为衍生（forking）。

break：中断整个循环

continue：将控制转移到下一段代码，但是会继续执行循环

exit：退出整个循环

return：用于在函数中将数据返回，返回一个结果或代码给调用脚本

shell脚本中由于安全原因不支持执行suid,sgid,sticky bit
命令行参数2,9是位置参数，$0指向实际的命令、程序、shell脚本或函数

在一个函数中出现的2等由函数本身使用
@不加双引号指定了所有的命令行参数，加上双引号，@获取整个参数列表，并将其分割成不同的参数

当shell脚本运行时，它会先查找系统环境变量ENV，该变量指定了环境文件（加载顺序通常是/etc/profile、~/bash_profile、~/bash_rc、/etc/bashrc）

常见的全局变量配置文件：
/etc/profile
/etc/bashrc
/etc/profile.d/
诺要在登陆后初始化或显示加载内容，则把脚本文件放在/etc/profile.d/下即可（无需加执行权限）

1.在/etc/motd里增加提示的字符串
2.在/etc/profile.d/下面增加脚本

\n：换行
\r：回车
\t：制表符

chmod 4755 设置某个程序总是做为所有者执行（suid）

chmod 2755 设置某个程序总是做为文件所有者所属的组成员执行(sgid)

chmod 6755 设置某个程序总是做为文件所有者和文件所有者的组成员执行

echo -n :不换行输出

诺某个程序在正常退出前被终止，通常情况下可以捕获到一个退出信号，该退出信号成为一个陷阱(trap),退出信号：

数字	信号	含义
0	-	正常终止，脚本结束
1	SIGHUP	挂起，线路断开
2	SIGINT	终端中断，通常是Ctrl+C
3	SIGQUIT	退出键，子进程在终止前死掉
9	SIGKILL	kill -9 命令，不能捕获这种推出状态
15	SIGTERM	kill命令的默认操作
19	SIGSTOP	停止通常为Ctrl+Z

trap命令可以捕获信号

ps -ef ：除内核进程外所有进程的完整列表

ps -aux ：根据CPU的使用时间%CPU排序后显示的进程列表

/etc/motd/文件在每次用户登录时显示

tr ：大小写形式转换 tr '[a-z]' '[A-Z]' 或者 tr '[A-Z]' '[a-z]' 注意：需要使用单引号将[]扩起来

typeset -u 变量名 ：用于大写，设置了变量的属性之后，每次为变量赋值文本字符串时，都自动转换为大写字符

typeset -l 变量名：用于小写，设置了变量的属性之后，每次为变量赋值文本字符串时，都自动转换为小写字符

cron 表是一个系统文件，系统每分钟读取一次，而且将执行安排在该时间段执行的所有条目.

crontab -e 创建一个cron表，crontab -l 列出当前用户的cron表内容

at 根据时间来执行命令，比如十分钟后执行 at now + 10 minutes

2>&1 /dev/null ：将文件描述符2指定的标准错误（stderr）重定向到文件描述符1指定的标准输出（stdout）

if [ -s file ]：文件大小非零时为真

---

#!/bin/bash
out_file="/root/out_file"
in_file="/etc/passwd"
>${out_file}
exec 4<&1                 #4文件描述符从标准输出读入数据
exec 1>${out_file}     #标准输出重定向到${out_file}
while read LINE    #read LINE 读取文件中的每一行
do
echo "$LINE"
:
done < ${in_file}       #while循环从${in_file}读入数据
exec 1<&4          #将重定向到${out_file}的标准输出重新指向STDOUT
exec 4>&-          #关闭文件描述符4

linux系统将每个对象当作文件处理。这包括输入和输出进程。linux用文件描述符(file descriptor)来标示每个文件对象。文件描述符是一个非负整数，可以唯一标示会话中打开的文件。每个进程一次最多可以有9个文件描述符。

文件描述符	缩写	描述
0	STDIN	标准输入
1	STDOUT	标准输出
2	STDERR	标准错误

#!/bin/bash
out_file="/root/out_file"
in_file="/root/in_file"
exec 3>&1
exec 1>${out_file}
while read line 
do 
echo "$line"
done < ${in_file}
exec 1>&3
exec 3>&-

这个例子首先，脚本将文件描述符3重定向到文件描述符1的当前位置，也就是STDOUT。这意味着任何发送给文件描述符3的输出都将出现在显示器上。第二个exec命令将STDOUT重定向到文件，shell现在会将发送给STDOUT的输出直接重定向到输出文件中。但是，文件描述符3仍然指向STDOUT原来的位置，也就是显示器。如果此时将输出数据发送给文件描述符3，它仍然会出现在显示器上，尽管STDOUT已经被重定向了。
在向STDOUT现在指向一个文件发送一些输出之后，脚本将STDOUT重定向到文件描述符3的当前位置（现在仍然是显示器）。这意味着现在STDOUT又指向了它原来的位置：显示器。

---

逐行处理文件2

#!/bin/bash 
out_file="/root/out_file"
in_file="/etc/profile"
>${out_file}
exec 4>&1
exec 1>${out_file}
for line in `cat ${in_file}`
do
    echo "${line}"
done
exec 1>&4
exec 4>&-

---

逐行处理文件3

#!/bin/bash
while read line 
do
    echo "$line"
done < <(ps)

done后面的<与<之间必须有空格，执行脚本使用bash执行sh执行脚本会报错

---

打印色彩进度条

#!/bin/bash
num=0
str='#'
max=100
pro=('|' '/' '-' '\')
while [ $num -le $max ]
do
        ((color=30+num%8))
        echo -en "\e[1;"$color"m"
        let index=num%4
        printf "[%-100s %d%% %c]\r" "$str" "$num" "${pro[$index]}"
        let num++
        sleep 0.1
        str+='#'
done
printf "\n"
echo -e "\e[1;30;m"

---

expect实现免交互

#!/bin/bash 
function expect_mianmi() {
/usr/bin/expect <

---

捕获命令输出

#!/bin/bash
out_file="/tmp/outfile.out"
cat /dev/null >> ${out_file}
until  [ -s ${out_file}]
then
echo "test" >> ${out_file}
fi
more ${out_file}

---

生成随机数

#!/bin/bash
ran_dom=$$      #脚本执行后产生的PID
upper_limit=$1  #脚本传递的第一个参数
random_number=$((${ran_dom} % ${upper_limit} + 1))  #用PID除以传递的参数求模+1
echo "$$"
echo "${random_number}"

这个脚本只能生成4位数的随机数

高亮显示文本

cat /etc/hosts  | sed s#'km'#$(tput smso)'km'$(tput rmso)#g

删除文件中的重复的行

如果有一个有重复行的文件my_list，想要将my_list删除重复行保存到my_list_no_repeats,可以使用如下命令:
uniq  mylist  my_list_no_repeats
只查看一次重复的行可以使用：
cat my_list | uniq 

删除文本中的空行

cat my_file | sed '/^$/d'
sed '/^$/d' my_file

测试空变量

#!/bin/bash
VAL=        #设置一个空变量
if [[ -z "$VAL" && "$VAL" = '' ]]   
then
    echo "VAL is null"
fi
VAL=25      #设置一个有值的变量
if [[ ! -z "$VAL"  && "$VAL" != '' ]]
then
    echo "VAL is not NULL"
fi
#双中括号进行测试，unix脚本中说变量必须使用双引号扩起来，实际双中括号更多的用来进行字符串比较，使用"[[]]"可以在判断中使用&&、||而不是-a,-o
#"["和test是bash的内嵌命令，而"[[]]"是关键字

简单发送邮件告警

#!/bin/bash
mail_file="/tmp/mailfile.out"       #定义邮件的内容
mail_list="[email protected]"        #收件人地址
> ${mail_file}                      #清空邮件内容
function check_system {
if [ -s ${mail_file} ]              #如果邮件内容不为空则执行
then
    mail -s "Filesystem Full" ${mail_list} > ${mail_file}   #发送邮件给收件人，filesystem full是邮件主题
fi
file_sys="/"            #测试，定义邮件的内容
file_size="98%"
this_host=`uname -n`
echo "${this_host} ${file_sys} is use ${file_size}" | tee -a ${mail_file}   #tee命令将echo同时输出到显示器和指定的文件中
}
check_system

“.”作为进度条显示进度

#!/bin/bash
while true 
do
    echo -e ".\c"       #在同一行打印"."不换行
    sleep 1             #很重要，不指定时间循环将输出很多"."
done &                  #让循环在后台运行，会有运行pid
bg_pid=$!               #"#!表示上一个后台进程的pid"用变量bg_pid来保存循环的运行pid
source /root/shell/while_read_line.sh   
kill "$!"               #在实际脚本执行完毕后杀死进度条循环

旋转线进度条

#!/bin/bash
rcount_num=0            #设置一个递增的变量
while :
do
    ((rcount_num = rcount_num + 1)) #让变量的值递增
    case ${rcount_num} in 
        "1")
            echo -e "-\b\c"         #"\b"退回光标
            sleep 1                 #"\c"继续在统一行显示
        ;;
        "2")
            echo -e '\'"\b\c"       #"\"是特殊字符需要转义
            sleep 1
        ;;
        "3"
            echo -e "|\b\c"
            sleep 1
        ;;
        "4")
            echo -e "/\b\c"
            sleep 1
        ;;
        *)
            rcount_num=0            #还原变量的值，让循环继续
    esac
done &                              #循环后台运行产生pid         
bg_pid=$!                           #"#!"保存上一个后台进程的pid
sh /root/shell/while_read_line.sh
kill $!

date:20190304

env或者set显示默认的环境变量;
unset消除本地变量和环境变量；
按天打包网站的站点目录程序 CMD=$(date +%F);
按时间打包/etc/目录：tar czf $(date +%F).tar.gz /etc  ; 

位置变量	作用说明
$0	获取当前执行脚本的路径名，如果执行脚本包含了路径，那么就包括脚本路径
$n	获取当前执行shell脚本的第n个参数，n=1..9，当n为0时，表示脚本的文件名；如果n>9,则用大括号括起来，例如${10},接的参数以空格隔开
$*	获取当前shell脚本所有传参的参数，不加引号和*加上双引号，例如"1 3"
$@	获取当前shell脚本所有传参的参数，不加引号和@加上双引号，例如："1" "3" "$..."。
$?	获取上一个指令执行状态的返回值，
$$	获取当前执行的shell脚本的进程号(pid)
$!	获取上一个在后台工作进程的进程号
$_	获取在此之前执行的命令或脚本的最后一个参数

date:20190305

#位置参数大于9需要用大括号括起来
cat n.sh
echo $1 $2 $3 $4 $5 $6 $7 $8 $9 ${10} ${11} ${12} ${13} ${14} ${15}
sh n.sh {a..z}

echo $0 ,如果不带脚本路径，输出的就是脚本的名称，带上路径执行脚本，$0也会带着路径
set -- "I am" km boy     #通过set设置3个字符串参数，"--"表示清除所有的参数变量，重新设置后面的参数变量

实现系统中多次执行某一个脚本，同一时间运行的只有一个。

#!/bin/bash
pid_path=/tmp/a.pid
if  [ -f ${pid_path} ]
then
    kill -9 `cat ${pid_path}`
    rm -f ${pid_path}
fi
echo $$ > ${pid_path}
sleep 300 &

date:20190307

exec 命令能够在不创建新的子进程的前提下，转去执行指定的命令，当指定的命令执行完毕后，该进程（也就是最初的shell）就终止了。

当使用exec打开文件后，read 命令每次都会将文件指针移动到文件的下一行进行读取，直到文件末尾，利用这个可以实现处理文件功能。

seq 10 > /tmp/tmp.log


#!/bin/bash
exec < /tmp/tmp.log
while read line 
do 
    echo $line
done 
echo ok

shift：shift命令主要是将$1 $2等位置参数进行左移

#!/bin/bash
echo $1 $2 
if [ $# -eq 2 ]
then
    shift
fi
echo $1

变量子串说明

id	表达式	说明
1	${parameter}	返回变量$parameter的内容
2	${}	返回变量$parameter内容的长度（按字符），也适用于特殊变量
3	${parameter:offset}	在变量${parameter}中，从位置offset之后开始提取子串到结尾
4	${parameter:offset:length}	在变量${parameter}中，从位置offset之后开始提取长度为length的字串
5	${parameter#word}	从变量${parameter}开头开始删除最短匹配的word子串
6	${parameter##word}	从变量${parameter}开头开始删除最长匹配的word子串
7	${parameter%word}	从变量${parameter}结尾开始删除最短匹配的word子串
8	${parameter%%word}	从变量${parameter}结尾开始删除最长匹配的word子串
9	${parameter/pattern/string}	使用string代替第一个匹配的pattern
10	${parameter//pattern/string}	使用string代替所有匹配的pattern

km_laoge='I am huge'
echo ${#km_laoge}       #返回变量值的长度
echo ${km_laoge:2}      #截取km_laoge变量的内容，从第2个字符之后开始截取，默认截取后面字符的全部，第二个字符不包含在内。
echo ${km_laoge:2:2}    #截取km_laoge变量的内容，从第2个字符之后开始截取，截取2个字符
oldboy="I'm oldboy,oldboy"
echo ${oldboy/oldboy/oldgirl}       #"/"表示替换匹配的第一个字符串
echo ${oldboy//oldboy/oldgirl}      #"//"表示替换匹配的所有字符串

touch stu_1029999_{1..5}_finished.jpg
for i in `ls *finished.jgp`; do mv $i  `echo {$i/_finished/}` ; done 

表达式	说明
${parameter:-word}	如果parameter的变量的值为空或未赋值，则会返回word字符串并替代变量的值
${parameter:=word}	如果parameter的变量的值为空或未赋值，则设置这个变量值为word，并返回其值。位置变量和特殊变量不适用
${parameter:?word}	如果parameter的变量的值为空或未赋值，那么word字符串将被作为标准错误输出，否则输出变量的值
${parameter:+word}	如果parameter变量值为空或未赋值，则什么都不做，否则word字符串将代替变量的值

---

变量计算

a=10
echo ${a++}   #如果a在运算符(++或者--)的前面，那么在输出整个表达式时，会输出a的值
echo ${++a}   #如果a在运算符(++或者--)的后面，那么在输出整个表达式时，先进行自增或自减计算
i=1
expr $i + 6 > /dev/null 2>&1
echo $?       #利用expr计算来判断变量是否为整数
echo `seq -s '+' 10`=`seq -s '+' 10|bc`
declare -i A=30 B=8    #<==declare -i参数可以将变量定义为整形
A=A+B                  #<==因为已声明是整型，因此可以直接进行运算

shell脚本的条件测试与比较

• test命令和[]是等价的，[[]]为扩展的test命令，()常用于计算
• 在[[]]中可以使用通配符等进行模式匹配，这是其区别于其他几种语法格式的地方
• && 、||、>、<等操作符可以应用于[[]]中，但不能应用于[]中，在[]中一般用-a、-o、-gt、-lt代替上述操作符

-z 如果测试字符串的长度为0，则表达式成立
-d 文件存在且为目录为真
-f 文件存在且为普通文件为真
-e 文件存在则为真
-r 文件存在且可读则为真
-s 文件存在且文件大小不为0则为真
-w 文件存在且文件可写则为真
-x 文件存在且可执行则为真
-L 文件存在且为链接文件则为真
f1 -nt f2 文件f1比文件f2新则为真
f1 -ot f2 文件f1比文件f2旧则为真

-n "字符串" 若字符串的长度不为0，则为真
-z "字符串" 若字符串的长度为0，则为真
"串1" = "串2" 若字符串1等于字符串2，则为真，可使用"=="代替"="
"串1" != "串2" 若字符串1不等于字符串2，则为真，但不能用"!=="代替"!="

• 比较符（例如=和!=）的两端一定要有空格
• "!="和"="可用于比较两个字符串是否相同

wget --spider --timeout=10 --tries=2 www.baidu.com 模拟爬取

sort -u ：依次排序，且路径名只出现一次