2019-09-19

Shell 概述

image.png

Shell 解析器

• 查看系统shell解析器

cat /etc/shells

/bin/sh
/bin/bash
/usr/bin/sh
/usr/bin/bash

默认解析器为bash

Shell 脚本入门

• 新建hello.sh

vim hello.sh

• 添加shell脚本

#!/bin/bash
echo "hello world"

• 执行shell 程序
  bash hello.sh

• 为hello.sh添加可执行权限, 并执行

sudo chmod a+x hello.sh
./hello.sh

多命令处理

vim batch.sh

#!/bin/bash
cd /data/dev/shelltest
touch test.txt
echo "hello bash" >> test.txt

bash batch.sh

Shell中的变量

系统变量

• $HOME
• $PWD
• $SHELL
• $USER

echo $PWD

自定义变量

1. 基本语法

• 定义变量: 变量=值

## 赋值操作不能有空格
A=2
echo $A

• 撤销变量: unset 变量

• 声明静态变量: readonly变量, 注意: 不能unset

readonly B=3
echo $B
## 此行会出错
unset B

• 把变量提升为全局环境变量，可供其他Shell程序使用

export 变量名

*变量定义规则:

• 变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。

• 等号两侧不能有空格

• 在bash中，变量默认类型都是字符串类型，无法直接进行数值运算。

• 变量的值如果有空格，需要使用双引号或单引号括起来。

• 特殊变量: $n

1. 基本语法
   0代表该脚本名称，9代表第一到第九个参数，十以上的参数，需要用大括号包含，如${10})

$# (功能描述: 获取所有输入参数个数，常用于循环)

*把所有的参数看成一个整体)

@把每个参数区分对待)

$? (功能描述: 最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行，如果这个变量的值为非0 [具体是哪个数, 由命令自己来决定] 则证明上一个命令执行不正确)

echo "$0 $1 $2 $3"

echo "$#"

运算符

基本语法

1. "[运算式]"
2. expr +, -, *, /, % 加， 减， 乘， 除， 取余
   注意: expr 运算符间需要有空格

expr `expr 2 + 3` \* 5
echo $[(2+3)*5]

条件判断

1. 基本语法
   [ condition ] (注意condition 前后要有空格)
   注意: 条件非空即为true, [ hello ] 返回true, [] 返回 false

2. 常用判断条件
   2.1 两个整数之间比较

• = 字符串比较
• -lt 小于 (less than)
• -le 小于等于 (less equal)
• -eq 等于 (equal)
• -gt 大于 (greater than)
• -ge 大于等于 (greater equal)
• -ne 不等于 (not equal)

2.2 按照文件权限进行判断

• -r 有读的权限 (read)
• -w 有写的权限 (write)
• -x 有执行的权限 (execute)

2.3 按照文件类型

• -f 文件存在并且是一个常规的文件 (file)
• -e 文件存在 (existence)
• -d 文件存在并是一个目录 (directory)

[ 22 -lt 23 ]
echo $?

[ -f ~/echohtml.txt ]
[ -r ~/hello.sh ]  

多条件判断 (&& 表示前一条命令执行成功时，才执行后一条命令, || 表示上一条命令执行失败后，才执行下一条命令)

## 前面条件不满足 才会执行后面的命令
[ hello ] && [  ] || echo helloshell 

流程控制 (重点)

if 判断

1. 基本语法

if [ 条件判断式 ]; then
程序
else
fi

或者

if [ 条件判断式 ]
then
程序
fi

注意事项:
(1) [ 条件判断式 ]，中括号和条件判断式之间必须有空格
(2) if 后要有空格

#!/bin/bash

if [ $1 -eq 1 ]
then
        echo "hello 1"
elif [ $1 -eq 2 ]
then
        echo "hello 2"
fi

case 语句

1. 基本语法
   case $变量名 in
   "值1")
   如果变量的值等于值1，则执行程序1
   ;;
   "值2")
   如果变量的值等于值2，则执行程序2
   ;;
   ...省略其他分支...
   *)
   如果变量的值都不是以上的值, 则执行此程序
   ;;
   esac

注意事项:

1. case行尾必须为单词"in",每一个模式匹配必须以右括号")"结束。
2. 双分号";;" 表示命令序列结束，相当于java中的break。
3. 最后的"*)" 表示默认模式，相当于java中的default。

#!/bin/bash

case $1 in
1)
        echo "hello 1"
;;
2)
        echo "hello 2"
;;
*)
        echo "hello everybody"
;;
esac

for 语句

1. 基本语法1
   for(( 初始值; 循环条件; 变量变化 ))
   do
   程序
   done

#!/bin/bash

s=0
for((i=0;i<=100;i++))
do
        s=$[$s+i]
done

echo $s

2. 基本语法2
   for 变量 in 值1 值2 值3...
   do
   程序
   done

#!/bin/bash
## $* 一次性赋予所有的参数 $@循环赋予参数
for i in "$*"
do
        echo "hello $i"
done

for i in "$@"
do
        echo "hi $i"
done

while 循环

1. 基本语法
   while [ 条件判断式 ]
   do
   程序
   done

#!/bin/bash

s=0
i=1
while [ $i -le 100 ]
do
        s=$[$s + $i]
        i=$[$i + 1]
done

echo $s

read 读取控制台输入

1. 基本语法
   read(选项)(参数)
   选项:
   -p: 指定读取值时的提示符;
   -t: 指定读取值时等待的时间(秒)
   参数:
   变量: 指定读取值得变量名

#!/bin/bash

read -t 5 -p "Enter your name:  " NAME

echo "你输入的名字为: $NAME"

函数

系统函数

1. basename 基本语法
   basename [string / pathname] [suffix]
   (功能描述: basename命令会删掉所有的前缀包括最后一个('/') 字符, 然后将字符串显示出来。)

选项:
suffix 为后缀，如果suffix被指定了, basename 会将pathname 或string中的suffix 去掉。

## hello.txt
basename ~/shellTest/hello.txt
## hello
basename ~/shellTest/hello.txt .txt

2. dirname 基本语法
   dirname 文件绝对路径
   ( 功能描述: 从给定的包含绝对路径的文件名中去除文件名(非目录的部分)，然后返回剩下的路径 () )

## 返回目录路径
dirname ~/shellTest/hello.txt

自定义函数

1. 基本语法
   [ function ] funname[()]
   {
   Action;
   [return int;]
   }
   funname

#!/bin/bash

function sum()
{

        s=0
        s=$[$1+$2]
        echo $s

}

read -p "Enter First Number: " P1
read -p "Enter First Number: " P2

sum $P1 $P2

2. 经验技巧
   2.1 必须在调用函数地方之前，先声明函数，shell脚本是逐行运行的，不会像其他语言一样先编译。
   2.2 函数返回值，只能通过$?系统变量获得，可以显示加:return返回，如果不加，将以最后一条命令运行结果，作为返回值。return 后跟数值n (0-255)

Shell工具 (重点)

cut

cut的工作就是"剪"，具体的说就是在文件中负责剪切数据用的，cut命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。

1. 基本用法
   cut [选项参数] filename
   说明: 默认分隔符是制表符
2. 选项参数说明:

• -f : 列号，提取第几列
• -d : 分隔符，按照指定分隔符分割列

vim cut.txt

dong shen
guan zhen
wo  wo
lai  lai
le  le

cat cut.txt

练习1: 切割cut.txt 第一列

cut -d " " -f 1 cut.txt

练习2: 切割cut.txt第二、三列

cut -d " " -f 2,3 cut.txt

练习3: 在cut.txt 文件中切割出guan

cat cut.txt | grep guan | cut -d " " -f 1

练习4: 选取系统PATH变量值，第2个":" 开始后的所有路径

echo $PATH | cut -d ":" -f 3-

练习5: 切割ifconfig 后打印IP地址

ifconfig ens192 | grep netmask |cut -d ' ' -f 10

sed

sed 是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓存区中，称为"模式空间"，接着用sed命令处理缓存区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

1. 基本用法
   sed [ 选项参数 ] 'command' filename

2. 选项参数说明
   -e 直接在指令列模式上进行sed的动作编辑
   a 新增，a的后面可以接字串，在下一行出现
   d 删除
   s 查找并替换

mv cut.txt set.txt

练习1
将"mei nv" 这个单词插入到sed.txt 第二行下，打印

sed "2a meinv" sed.txt

练习2
删除sed.txt文件所有包含wo的行

sed "/wo/d" sed.txt

练习3
将sed.txt文件中wo替换为ni (注意: 'g' 表示global, 全部替换)

sed "s/wo/ni/g" sed.txt

练习4
将sed.txt文件中的第二行删除并将wo替换为ni

sed -e "2d" -e "s/wo/ni/g" sed.txt

awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。

1. 基本用法
   awk [选项参数] 'pattern1{action1} pattern2{action2}...' filename
   pattern: 表示AWK在数据中查找的内容，就是匹配模式
   action: 在找到匹配内容时所执行的一系列命令
2. 选项参数说明
   -F 指定输入文件分隔符
   -v 赋值一个用户定义变量

### 拷贝passwd文件
cp /etc/passwd ~/shellTest

练习1 搜索passwd文件以root关键字开头的所有行，并输出该行的第7列。

awk -F : '/^root/ {print $7}' passwd

练习2 搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以","号分割

awk -F : '/^root/ {print $1","$7}' passwd

练习3 只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user, shell 在最后一行添加 "dahaige, /bin/zuishuai"。

awk -F : 'BEGIN {print "user shell"} {print $1 ","$7} END{print "dahaige,/bin/zuishuai"}' passwd

注意: BEGIN 在所有数据读取行之前执行，END在说哟有数据执行之后执行。
练习4 将passwd文件中的用户id增加数值1并输出

awk -F : -v i=1 '{print $3+i}' passwd

awk的内置变量

• FILENAME 文件名
• NR 已读的行数
• NF 浏览记录的域的个数 (切割后，列的个数)

练习1：统计passwd文件名，每行的行号，每行的列表

awk -F : '{print "fileName:" FILENAME ", lineNum: " NR ", columns: " NF}' passwd

练习2：切割IP

ifconfig ens192 | grep netmask | awk '{print $2}'

练习3：查询sed.txt中空行所在的行号

### 为sed文本添加空行，执行以下命令
awk '/^$/ {print NR}' sed.txt

sort

sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。

1. 基本语法
   sort (选项) (参数)
   -n 依照数值的大小排序
   -r 以相反的顺序来排序
   -t 设置排序时所用的分隔字符
   -k 指定需要排序的列

touch sort.sh
vim sort.sh
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6

### 以: 分割字符,第二列 按数值的倒叙来排列
sort -t : -nrk 2 sort.txt

面试题 (重点)

1. 使用Linux 命令查询file1中空行所在的行号

awk '/^$/ {print NR}' file1

2. 有如下chengji.txt内容如下
   张山 40
   李四 50
   王五 60
   使用Linux命令计算第二列的和并输出

awk -F " " '{sum+=$2} END{print sum}' chengji.txt

3. Shell脚本里如何检查一个文件是否存在？如果不存在该如何处理？

#!/bin/bash

if [ -f $1 ]; then
        echo "文件$1存在"
else
        echo "$1文件不存在"
fi

4. 用shell写一个脚本，对文本中无序的一列数字排序
   18
   25
   6
   24
   5
   64
   22
   32

sort -n number.txt | awk '{s+=$0} {print $0} END{print s}'

5. 请用shell脚本写出查找当前文件夹(~/shellTest) 下所有的文本文件内容中包含有字符"shen"的文件名称

grep -r dong ~/shellTest/ | cut -d "/" -f 6 | cut -d ":" -f 1