shell常用脚本命令及有关知识

 有关shell有关会经常更新

一、需要记住的一些知识点

1、变量类型

运行shell时，会同时存在三种变量：

1) 局部变量

局部变量在脚本或命令中定义，仅在当前shell实例中有效，其他shell启动的程序不能访问局部变量。

2) 环境变量

所有的程序，包括shell启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。必要的时候shell脚本也可以定义环境变量。

3) shell变量

shell变量是由shell程序设置的特殊变量。shell变量中有一部分是环境变量，有一部分是局部变量，这些变量保证了shell的正常运行

2、shell变量说明

$$
Shell本身的PID（ProcessID）
$!
Shell最后运行的后台Process的PID
$?
最后运行的命令的结束代码（返回值）
$-
使用Set命令设定的Flag一览
$*
所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。
$@
所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2" … "$n" 的形式输出所有参数。
$#
添加到Shell的参数个数
$0
Shell本身的文件名
$1～$n
添加到Shell的各参数值。$1是第1参数、$2是第2参数…。

3、单引号和双引号和反引号的区别

以单引号' '包围变量的值时，单引号里面是什么就输出什么，即使内容中有变量和命令（命令需要反引起来）也会把它们原样输出。
以双引号" "包围变量的值时，输出时会先解析里面的变量和命令，而不是把双引号中的变量名和命令原样输出。

以反引号` `(在键盘esc下面)，命令替换是指Shell可以先执行命令，将输出结果暂时保存，在适当的地方输出。可以用指定变量指定
 

4、shell转义字符

 \\    反斜杠
\a    警报，响铃
\b    退格（删除键）
\f    换页(FF)，将当前位置移到下页开头
\n    换行
\r    回车
\t    水平制表符（tab键） 
\v    垂直制表符

5、 算术运算符列表

运算符       说明                         举例
+           加法                   `expr $a + $b` 结果为 30。
-            减法                   `expr $a - $b` 结果为 10。
\*            乘法                   `expr $a \* $b` 结果为  200。
/            除法                   `expr $b / $a` 结果为 2。
%          取余                   `expr $b % $a` 结果为 0。
=           赋值                   a=$b 将把变量 b 的值赋给 a。
==        相等。用于比较两个数字，相同则返回 true。    [ $a == $b ] 返回 false。
!=         不相等。用于比较两个数字，不相同则返回 true。    [ $a != $b ] 返回 true。

6、关系运算符

关系运算符只支持数字，不支持字符串，除非字符串的值是数字。

 运算符              说明                                                                      举例
-eq      检测两个数是否相等，相等返回 true。                            [ $a -eq $b ] 返回 true。
-ne      检测两个数是否相等，不相等返回 true。                        [ $a -ne $b ] 返回 true。
-gt       检测左边的数是否大于右边的，如果是，则返回 true。    [ $a -gt $b ] 返回 false。
-lt        检测左边的数是否小于右边的，如果是，则返回 true。    [ $a -lt $b ] 返回 true。
-ge      检测左边的数是否大等于右边的，如果是，则返回 true。    [ $a -ge $b ] 返回 false。
-le       检测左边的数是否小于等于右边的，如果是，则返回 true。    [ $a -le $b ] 返回 true。

7、布尔运算符列表

运算符                     说明                                                      举例
!       非运算，表达式为 true 则返回 false,否则返回 true。    [ ! false ] 返回 true。
-o    或运算，有一个表达式为 true 则返回 true。       [ $a -lt 20 -o $b -gt 100 ] 返回 true。
-a    与运算，两个表达式都为 true 才返回 true。       [ $a -lt 20 -a $b -gt 100 ] 返回 false。 

8、 文件测试运算符列表

操作符         说明                                                                       举例
-b file    检测文件是否是块设备文件，如果是，则返回 true。    [ -b $file ] 返回 false。
-c file    检测文件是否是字符设备文件，如果是，则返回 true。    [ -b $file ] 返回 false。
-d file    检测文件是否是目录，如果是，则返回 true。    [ -d $file ] 返回 false。
-f file    检测文件是否是普通文件（既不是目录，也不是设备文件），如果是，则返回 true。    [ -f $file ] 返回 true。
-g file    检测文件是否设置了 SGID 位，如果是，则返回 true。    [ -g $file ] 返回 false。
-k file    检测文件是否设置了粘着位(Sticky Bit)，如果是，则返回 true。    [ -k $file ] 返回 false。
-p file    检测文件是否是具名管道，如果是，则返回 true。    [ -p $file ] 返回 false。
-u file    检测文件是否设置了 SUID 位，如果是，则返回 true。    [ -u $file ] 返回 false。
-r file    检测文件是否可读，如果是，则返回 true。    [ -r $file ] 返回 true。
-w file    检测文件是否可写，如果是，则返回 true。    [ -w $file ] 返回 true。
-x file    检测文件是否可执行，如果是，则返回 true。    [ -x $file ] 返回 true。
-s file    检测文件是否为空（文件大小是否大于0），不为空返回 true。    [ -s $file ] 返回 true。
-e file    检测文件（包括目录）是否存在，如果是，则返回 true。    [ -e $file ] 返回 true。

二、常用脚本命令举例说明

例子太长为了简写，只列举一个

1、nginx的日志我们存储在nginx.log里,统计出2020年4月23号的访问ip次数，并且按照次数降序排序

例：192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

cat nginx.log | grep 23/Apr/2020 | awk -F "-" '{print $1}'|sort|uniq -c | sort -r | awk '{print $1,$2}'

2、nginx的日志我们存储在nginx.log里,统计2020年04月23日20-23点的去重IP访问量

例：192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

cat nginx.log | grep 23/Apr/2020:2[0-3] | awk '{print $1}' | sort | uniq | wc -l

3、nginx的日志我们存储在nginx.log里,写脚本统计访问3次以上的IP

例：192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

cat nginx.log | awk '{print $1}'| sort | uniq -c | awk '{if ($1 >3) print $0}' | sort -r | awk '{print $1,$2}'

awk的数据字段变量
$0表示整行文本
$1表示文本中第一个数据字段
$2表示文本中第二个数据字段
$n表示文本中第n个数据字段

4、netstat命令运行的结果放在netstat.txt,查看和本机3306端口建立连接并且状态是established的所有IP，按照连接数降序排序

例：tcp        0      0 172.16.56.200:41856     172.16.34.144:3306      ESTABLISHED

cat netstat.txt | grep ESTABLISHED | grep 3306 | awk '{print $5}' | awk -F ":" '{print  $1}' | sort  | uniq -c | sort -hr | awk '{print $1,$2}'

5、统计网段内在用或者未用IP

#!/bin/bash
for ip in `seq 0 255`
 do
 ping -c 1 -i 0 192.168.2.$ip
if [ $? -eq 0 ]
then
 echo "192.168.2.$ip" >> /root/up.txt
else
 echo "192.168.2.$ip" >> /root/down.txt
fi
done

6、读取文件行数，一行行的循环读取

例：cat http

www.baidu.com

www.cityhouse.cn

www.cityre.cn

vim htttp.sh

cat /data/script/http | while read line
do
  curl $line 
done
date=`date "+%Y-%m-%d-%H-%M-%S"`
echo "sucessful$date" >> /data/script/http.txt

7、定期清除catalina.out日志

vim /data/script/catalina.sh

#!/bin/bash
find / -name catalina.out >> /data/script/catalina 2>&1
cat /data/script/catalina | while read line
do
   echo > $line
done

crontab -e 

0 1 1,6,11,16,21,26 * * sh /data/script/catalina.sh