shell 学习
Shell 特性：
history 保存在 ~/.bash_hostory，保留1000条：定义在
echo $HISTSIZE
!!: 上一条命令
!$: 上一条命令的最后一个参数
!950: 第950条命令
!c: 历史中最近的以 c 开头的命令
tab: 命令补全
alias: 别名 unalias
*,?: 通配符 正则表达式
|: 管道符
>,>>: 重定向跟追加,开启 noclobber 之后，覆盖需要 >|
-<<delimiter 以 delimiter 为分隔符，将 两个 delimiter 之间的输入，输出到指定地方
2>: 错误重定向 2&1>: 整齐跟错误重定向
set -C : 开启 -C 选项，防止重定向时覆盖文件
set -u : u 指的是 nounset ,表示 当使用未定义变量时，输出错误信息，并强制退出
set -r : 启动 shell 的限制模式，限制模式下，有一些命令不能使用。例如：cd , 改变一些重要的环境变量 PATH SHELL 等，输出重定向。。。
set -b : 启动 norify 选项，就是在 后台运行的进程结束之后自动提示。
sleep,fg,bg,jobs: fg后面加个数字ID
shift : 左移一位数组
getopts "ab:" option : 查看 变量中 以 - 开头的选项，是否在 a,b 中，若是，则 $option 就为此值，否则值为 ?
Shell 变量：
env: 查看系统变量
set: 系统跟自定义变量
变量中带有特殊字符，需要用单引号 : b='ls /tmp'
变量中引用命令，用反引号 : myvim=`which vim`
变量之间的连接，用双引号 : c="$a"12
export : 变量全局声明
local : 变量局部定义
unset d : 删除一个变量的值
${color:=blue} : 如果 color 没有赋值，则调用之后 color 的值为 blue
${color:-blue} : 如果 color 没有赋值，则调用之后 color 的值为 undef
${color:?blue} ${color?blue} : 测试变量 color 是否被赋值，若没有被赋值则报错
readonly color ： 设置 color 为只读，赋值就报错 扩展：declare 和 typeset
declare -r : 设置为只读；declare -i ：设置为整型数；declare -a : 定义为数组；declare -x : 定义为环境变量，相当于 export ;
间接变量引用：eval tempvar=\$$variable1 ; tempvar = ${ !variable1 }
Shell 环境变量：
系统级别：
/etc/profile : /etc/profile.d/*.sh
/etc/bashrc :
1) /etc/profile.d/*.sh
2) PS1='[\u@\h-\t \w(W)]\$ '
3) umask 修改
umask.sh : umask 0012
用户级别：
.bash_history : 记录历史命令
.bash_logout : 退出的时候所做的事
.bash_profile : 用户自己环境变量配置文件
.bashrc : root用户用到的别名
去除当前环境变量 unset APPSPATH
设置环境变量 export APPSPATH=....
了解的环境变量： PWD（当前工作目录） , OLDPWD（旧工作目录） , PATH , HOME（当前用户家目录） , SHELL（当前shell） , USER（当前用户 ） , UID（当前用户 ID） , PPID（父进程 ID） , PS1（一级提示符） , PS2（二级提示符） , IFS(域分隔符)
Shell 基本用法之 cut :
cat /etc/passwd | cut -d ':' -f 1 | head -n5 （以：分割的第一段数据的前5条）
head -n2 /etc/passwd | cut -c2 (截取第二个字符)
head -n2 /etc/passwd | cut -c1-5 （截取第1-5个字符）
Shell 基本用法之 paste:
paste [option] 文件1 文件2
paste -d@ file1 file2 : -d 为设置新的分隔域，默认是空格和tab键
paste -d: -s file1 file2 : 将每个文件粘贴成一行
ls | paste -d"" - - - - - : 将 ls 的结果按照每行 5 个文件排列显示
Shell 基本用法之 sort :
head -n5 /etc/passwd | sort : 升序
head -n5 /etc/passwd | sort -t: -k3 -n : 使用纯数字以第三个字段来排序
head -n5 /etc/passwd | sort -t: -k3,5 -r : 从第三到第五字段之间的字符串进行反向排序
cut -d : -f1 /etc/passwd | sort -n -u : -nu 会把字符串都看成0 ，并且去重
Shell 基本用法之 wc:
wc -l 1.txt 2.txt : 列出有几行
wc -w (word) ： 输出以空格为分割的多少个字
echo "12345" | wc -m : 输出多少字符
Shell 基本用法之 uniq 和 tee:
uniq +文件 ： 去重，但是 uniq 只对连续的相同行进行判断
sort +文件 | uniq -c : -c是可以计算重复的行数
uniq -d 只显示有重复的记录，其中每个重复记录只显示一次，uniq -u 只显示没有重复的记录
echo "1213" | tee +文件 : 重定向并且把结果显示在屏幕上
tee -a +文件： a 指的是追加，append
Shell 基本用法之 join:
join [option] 文件1 文件2 ：针对的是
两个已经排序过的文件进行内容合并
join -t : 文件1 文件2；join -i 比较域的时候，忽略大小写
join -a : 显示共同域连接的结果；-v : 不显示连接的结果
join -o1.1 2.2 1.2 : 改变显示的格式为，第一个文件的第一个域，第二个文件的第二个域，第一个文件的第二个域 这三个域
Shell 基本用法之 tr和 split:
head -n2 /etc/passwd | tr '[a-z]' '[A-Z]' : 把小写转化为大写
-d : 删除某个字符； -s : 去除重复的字符
tr -d A-Z <file ; tr -d 0-9 <file; tr -d "[\n]" <file
tr -s "[\n]" <file ; tr -s "[\012]" <file
split -b500 passwd : 将文件以500bytes 为一个文件分割，默认不指定目标文件，则会产生xaa,xab,xac... 文件来显示
split -l 10 +文件： 将文件以10行为单位来进行分割
split -b 500 + 文件 123: 指定目标文件名，则会以123aa,123ab,123ac...来显示
Shell 基本用法之 grep : grep [option] "匹配内容" 输入文件
grep :
1) . -c : 打印符合要求的行数
2) . -n : 输出行号
3) . --color : 显示颜色
4) . -v : 打印不符合要求的行
5) . -A+数字 : 显示符合要求的行以及下面n行
6) . -B+数字 : 显示符合要求的行以及上面n行
7) . -C+数字 : 显示符合要求的行以及上下各n行
8) . -rh : 访问目录 grep -rh "iptables" /etc/*
9) . --include : 包含某个文件
把一个目录下，过滤所有*.php 文档中含有eval 的行
grep -r --include="*.php" 'eval' /data/
egrep = grep -E
Shell 基本用法之 sed : sed 内容定位行 "sed 命令" 输入文件
sed '10'p -n 1.txt : 加上-n 打印出符合规则的行
sed -n '/root/'p 1.txt : 打印包含特殊字符的行
-r : sed 不能识别 +| {} () 等符号，需要脱义字符\或者-r
sed -n -r '/ro+/'p 1.txt
sed -n '/ro\+/'p 1.txt
-e : 实现多个任务，也可以用 ; 来实现
sed -e '/root/p' -e '/body/p' -n 1.txt
d : 删除指定行
sed '/root/d' 1.txt ; sed '1d' 1.txt ; sed '1,10d' 1.txt
s : 替换
sed '1,2s/ot/to/g' 1.txt
替换两个字符串的位置，其中\3\2\1分别代表三个（）的内容
head -n2 1.txt | sed -r 's/(root)(.*)(bash)/\3\2\1/'
a：指定行后面添加
sed '2,4a abcd' xx.txt 在2到4行添加 abcd
-i : 直接修改文件
sed -i 's/ot/to/g' 1.txt
Shell 基本用法之 awk: awk -F : '/pattern/ {print}' 输入文件 | awk 'BEGIN {FS=","}{print} {END }' 输入文件
1. awk -F ':' '{print $1}' 1.txt
2. awk -F ':' '{OFS="#"} {print $1,$2,$3,$4}' 1.txt 就是
awk -F ':' '{print $1#$2#$3#$4}' 1.txt
3. awk '/oo/' 1.txt : 匹配oo
4. awk -F ':' '$1 ~/oo/' 1.txt : 在第一段匹配oo
5. 条件操作符 ==,>,<,!=,>=,<=
第三段为0 ： awk -F ':' '$3=="0"' 1.txt
第三段大于等于500 ： awk -F ':' '$3>=500' 1.txt
第七段不是'/sbin/nologin' : awk -F ':' '$7!="/sbin/nologin"' 1.txt
6. awk 内置变量NF (段数) NR (行数)
head -n3 1.txt | awk -F ':' '{print NF}'
7. 数学计算：
awk -F ':' '{OFS=":"}{$7=$3+$4; print $0}' 1.txt
8. awk -F ':' '{(tot=tot+$3)}; END {print tot}' 1.txt
9. awk -F ':' '{if ($1=="root") print $0}' 1.txt
shell 结合 awk 进行输出
for i in `seq 1 5`
do
cat 1.txt | awk -F ':' '{print "'"$i"'"}' | awk '{print $i}'
done
前一个 $i 被 “‘” 跟 “’” 包含，之后一个 $i 可以直接被识别
Shell 基本语法：
1） #!/bin/bash 指定用bash 来运行
2） if 语句
if condition ; then
command
fi
if condition ; then
command
else
command
fi
if condition ; then
command
elif condition; then
command
else
command
fi
[ 条件 ]
-d : 是否为目录
-f : 是否为普通文件
-l : 是否为连接文件
-e : 是否存在
-n : 是否不为0
-z : 是否为0
-r (-w -x):是否有权限
3） for , while , until , select
for
for i in `seq 1 5` do
echo $i
done
for file in $( * ) 显示当前目录下所有文件
for arg in "$*" 显示传递的参数
for (( i = 1; i <= 5; i++ )) 类C风格 for 循环
while
while condition; do
command
done
: 的用法：
1）、
死循环：
while : do （: 为永真）
command
sleep 3
done
2）、
清空一个文件： 1.>file ; 2. :>file
3）、
: $var : 其中 : 与变量 $ 之间有空格，此处 : 的作用就是展开参数，变量替换，让Shell 不会去执行 $var 变量的值
continue; break; exit;
while [[ $signal -eq 3 ]] ; while (( signal == 3 ))
until
until expression
do
command
done
select
select color in "red" "blue"
do
break
done
自动生成菜单，其中 $? 为 PS3 的默认值
4) date 命令
1) 2015-08-25 : date +%Y-%m-%d
2) 15-08-25 : date +%y-%m-%d
3) date +%F
4) 21:45:15 : date +%H:%M:%S
5) 21:45:15 : date +%T
6) 时间戳 : date +%s
7) date -d @1440510413
8) 一天后 : date -d "+1day"
9) 一天前 : date -d "-1day"
10) 一月前 : date -d "-1month"
11) 一分钟前 : date -d "-1min"
12) 星期 : date +%w(%W) 小写表示周几，大写表示本年的第几周
5) 数学运算
sum = $[$a+$b] (+-*/)
小数：echo "scale=2;10/3" | bc 输出3.33
数字进制表示：0123 , 8#123 ; 0x123 , 16#123
expr 命令：expr arg1 | arg2 （逻辑运算）; expr arg1 + arg2 （算术运算）
bc 运算：echo "scale=5; $var1 ^ 2 " | bc 其中 scale 指的是小数位数
6）字符串
计算字符串的长度： ${#string} ; expr length "$string" 其中 $string 的值中没有空格，就可以省略 ""
获取字符串的索引：expr index "$string" job 如果 job 都在字符串 string 中，返回 j 的位置索引；如果 job 中只有一个字母在字符串 string 中，就返回那个字母所在的索引位置；如果 o 对应的索引位置在 j 的前面，就返回 o 对应的位置索引
匹配字符串最长长度：expr match "$string" "$substring" 指的是从 string 字符串的开头处开始匹配 substring ，获取到最大匹配长度，如果没有匹配到，就返回 0 ，例子： expr match "$string" small
抽取字符串的子串：
从左往右 ：#{ string:position } ; #{ string:position:length } 从 0 开始计数; expr substr "$string" 1 8 从 1 开始计数
从右往左：#{ string: -position } ; #{ string:-position } ; #{ string:(position) } 其中第一种 : 与 - 之间有空格表示的跟第三种一样，从右往左 position 个字符，第二种没有空格表示 抽取整个字符串
用正则表达式抽取：
抽取开头：expr match "$string" '\($substring\)' ; expr "$string" : '\($substring\)' 其中后者冒号前后都有空格
抽取结尾：expr match "$string" '.*\($substring\)' ; expr "$string" : '.*\($substring\)' 其中后者冒号前后都有空格
删除字符串子串：
删除开头：${ string#substring } 删除 string 开头匹配 substring 的最短子串; ${ string##substring } 删除 string 开头匹配 substring 的最长子串
删除结尾：${ string%substring } 删除 string 结尾匹配 substring 的最短子串; ${ string%%substring } 删除 string 结尾匹配 substring 的最长子串
替换字符串子串：${ string/substring/replacement } 替换第一次匹配 substring 的子串 ; ${ string//substring/replacement } 替换所有匹配 substring 的子串
替换开头：${ string/#substring/replacement } 替换开头处匹配 substring 的子串 ; ${ string/%substring/replacement } 替换结尾处匹配 substring 的子串
7) 交互
read -p "Please input a number :" x
8) sh -x xx.sh查看执行过程
9) case 语法
case 变量 in
value1)
command
;;
value2)
command
;;
*)
command
;;
esac
10) Shell 数组
a=(1,2,3,4)
数组元素个数：echo ${#a[@]}
读取单个元素：echo ${a[2]}
打印整个数组：echo ${a[@]} 或者 echo ${a[*]}
删除数组：unset a unset a[1]
数组分片：echo ${a[@]:0:3} 从下表0往后3个
数组替换：echo ${a[@]/3/100} 将数组第三个换成100
11) 父子进程
() 会产生一个子进程，() 中的变量不能被父进程使用，即使在 子进程中 用 export 命令将变量改为 环境变量
() 中的子进程还可以进行后台运行， 这样可以一次性运行多个子进程 ，例子：一次搜索多个目录，排序，最后重定向到一个文件 ( grep -r "root" /etc/* | sort > part1 ) &
子进程允许嵌套
多个进程组合成一个作业，控制作业的命令： fg , bg , jobs （查看作业）, disdown (删除作业表中的作业) , wait (等待后台进程结束之后，退出主进程) , kill
fg :
%n n 为后台作业的作业号
%string 命令以 string 字符串开始的后台作业
%?string 命令包含 string 字符串的后台作业
%+ 或 %% 最近提交的后台作业
%- 最近第二个提交的后台作业
12) 信号
kill -l : 列出所有的信号(64 种，其中 15 种为 SIGTERM)
trap "echo ..." INT （接受 INT 也就是 CTL + C 中断信号）：此处为接受到中断信号就打印 ，如果不做任何处理 , 即：trap "" INT TERM （对 INT 和 TERM 信号忽略）
13) 特殊
echo -e "\033[44;37;5m Hello \033[0m World" 其中 \033 引导非常规字符序列；m 设置属性，然后结束非常规字符序列。数字为颜色搭配
\033[2J 清除屏幕
\033[0q 关闭所欲的键盘指示灯
\033[1q 设置“滚动锁定”指示灯 ( Scroll Lock )
\033[2q 设置“数值锁定”指示灯（Num Lock）
\033[3q 设置“大写锁定”指示灯（Caps Lock）
\033[10:15H 把关闭移动到第10行，15列
\007 发蜂鸣声 beep
14) Linux 脚本安全
使用shc 加密脚本
下载 shc-3.8.6.tgz
tar zxf shc-3.8.6.tgz
cd shc-3.8.6
make test
make strings
make install
shc 使用：shc -v -f filename
生成 .x 跟 .c 结尾的文件，其中 .x 是可执行文件，.c 是 C 语言文件
关于Linux 病毒的相关知识，可以参考 http://wenku.baidu.com/link?url=kCvHvdRtVUpI5V0OXh3NLmNWHm4jgMJ5bpgkEr5WPgkfiU6jYOw1hq7aXMHRf5FcKfoHlFSiwxhmCuHOnZbNWblq9uflKDeIJXE8pNYsGX7
15) shell 脚本调试
trap 命令：
trap 'echo "a=$a,b=$b,c=$c"' DEBUG 在执行该脚本的时候每执行一行都会输出 a,b,c 的值
trap 'echo "$var"' EXIT 在退出脚本的时候会输出 var 变量的值
trap 'echo ....' ERR 在脚本出错的时候会 echo 一些东西
set -n 或者 set -o noexec 脚本中添加这个可以测试脚本的语法错误，或者直接 sh -n 脚本名
set -x ; sh -x 脚本名 逐步进行 shell 脚本运行
脚本内置变量： LINENO 表示脚本的行号 ；FUNCNAME 数组变量，表示整个调用链上所有的函数名； PS4 设置 -x 选项的提示符，默认值是 "+" 符号
16) 实例
1. Here-document 运用
cat << CLOUD
....
CLOUD
在两个 CLOUD 中间可以随意输入
mysql -u root -p <<EOF
sql 语句
EOF
2.查找文本中 n 个出现频率最高的单词
cat file | tr -cs "[a-z][A-Z]" "[\012*]" | #其中 -c 为 保留以第一个字符集匹配的词，[\012] 指的是 换行，添上 * 的意思就是多个换行都去掉（-s）
tr A-Z a-z | #大写转化为小写
sort | #排序
uniq -c | #统计每个单词出现的次数
sort -k1nr -k2 | #按出现频率排序，再按字母顺序排序
head -n "$send" #显示前 n 行
3.伪随机数
num=$RANDOM
let "dice=RANDOM % 10"
num2=$(($RANDOM%10))
num3=$[$RANDOM%10]