浅析shell编程
shell诞生于Unix，是与unix/linux交互的工具。shell 编程指令简单、灵活、高效；可移植性高；可以实现自动化管理，它特别适合处理一些小问题。本文会尝试总结一些常用的shell编程指令和学习一些增加编程效率的技巧，并把目录分为shell编程基础、文本处理、文件处理、系统管理类、用户管理类、其他指令和遇到的一些问题，共七部分分别进行介绍。
所谓磨刀不误砍柴工吧，这些基础知识确实可以增加你的工作效率。本文的主要目录如下：
一、编程基础
二、文本处理
三、文件处理
四、系统管理
五、用户管理
六、其他指令
七、遇到的问题和处理方法
一、编程基础：
1. shell变量：
shell是一种弱类型的语言，使用变量无需声明类型。shell变量为当前shell进程私有，如果使用export可以把变量声明为系统变量，那么所有的进程均可以使用。 其中对环境变量操作的命令如下：
env #用于显示用户环境区中的变量及其取值；
set #用于显示本地数据区和用户环境区中的变量及其取值；
unset #用于删除指定变量当前的取值，该值将被指定为NULL；
export #命令用于将本地数据区中的变量转移到用户环境区。
source #当前环境下执行并读取filename下文件的内容、命令。与bash的区别是bash只会影响子进程
2. 条件控制类：if, for, while, case:
a=1
if [ $a"x" == "1x" ];then
echo "Hello 1";
fi
if [ $a -eq 1 ];then
echo "Hello 2";
fi
if [[ $a -eq 1 ]];then
echo "Hello 3";
fi
while true
do
echo "abcdef";
break;
done
for((i=1;i<=10;i++))
do
echo $(expr $i \* 4)
break;
done
-r file #用户可读为真
-w file #用户可写为真
-x file #用户可执行为真
-f file #用户为文件为真，存在
-d file #文件尾目录为真
-c file #文件为字符特殊文件为真
-b file #文件为块特殊文件为真
-s file #文件大小非0为真
-t file #文件描述符指定设备为终端时为真
3. shell参数传递：
sh a.sh
#!/bin/bash
echo $# #传递给脚本的参数个数
echo $* #表示所有向脚本传递的参数。
echo $@ #与$#相同，使用时加上引号，并在引号中返回每个参数
echo $? #返回上一个命令的退出状态
echo $! #返回后台运行的最后一个进程的进程ID号。
func fsum(){
echo $1+$2;
}
func 5 74. shell注释：
sh a.sh
#!/bin/bash
#这是一个注释
:<<\EOF
这是另一个高手
echo "this is comments"
EOF 二、文本处理类：
shell文本处理的指令很多，并且功能强大。包括基础的指令如：echo, vi, more, cat, tail , less，vimdiff 管道指令 | , < , > , <<，支持更多的扩展的指令如 awk, sed, tr。
1. vi编程技巧:
a. 基本指令：
h #向上
j #向左
k #向右
l #向下
a #插入
o #插入一行，并在行首开始
O #在当前行前插入一行，并在行首开始
dd #删除当前行
x #删除当前字符
yy #复制当前行
p #在当前行后面粘贴
P #在当前行前面粘贴
10G #光标到第10行
G #到文件末尾
0 #行首
u #撤销
ctrl+v #多列操作
ctrl+r #撤销刚才的撤销操作
ctrl+f/b #下一页/上一页
shift+# #查找当前单词的下一个出现位置
:set nu #显示行号
b. 窗口切分：
split/vsplit #垂直/水平切分
ctrl+w+w #切换窗口
:quitall #全部退出
:only #只保留当前窗口
:wall #全部保存
:edit file #打开文件file编辑
vi -o a.sh b.sh #打开a.sh和b.sh并切分窗口编辑
c. tags使用：
:tags=tags file #指定tag文件
ctrl+] #跳转到当前单次定义处
ctrl+T #跳转回远处2. awk：
awk是一种功能强大的文本处理工具，它提供了极强大的功能，可以样式装入，流控制，数学运算符，进程控制符号，内置变量和函数。
NR #行号
NF #列号
ARGIND #文件编号
BEGIN{} #初始化执行的语句
{} #每行都执行的语句
END{} #最后执行的语句
echo "12 23"| awk' #awk函数定义的变量全部是全局变量,
function max(a,b,c){ #在awk的非函数里面使用"''"可以引用bash定义的变量，awk的函数里面只能使用局部变量
a = 1; b = 2; c = 3;
print a,b,c
return a > b ? a : b;
}{print max($1,$2);print a,b,c}'
awk '/101/,/102/' file #查找匹配的行
awk '$1=='test'{$3="Change"}' #条件修改
awk '{if($0~/101/) print $0}' file #从file文件逐行读入，并查找匹配行
#awk内置函数
artan2/cos/exp/int/log/sin/sqrt #内置数学函数
length(str) #返回字符串长度
array=split(str,','); #把字符串切分成数组
substr #返回字符串的子串
var=${var//,/ /} #把,替换成空格，并且可以使用for item in var
3. sed：
sed -n '1,5p' file #只显示1-5行
sed '1,5d' file #去除1-5行
sed '/^ *$/d' file #删除空格行
cat file | tr " " "\t" > file1 #替换空格为\t
sed '/[a-z]/d' file #删除匹配行
#中文处理：
cat a | tr -d -c $'[a-z0-9\.\?\_ \r\t\n{}()!?]' #删除文件中中文
cat file | grep -Po '(?<=")[^!-~]+' #提取文件中中文
tr -d $'[a-zA-Z\.\?\_+\r{}()!?,/\-"\':<>%]' | sed 's/《//;s/「//;s/」//;s/、//;s/》//;s/》//;s/〕//;s/（//;s/②//;s/①//;s/③//;s/《//;s/》//' #仅保留文件中中文
4. ctags：
5. 常用组合键：
ctrl+z #当前任务切换到后台执行
ctrl+d #结束输入或退出shell
ctrl+s #暂停屏幕输出
ctrl+q #恢复屏幕输出
Ctrl+a #切换到命令行开始处
ctrl+e #切换到命令行末尾
ctrl+u #剪切清除光标之前的内容
ctrl+k #清除光标及光标以后的内容
ctrl+y #在光标处粘贴剪切的内容
ctrl+r #查找历史命令
ctrl+t #调换光标与光标前字符，并且换光标到下一个字符
ctrl+x+u #撤销操作
三、文件处理类：
mv #移动文件/重命名
cp #拷贝文件
rm #删除文件夹 -rf 删除目录并且忽略提示
find ./ -name filename #查找文件
locate #全部计算机查找文件
find. | xargs grep -ri "IBM" #查找当前目录下包含IBM的文件
四、用户管理类：
useradd username -d /home/username -s /bin/bash -g usergroup -G useradditionalgroup #移动文件/重命名
passwd username #修改用户密码
userdel username #删除用户
五、系统管理类：
du -d 1 -h * #查看当前目录文件大小
netstat -nao #查看进程占用端口号
mount /dev/sda3 /mnt/mount #加载硬/U盘
fdisk -l #查看电脑硬盘占用情况
df #查看电脑分区使用情况
top #查看运行进程
kill/killall #杀死进程
ps -ef | grep processname | grep -v grep | cut -d " "-f 2 | xargs kill -s 9 #杀死进程
screen #终端屏幕管理工具
polysh #多机log管理工具
六、其他：
ctrl+z #把当前进程暂停，并切换到后台
jobs #查看后台运行进程
fg 1 #把第一个进程放置到前台执行
bg 1 #把第一个进程放置到后台执行
alias command1 command2 #把command1的别名设置为command2
#vimdiff
zf #创建折叠
za #切换折叠状态
zo #打开折叠
zc #关闭折叠
zr #打开所有折叠
zm #关闭所有折叠
zj/zk #下一折叠开始/上一折叠末尾
dp #拷贝另一个文件的当前行到当前文件中
do #拷贝另一个文件的内容到当前文件中
#crontab 定时任务
crontab -e #打开计划任务管理界面
00 14 * * 7 cd pwd; sh execute.sh 1>log 2>err & #定时开启计划任务 分/时/日/月/星期
nohup sh execute.sh 1>log 2>err & #建立终端断开仍会继续执行的异步任务 dmesg 是一种程序，用于检测和控制内核环缓冲。
七、问题及解决办法：
1. 去除字符串前面的0。
2.ubuntu 执行shell脚本，报错Syntax error: "(" unexpected解决方法的方法：
写了一些简单的shell脚本，简单的数组处理，可是却无法编译执行。后来仔细检查代码和搜索发现：因为Ubuntu为了加快开机速度，用dash代替了传统的bash，是dash在捣鬼。现在我们可以 取消dash。
sudo dpkg-reconfigure dash 。然后在弹出的窗口中选择否。
3. 重用ssh连接：ssh有一个功能，可以在第一次打开以后一直保留这个ssh连接，后续继续打开的ssh连接会继续使用这个ssh连接的TCP连接，也就是下次不用输入密码了。简单方便：
vi ~/.ssh/config， 添加如下内容（然后再次建立ssh连接，就可以愉快的不用输入密码了）：
Host *
ControlMaster auto
ControlPath ~/.ssh/master-%r@%h:%p
参考文献：
[1]. vim 分割窗口： http://www.linuxidc.com/Linux/2012-08/69363.htm
[2]. vi命令大全 http://www.cnblogs.com/88999660/articles/1581524.html
[3]. awk 编程总结： http://bbs.chinaunix.net/thread-691456-1-1.html
[4]. sed 编程总结： http://www.iteye.com/topic/587673
[5]. ssh 的连接重用：http://www.fwolf.com/blog/post/385