读shell scripts的总结

今天读程序，遇到一些sed命令和awk命令不太明白，于是去认真查了查，搞清楚并且总结于此。

mnt=$(readlink -f $(grep -P "_dbdir_.*_nodeid_" some.conf | sed "s#.*_dbdir_\(.*\)_nodeid_#$dbdir\1$nd#")|sed 's#/HAS[0-9]*/\([a-zA-Z0-9_-]*\)#\1#')
好长，打字都好累，这么多符号，当初谁写的啊= =

又遇到一个比较难的sed命令行，简直醉了。
sed -n '/^\['$nd_str'\]/,/^\[/{s/ *'DBDir'[ ]*= *\(.*\)[ ]*$/\1/p;}' kernelite.ini

1. readlink命令
   readlink是用来找出符号链接指向的位置，使用readlink --help to print value of symbolic link or canonical name
   -f 参数是 递归跟随给出文件名的所有符号链接以标准化
2. grep -P -o -c命令
   -P, --perl-regexp: Interpret PATTERN as a Perl regular expression.
   -o, --only-matching: Show only the part of a matching line that matches PATTERN.
   -c，只输出匹配行的计数
   -s ,不显示不存在或无匹配文本的错误信息。
   -q: 静默模式, 不输出任何结果
   -w: does a word search 全字匹配
3. ps命令
   显示当前进程的状态
   -e 同-A,显示所有进程
   -o 表示自定义显示
   -C<命令> 列出指定命令的状况
   pid=$(ps -e -o pid,args | awk '/'$SysGov'$/{print $1}')
4. xargs
   将前一个命令的输出作为参数
   ps -e -o pid,args | egrep "$SysGov$|$SysGov .*ini$" |cut -c1-5 | xargs kill -9 2>/dev/null
   另外一个例子
   file -Lz *|grep ASCII |cut -d":" -f1 | xargs ls -ltr
5. killall命令
   killall命令用于杀死指定名字的进程，kill是杀死指定PID的进程，但是在这之前要使用ps等命令再grep来查找进程
   ssh $i "killall -9 $UBSH 2>/dev/null
6. scp命令
   -p 保留原文件的修改时间以及权限
   -q 不显示传输进度条
   scp -qp $srcdir/SysGovernor $SysGov
7. ln命令
   -f 强制执行
   -s 软连接，符号链接
   第一个是源文件，第二个是目标文件，硬链接是一个档案可以有多个名称，软链接是一个特殊的档案指向另外一个档案的位置。
   ln -fs $UBClient UBClient
8. sed命令
   sed是在线编辑器，一次处理一行内容，处理的时候把当前的行存储在临时缓冲区中，sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。
   sed 1d删除第一行
   \(..\)：保存括号内匹配的字符，在上面的匹配中，括号中一般匹配到的是/
   sed 's/test/mytest/g example 将整行范围内进行替换，没有g标记，每行直邮第一个匹配的test被替换
   sed 's/\(love\)able/\1rs/p' examplelove被标记为 1，然后进行替换成lovers
   sed 's#19#100#g' example不论什么字符，紧跟着s命令的都被认为是新的分隔符，＃代替了/作为分隔符
   *表示匹配0个或者多个字符
   .表示匹配一个非换行符的字符
   sed -n 取消默认输出，等同于--quiet, --silent
sed -n '/test/,/check/p' example所有在test和check所确定的范围内的行都将被打印，主要是有p选项
   sed '/test/,/check/s/$/sed test/' example 对于模版test和check之间的行，每行的末尾都用sed test进行替换。上面的程序就是如此，只不过后面的替换s命令太长，所以就使用了{}，然后里面命令后面要加分号，也就是对于每一个node的信息段，将DBDir的路径打印出来，注意-n选项的使用，以及p选项的使用。
9. awk命令
   awk同样也是行处理器，在与屏幕处理相比较，处理庞大文件的时候不会出现内存溢出或者处理缓慢，用来格式化文本信息。
   has=$(grep -P "^$mnt\t" $autohas | awk -F '\t|:' '{print $2}' | sort -u)
awk [-F|-f|-v] 'BEGIN{} //{command1;command2} END{}' file是awk命令形式
   awk -F '\t|:'用于指定分隔符是\t或者:
   -f 参数是调用脚本
   -v 定义变量 var=value
   $0 表示整个当前行
   $1 表示每行的第一个字段
   NF 字段数量变量
   NR 每行的纪录号，多个文件递增
   FNR 每行的记录号
   FS BEGIN定义分隔符
   RS 输入的纪录分隔符，默认是一行一行输入，换行符
   OFS 输出字段分隔符，默认是空格
   ORS 输出的纪录分隔符，默认是换行符
   -F '[:#/]' 定义三个分隔符
   awk -f script.awk file 'BEGIN{FS=":"} {print $1}'
10. 一些例子
    1)sed与awk
    sed 's/#.*//; s/[:=]/ /g' param.ini|awk '/NodeIP/ {print ++c-1,$2}'|grep -w x139|cut -d' ' -f1
    首先sed执行了替换操作，第一个替换是把＃以及后面的内容替换为空，然后是将: =这两个符号替换为空白字符串，接下来寻找有NodeIP的一行，打印c以及第二个字段，c默认初始值为0，也就是nodes的序号，然后执行精确匹配grep -w匹配出需要的nodes的行，然后获取其序号。
    2). pgrep以及awk
    ki=$(pgrep -lf $SysGov | awk '/-k/{print $NF}')
    pgrep查看进程的消息，通过进程名字来查询进程，判断程序是否在运行
    -l 表示同时显示进程名和PID
    -f 表示全部命令行，包括命令执行参数
    /-k/{print $NF} 表示匹配-k，然后NDF表示字段数量，也就是说打印出最后一个字段
    3).一个循环处理

i=0
while((i<3));do 
echo $(uptime|cut -d, -f3-|cut -d: -f2)
i=$[ $i + 1 ]
done|awk '{x += $1} END{printf "%.0f\n",x}'```
打印出3次uptime之和，因为END是当程序运行结束后才会运行的。