三剑客 awk sed ${}

${ } 引用变量的高级用法
字符串删除：
删除开头或结尾的整段字符串
${变量#匹配规则}        //从头开始匹配，最短删除；
${i#*,}
以第一个逗号为休止符，将这之间的所有字符都删除（包括第一个逗号）

${变量##匹配规则}       //从头开始匹配，最长删除；
以最后一个逗号为休止符，将这之间的所有字符都删除（包括最后第一个逗号）

${变量%匹配规则}        //从尾开始匹配，最短删除；
${i%,*}           //  右往左 以第一个逗号为休止符，将这之间的所有字符都删除（包括第一个逗号）

${变量%%匹配规则}       //从尾开始匹配，最长删除；
${i%%,*}    //右往左  以最后一个逗号为休止符，将这之间的所有字符都删除（包括最后一个逗号）

删除中间的某个字符或单词  
  ${变量/pattern/}    //删除第一次被pattern匹配到的字符或字符串

${变量//pattern/}       //删除所有被pattern匹配到的字符或字符串

${变量/#pattern/}       //删除开头被pattern匹配到的字符或字符串

 ${变量/%pattern/}       //删除结尾被pattern匹配到的字符或字符串

字符串替换
 ${变量/旧字符串/新字符串}     //替换变量内的旧字符串为新字符串，只替换第一次匹配到的

 ${变量//旧字符串/新字符串}    //替换变量内的旧字符串为新字符串，全部替换

${变量/%旧字符串/新字符串}    //替换变量内的旧字符串为新字符串，只替换结尾的

${变量/#旧字符串/新字符串}    //替换变量内的旧字符串为新字符串，只替换开头的

字符串切片
${#变量名}    //获取字符串长度

 ${变量名:开始的下标值:截取长度}      //截取字符串，字符的下标值（索引）从0开始

三剑客：
按行读取后处理。
grep 过滤行内容。
awk 过滤字段。
sed 过滤行内容；修改行内容

sed:
sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。

sed的工作流程
读取： sed从输入流 (文件、管道、标准输入) 中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )。

执行： 默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行

显示： 发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行， 直至所有内容被处理完。
格式：
sed -e '操作' 文件1 文件2
 sed -n -e '操作' 文件1 文件2
 sed -f  脚本文件  文件1 文件2
 sed -i -e '操作' 文件1 文件2

多文件：
 sed -n -e '操作1' -e '操作2' 文件
 ​
 sed -n -e '操作1;操作2' 文件
 ​
 sed -e 'n{
 操作1
 操作2
 ......
 }' 文件1

选项                                作用                
-e 或--expression=      表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用
-f 或--file=                   表示用指定的脚本文件来处理输入的文本文件
-h 或--help                   显示帮助
-n、--quiet或--silent    禁止sed编辑器输出，但可以与p命令一起使用完成输出
-i                                    直接修改目标文本文件

操作                                作用
s                                    替换，替换指定字符
d                                   删除，删除选定的行
a                                    增加，在当前行下方增加一行指定内容
i                                     插入，在选定行上方插入一行指定内容
c                                    替换，将选定行替换为指定内容
y                                    字符转换，转换前后的字符长度必须相同
p                                    打印行内容。如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用
=打印行号
l                                      (小写L)打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）

增删改查： i d s p

增：a i r  分别对应 行后添加  行前插入  行后读入
  
 sed '6r hh.txt' ff.txt    //在第6行下方读入hh.txt文件内容

sed '1,3i 77' ff.txt      //在第1~3行每行的上方，添加一行内容

sed '1a 22\n33\n44' ff.txt    //在第一行下方添加3行内容

删除：d

sed '3d' ff.txt     //删除第3行

sed '5,8d' ff.txt    //删除第5~8行

sed '$d' ff.txt     //删除最后一行

sed 'd' ff.txt          //删除所有行

sed '1,+3d' ff.txt      //删除第1行及后面3行（即删除第1~4行）

sed '6!d' ff.txt      //除了第6行，其他都删除

sed '6,$!d' ff.txt    //除了第6行到最后一行，其他都删除

改：scy  替换字符串   整行替换  字符替换（替换前后字符串长度相同）

 行范围 s/旧字符串/新字符串/替换标记
 ​
s:替换字符串
 #4种替换标记：
 数字：表明新字符串将替换第几处匹配的地方
 g：表面新字符串将会替换所有匹配的地方
 p：打印与替换命令匹配的行，与-n一起使用
 w 文件：将替换的结果写入文件中

sed -n '/root/p' pass.txt        //打印所有包含root的行
 sed -n 's/root/aaa/2p' pass.txt      //将匹配行的第2个root替换成aaa
sed -n 's/root/aaa/gp' pass.txt      //将匹配行的所有root替换成aaa

sed -n -f 1.sh pass.txt       //指定1.sh文件来执行
sed '1,5 s/^/#/' ff.txt >out1.txt    //重定向全文本

s后面的第一个字符就是分隔符，3个分隔符要保持一致，如果遇到跟分隔符相同的字符需要使用 \ 转义成普通字符
sed -n 's//bin/bash//sbin/nologin/p' pass.txt    分隔符为"/"
sed -n 's#/bin/bash#/sbin/nologin#p' pass.txt   #作为分割符
sed -n 's!/bin/bash!/sbin/nologin!p' pass.txt      !作为分隔符

整行替换 c
sed '/fo/c 22' ff.txt    //将包含fo的行，整体替换成22

单字符替换 y
sed 'y/no/25/' ff.txt      遇到n替换成2，遇到o替换成5
 

查：
不加-n，却使用p操作，那么每行内容会打印两次。
sed -e "p" ：每行内容打印两次。
sed -n "p" ：每行内容只打印一次

sed -e 'p' ff.txt     //每行内容会打印两次
sed -n -e 'p' ff.txt    //每行内容只打印一次

'n' 打印行号
sed -n '=' ：只打印行号。
sed -e 'n' : 打印行号和行内容。
sed -n '=;p' ：打印行号和行内容。

sed -n '=' ff.txt      //只打印行号

sed -e '=' ff.txt     //打印行号和行内容

sed 执行多条命令的三种方法。
sed -n -e '=' -e 'p'  file.txt

 sed -n -e '=;p'  file.txt

sed -n '
 =
 p
 ' file.txt

'l' 打印文本即隐藏字符（结束符$，制表符\t）。
sed -n 'l' ff.txt

sed 对指定行进行操作
以数字形式表示行区间；
用文本模式（字符串）来过滤出行（一般结合正则表达式）
以数字形式表示行区间：
操作    含义
'1p'    打印第一行
'$p'    打印最后一行
'1,3p'    打印连续行，打印第一行到第三行
'6,$p'    打印第六行到最后一行
'1,+3p'    打印第一行加后面三行（即打印第一到第四行）
'5q'    打印前五行后退出
'p;n'    打印奇数行
'n;p'    打印偶数行

使用字符串匹配出行：
操作                        含义
'/root/p'                 打印包含root的行
'/root/!p'                打印不包含root的行。! 表示取反
'/^root/p'               打印以root开头的行
'/bash$/'                 打印以bash结尾的行
'/root l bash/p'        打印包含root或bash的行。"l"是扩展正则表达式的元字符，要使用sed -r
'6,/root/p'                打印第6行到第一个包含root的行

 以数字形式表示行区间
sed -n -e '1p' -e '5p' ff.txt    //打印第一行、第五行
打印连续的行，使用逗号
sed -n '6,$p' ff.txt

打印第1~5行的三种方法：
sed -n '1,5p' ff.txt

sed -n '1,+4p' ff.txt

sed -e '5q' ff.txt

使用sed输出奇数行或者偶数行
'n' ：next，读取下一行。
'p' ：打印当前所在行。

打印除了第一行以外的奇数行
sed -n '2,${n;p}' ff.txt

 sed -n 'p;n;p' ff.txt
 sed -n 'n;p;n' ff.txt

sed 复制粘贴

#vi//vim编辑器：
 命令模式
 dd p  剪切 粘贴
 yy p  复制 粘贴
 
 末行模式
 :1,3 co 10  复制 粘贴（将第1~3行复制粘贴到第10行下方）
 :1,3 m 10   剪切 粘贴（将第1~3行剪切到第10行下方）
 ​
 #sed命令：
 H复制、d删除、G粘贴到指定行下方
sed '1,3 {H;d};$G' ff.txt     //将第1~3行剪切粘贴到最后一行下方
sed '1,3 {H;d};5G' ff.txt     //将第1~3行剪切粘贴到第5行后面

文件内容中的字符串进行互换
echo 111222333|sed -r 's/(111)(222)/\2\1/'        将2个字符串交换位置
 echo 111222333|sed -r 's/(111)(222)(333)/\3\2\1/'    将3个字符串交换位置

总结：
sed的核心功能：增删改查（可配合正则表达式）
查： p
 删： d
 改： s（字符串替换）、c（整行替换）、y（对应字符进行替换，效果类似tr命令）
 增： i（在行前插入内容）、a（在行后添加内容）、r（在行后读入文件的内容）
 ​复制粘贴：H（复制）、d（删除）、G（粘贴到指定行下方）

sed对指定行操作：
以数字形式表示行区间
用字符串来过滤行

sed -i 可以直接修改文件内容，操作前建议先验证命令和备份目标文件 

删除空行的三种方法：
grep -v "^$"  file.txt        //过滤出非空行
 cat file.txt |tr -s "\n"      //压缩换行符
 sed  '/^$/d'  file.txt        //删除空行

查找替换:
行范围 s/旧字符串/新字符串/替换标记
 ​
 s/旧字符串/新字符串/2  #代表对每行第二个匹配到的字符串进行替换
                  g  #代表对每行所有能匹配到的字符进行替换
                  p  #可以结合-n 选项只打印替换的行内容
                  w  #可以把替换的行内容保存到指定的文件中
                  
 n,m s/旧字符串/新字符串/       #指定第n行到第m行，将旧字符串替换成新字符串
 ​
 /字符串+正则/ s/旧字符串/新字符串/    #过滤出想要的行，之后进行替换
 ​
 s/^/添加的字符/    #行首添加内容
 ​
 s/$/添加的字符/    #行尾添加内容
 ​
 sed -f 文件    #指定脚本文件来执行，可以在文件中定义多条操作规则
 ​
 sed指定字符串的分隔符，就看s后面跟的字符，3个分隔符要保持一致，如果遇到跟分隔符相同的字符则需要使用\来转义。
 例如：s#/bin/bash#/sbin/nologin#g

awk
逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
awk倾向于将一行分成多个"字段"然后再进行处理。
awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
使用awk命令的过程中，可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方

awk的命令格式：
awk 选项 '模式或条件 {操作}'  文件1  文件2...
awk -f 脚本文件 文件1 文件2

注意：
注意一定是单引号：'模式或条件 {操作}'
{ }外指定条件，{ }内指定操作。
用逗号指定连续的行，用 || 指定不连续的行。&&表示”且“。
内建变量，不能用双引号括起来，不然系统会把它当成字符串。

内置变量                           含义
$0                                 当前处理的行的整行内容
$n                                 当前处理行的第n个字段（第n列）
NR                                当前处理的行的行号（序数）
NF                                当前处理的行的字段个数。$NF代表最后一个字段
FS                                 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
OFS                              输出内容的列分隔符
FILENAME                    被处理的文件名
RS                                 行分隔符。awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。预设值是"\n"

按行输出内容
$0表示当前行的整行内容
输出所有内容。逐行读取，$0表示当前行的整行内容。
awk '{print $0}' ff.txt  //输出所有内容
awk '{print}' ff.txt   //输出所有内容

打印行号和整行内容。
awk '{print NR,$0}' ff.txt

打印1到3行。逗号表示连续的行内容。&&表示”且“。
awk 'NR==1,NR==3 {print $0}' ff.txt  //打印1到3行
awk '(NR>=1)&&(NR<=3) {print}' ff.txt

打印奇数行；打印偶数行。（将行号除以2取余数，余1是奇数行，余0是偶数行）
awk '(NR%2)==1 {print}' ff.txt   //打印奇数行
 awk '(NR%2)==0 {print}' ff.txt  //打印偶数行

$n 表示当前处理行的第n个字段

2、注意符号"||"（表示“或“）
 awk '(NR>=1)||(NR<=3) {print}' ff.txt  //打印所有行
awk '(NR==1)||(NR==3) {print}' ff.txt   //打印第1行、第3行

打印奇数行；打印偶数行。（将行号除以2取余数，余1是奇数行，余0是偶数行）
$n 表示当前处理行的第n个字段
ifconfig ens33| awk 'NR==2{print $2}'

通过文本模式（匹配字符串）过滤出行
和正则表达式结合，通过匹配字符串过滤出想要的行。
awk '/root/ {print}' pass.txt  //使用awk命令
sed -n '/root/p' pass.txt   //使用sed命令

 BEGIN模式
 awk 'BEGIN{...};{...};END{...}' 文件
 ​
 #处理过程：
 1、在awk处理指定的文本之前，需要先执行BEGIN{...}模式里的命令操作;
 2、中间的{...} 是真正用于处理文件的命令操作；
 3、在awk处理完文件后才会执行END{...}模式里的命令操作。END{ }语句块中，往往会放入打印结果等语句
awk 'BEGIN{x=0};/bash$/{x++};END{print x}' pass.txt

grep -c 也可以统计匹配行的行数。
grep -c "bash$" pass.txt

按字段（列）输出内容
指定列分隔符的两种方式：使用-F 或 使用内建变量FS。
使用 -F 指定分隔符。
awk -F ':' '{print $1,$3}' /etc/passwd
将内建变量FS 重新赋值。
awk 'BEGIN {FS=":"};{print $1,$3}' /etc/passwd

打印UID大于500的用户、打印UID小于等于500的用户（!取反）
awk -F: '$3>500 {print $1,$3}' /etc/passwd

使用if语句
awk -F: '{if($3>500) {print $1,$3}}' /etc/passwd

三元运算符
Java和Shell中的三元运算符
awk -F: '{max=($3>=$4)?$3:$4;{print max,$1}}' /etc/passwd

$NF、$n~、$n!~、$n==、$n!=

~ 表示包含，!~ 表示不包含，== 表示等于，!= 表示不等于
 ​
 $n> < ==      //用于对比数值
 $n~"字符串"    //代表第n个字段 包含 某个字符串的作用
 $n!~"字符串"   //代表第n个字段 不包含 某个字符串的作用
 $n=="字符串"   //代表第n个字段 为 某个字符串的作用
 $n!="字符串"   //代表第n个字段 不为 某个字符串的作用

awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。内置变量RS的预设值是"\n"。

指定冒号作为分隔符，打印行号和整行内容。
 echo $PATH
echo $PATH |awk 'BEGIN{RS=":"};{print NR,$0}'

通过管道处理其他命令的结果
处理完文本后，打印行号，这个行号就是最后一行的行号，也就是行数。（这种方式只适用于输出所有行的情况，即只能统计全文本有多少行）
echo $PATH |awk 'BEGIN{RS=":"};{print NR,$0}'

使用 "grep -c" 统计匹配行的行数。
统计内存使用率
free命令可以查看内存使用情况。
使用率=使用的内存数量/总内存数量。
int表示取整数。

过滤出CPU的空闲率
top命令可以查看CPU的使用情况。
top -b -n 1 只会输出一次top的结果 不会进行刷新

 指定输出时的列分隔符
FS 输入时的列分隔符。
OFS 输出内容的列分隔符
 echo "A B C D" |awk 'BEGIN{OFS="|"};{$1=$1;print $0}'

使用awk去重（awk数组特性）
awk 'BEGIN{a["abc"]=10 ;a["xyz"]=20; print a["abc"]}'

打印数组内的所有元素值及对应下标值。
awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30; for(i in a){print i,a[i]}}'