shell中的文本处理之grep,sed,awk的学习应用

1.grep 文本过滤命令

grep中的正则表达式

 ^westos    #以westos开头
 westos$    #以westos结尾
 'w....s'
 'w.....'
 '.....s'
 grep -E = egrep

应用

 cp /etc/passwd   /mnt
 cd /mnt
 vim /mnt/passwd
添加（为后边的实验效果做准备）：
test:test:root
ROOT:test:test
test:root:test

 grep ^root  passwd    #过滤以root开头的行
 grep root$  passwd    #过滤以root结尾的行
 grep -i ^root  passwd    #不区分大小写,过滤以root结尾的行
 grep -E "^root|root$"  passwd #过滤以root开头或者以root结尾的行，-E表示扩展正则表达式
 grep -E -v "^root|root$"  passwd   #-v表示反向过滤
 grep -E -v "^root|root$"  passwd | grep root    #过滤root在中间的行
 grep -i root passwd | grep -v -i -E "^root|root$"  #过滤root在中间的行

vim test

  grep 'r.t' test       #过滤r和t之间只有一个字符
  grep 'r..t' test      #过滤r和t之间有二个字符
  grep 'r...t' test     #过滤r和t之间有三个字符
  grep 'r*t' test       #过滤r出现的任意次数
  grep  'r\**t' test    #过滤r,t之间有0个字符
  grep  'ro*t' test     #过滤r和t之间o出现的任意次数
  grep  -E 'ro*t' test  #过滤r和t之间o出现的任意次数
  grep  -E 'ro?t' test  #过滤r和t之间o出现的0和1次
  grep  -E 'ro{1,}t' test  #过滤r和t之间o出现的1以上的次数
 grep  -E 'ro{,3}t' test  #过滤r和t之间o出现的3以下的次数

vim test 

1 grep 'r*t' test   
2 grep -E 'r....' test   #过滤r之后出现4个字符
3 grep -E 'r....\>' test  #精确匹配
4  grep -E "\" test
5 grep -E "....r" test
6 grep -E "\<....r" test   #过滤r之前出现4个字符

应用：编写脚本文件，使输出可以登陆系统的用户

vim show_loginuser.sh

sh  show_loginuser.sh

2.sed 行编辑器

p模式（显示）

1 sed -n '^:/p' fstab   #显示fstab中以：开头的行
2 sed -n 'UUID$/p' fstab  #显示fstab中以UUID结尾的行
3 sed -n '/^UUID/p' fstab  #显示fstab中以UUID开头的行
4 sed -n '2,6p' fstab    #显示fstab中的第二和第六行
5 sed -n '2,6!p' fstab    #显示fstab中除过第二和第六行其余的行

实验：

1 cp /etc/fstab  /mnt    
2 sed -n '/^#/p' fstab   #显示fstab中以#开头的行 
3 sed -n '/^#/!p' fstab    #显示fstab中除了以#开头的其余行
4 cat -n fstab | sed -n '2,6p'   #显示fstab中第2到第六行
5 cat -n fstab | sed -n -e '2p' -e '6p'   #显示fstab中的第二和第六行
6 cat -n fstab | sed -n -e '2p;6p' #显示fstab中的第二和第六行
7 cat -n fstab | sed -ne  '2!p;6!p' | uniq -d   #显示fstab中除过第二和第六行其余的行

应用：编写一个脚本文件，使得运行脚本自动建立用户并设定密码

vim username

vim userpasswd

vim user_create.sh

sh  user_create.sh  username userpasswd

测试:

d模式(删除，只是显示的时候删除，并不删除原文件)

1 sed '/^UUID/d'  fstab   #删除以UUID开头的行
2 sed '/^#/d'   fstab     #删除以#开头的行 
3 sed '/^$/d'   fstab     #删除以空格开头的行 
4 sed  '/^UUID/!d'  fstab  #删除不是以UUID开头的行
5 cat -n fstab | sed '1,4d'  #删除1到4行
6 cat -n fstab | sed -e '2d;6d'   #删除第二行和第六行

实验：

a模式(添加，默认在最后一行)

1 sed '/^UUID/a\hello'  fstab   #在以UUID开头的行的前一行添加hello
2 sed '/^UUID/a\hello  \nwestos'  fstab  #在以UUID开头的行的前一行添加hello换行再添加westos

实验：

1 vim westos
   hello
2 sed '/hello/aworld'  westos   #在westos中的hello后添加westos
3  sed '/hello/aworld\nwestos'  westos  #在westos中的hello后添加world再换行添加westos
4 sed '/westos/a\world' westos
5 sed 's/westos/hello world/g' westos

i 模式(插入)

sed '/^UUID/i\hello'   fstab   #在UUID的前一行添加hello

实验：

1 sed '/^hello/i\world' westos #在hello的前一行添加world
  world
  hello

c模式（替换）

sed '/^UUID/c\hello' fstab  #把以UUID开头的行替换成hello

实验：

1 sed '/hello/chello world' westos  #把westos中的hello替换成 hello world
2 sed '/hello/chello\nworld' westos #把westos中的hello替换成hello（换行)world 

w模式（写入）

1 sed '/^UUID/wwestos'   fstab      
2  sed -n '/^UUID/wwestos' fstab
3 sed '/^UUID/='  fsatb    #显示以UUID开头所在的行号
4 sed '6r westos'  fstab

实验：

1 sed -n '/bash$/p' passwd > file  #把passwd中以bash结尾的行输入到file中
2 cat file
3 sed -n '/bash$/wfile1' passwd  #把passwd中以bash结尾的行输入到file1中
4 cat file1

区别：

sed -n '/bash$/p' passwd > file #先处理前面的，之后再执行"> file"
sed -n '/bash$/wfile1' passwd   #边处理边执行

5  sed '/hello/=;wfile' westos  #把westos中的hello写入到file中，并显示行号
6  cat file
   1
   hello
7  echo `sed '/hello/=' westos`    
8  sed '=' westos   #显示行号和内容
9  cp /etc/fstab  /mnt
10 sed '6r westos' fstab  #添加westos中的内容在fstab的第六行后
11 sed '$r westos' fstab  #添加westos中的内容在fstab的最后一行

sed 的其他用法

sed -n '/^UUID/='  fstab
sed -n -e  '/^UUID/p' -e '/^UUID/=' fstab
sed 'G'  data
sed '$!G' data
sed '=' data | sed 'N;s^n//'
sed -n '$p' data
sed -e '/^UUID/p' -e '/^UUID/=' fstab
sed -f rulesfile file
sed 's/^\//#/'    fstab

实验：

1  sed -n '/^UUID/='  fstab  #显示以UUID开头的行号
2  sed -n -e  '/^UUID/p' -e '/^UUID/=' fstab  #-e用来连接''
3  sed '=' fstab | sed 'N'     #N表示每行多加一个换行符
4  sed '=' fstab | sed 's/\n//g'    #显示行号并换行 
5  sed '=' fstab | sed 'N;s/\n/ /g'  #显示行号不换行
6  sed 'G' fstab   #每行加空行显示fstab中内容 
7  sed '$!G' fstab     #每行加空行但最后一行不加空行显示
8  sed -n '$p'  fstab      #显示文件的最后一行
9  sed 's/nologin/westos/g' passwd     #把passwd中以nologin结尾的全部替换为westos
10 sed '3,5s/nologin/westos/g' passwd  #用westos替换passwd中第三行到第五行的nologin
11 sed '/adm/,/sync/s/nologin/westos/g;s/sbin/wang/g' passwd  #用westos替换以adm和sync开头行中的nologin,用wang全文替换sbin

1 vim file
2 sed -f file passwd   #用文件替换，不更改原文件内容 
3 cat passwd
4 sed -f file -i passwd  #替换，更改原文件内容，-i表示改变原文件内容 
5 cat passwd

应用：编写一个脚本，显示能登陆系统的用户的个数

vim install_apache.sh

1 sh  install_apache.sh 8080
2 sh  install_apache.sh 80

3.awk 报告生成器

awk处理机制：awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后一行做一些总结性质的工作，在命令格式上分别体现如下：
BEGIN{}   :读入第一行文本之前执行，一般用来初始化操作
{}        :逐行处理，逐行读入文本执行相应的处理，是最常见的编辑指令块
END{}     :处理完最后一行文本之后执行，一般用来输出处理结果

1.awk基本用法：

awk  '{print FILENAME}' passwd
awk  '{print 第"NR"行，第"NF"列}' passwd
awk  'BEGIN {print NAME}'  passwd
awk  'END   {print NAME}'  passwd
awk  -F ":" 'BEGIN{print NAME}{print $1}END{WESTOS}'  passwd
awk  '/bash$/ ' passwd
awk  -F ":" '/bash$/{print $1}'  passwd 
awk  'BEGIN{a=34;print a+12}'
awk  -F '{print FILENMAE}' passwd
awk  '{print FILENMAE}' passwd
awk  -F : '/^ro/{print}'  passwd
awk  -F : '/^[a-d]/{print $1,$6}' passwd
awk  -F : '/^a|nologin$/{print $1,$7}' passwd
awk  -F : '$6~/bin$/{print $1,$6}'
awk  -F : '$7!~/nologin$/{print $1,$7}' passwd

实验：

1 awk -F ":" '{print $1}' passwd  #以:为分隔符，显示第一列
2 awk -F ":" 'BEGIN{print "NAME"}{print $1}'  passwd  #以NAME开始显示第一列
3 awk -F ":" 'BEGIN{print "NAME"}{print NR$1}END{print "END"}'  passwd #以NAME开始，以END结束，显示第一列并显示行号
4 awk -F ":" 'BEGIN{print "NAME"}{print NR;print  }END{print "END"}'  passwd #显示行号并换行
5 awk -F ":" '/bash$/{print $1}' passwd   #sh结尾的行的第一列,$1表示第一列
6 awk -F ":" 'BEGIN{N=0}/bash$/{N++}END{print N}'  passwd  #统计passwd中以bash结尾的行数
7 awk '/^ro/{print}' passwd      #打印以ro开头的行
8 awk '/^[^a-d]/{print}' passwd  #打印以a到d开头的行
9 awk '/^a|nologin$/{print}'  passwd  #打印以a开头或者以nologin结尾的行
10 awk -F ":" '$1~/^r/{print}'  passwd #打印以r开头的行
11 awk -F ":" '$1!~/^r/{print}'  passwd  #打印不以r开头的行
12 awk -F ":" '{print NR,$0}' passwd  #以:为分隔符打印第一列，并表示行号，$0表示文件一整行的内容

应用：
1.计算显示能够登陆系统的用户的个数

awk -F ":" 'BEGIN{n=0}$5!~/^\/home/&&/bash/{n++}END{print n}' /etc/passwd

2.找出系统中可以登陆系统，但用户的家目录不在/home下

awk -F ":" '$6!~/^\/home/&&/bash$/{print $1}' /etc/passwd

3.抓取eth0的网卡ip

  vim ip_check.sh

sh  ip_check.sh

4.统计在系统中可以登陆系统的用户

awk -F ":" '$5!~/^\/home/&&/bash/{print $1}' /etc/passwd

5.统计文件的行数

awk 'BEGIN{n=0}{n++}END{print n}' /etc/passwd