Linux文本过滤命令grep|awk|sed小结

grep的使用：
一、grep一般格式：
 
       grep [选项] 基本正则表达式 [文件]
       这里的正则表达式可以为字符串。在grep命令中输入字符串参数时，最好将其用双引号括起来。调用变量时也可以使用双引号。在调用模式匹配事，应使用单引号。
 
二、grep常用选项：
       -c   只输出匹配行的计数。
       -i   不区分大小写（只用于单字符）。
       -h   查询多文件时不显示文件名。
       -l   查询多文件时只输出包含匹配字符的文件名。
       -n   显示匹配行及行号。
       -s   不显示不存在或无匹配文本的错误信息。
       -v   显示不包含匹配文本的所有行。
 
三、常用选项的使用：
1、 查询多个文件：
   $grep  “hello” *.doc
   num.doc:hello
   sum.doc:hello world
  说明在num.doc 和sum.doc中有字符串“hello“。
 
2、 行匹配：   
   $grep -c “123” *.doc
   num.doc:2
   sum.doc:2
   说明在num.doc 和sum.doc中有字符串“123“各为两行。
 
3、 显示满足匹配模式的所有行数：
   $grep –n “123” *.doc
   num.doc:1:hao 123
   num.doc:2:hao 123
   sum.doc:2:hao 123
   sum.doc:4:hao 1234
 
4、 显示所有不包含“123“的行：
   $grep  -v “123” *.doc
   num.doc:hello
   num.doc:world
   sum.doc:hello world
   sum.doc:sui yue
 
5、 精确匹配：
   如第三点，匹配“123”时，结果返回了“1234”的其它字符串。
   $grep -n “123\>” *.doc
   num.doc:1:hao 123
   num.doc:2:hao 123
   sum.doc:2:hao 123
   
6、 大小写敏感：
   缺省情况下，grep是大小写敏感的，如果要查询大小写不敏感的字符串，必须
   使用-i选项。
   $grep -i “just” *.doc 
   num.doc:Just
   num.doc:just
   
四、grep和正则表达式
1、模式范围：
   $ grep  ‘48[34]’ mydata.doc
   此命令在mydata.doc中匹配字符串“483”和“484”。
2、 不匹配行首：
   $ grep  ‘^[^48]’ mydata.doc
   此命令在mydata.doc中匹配除4或者8开头的行。
3、 设置大小写：
   $ grep  ‘[Ss]ept’  mydata.doc
   此命令在mydata.doc中匹配字符串“Sept”和“sept”。
4、匹配任意字符：
   $ grep  ‘a…z’ mydata.doc
   此命令在mydata.doc中匹配字符串以字符a开头和字符z结尾，中间为任意三个字符。
5、 模式出现的机率
   $ grep ‘1\{2,\}’ mydata.doc
   此命令说明数字1至少出现两次
 

 

--------------------------------------------------------------------------------

awk的使用：
一、awk的调用格式：
awk的调用格式有三种：
第一种是命令行的方式，如下：
awk [-F field-separator] ‘commands’ input-file
[-F]域分隔符，是可选的，awk使用空格作为缺省的域分隔符。
 
第二种方法是将awk命令插入到一个文件，并使awk程序可以执行，然后用awk命令解释器作为脚本的首行，以便通过键入脚本名称来调用它。
第三种方法是将所有的awk命令插入一个单独文件，然后调用：
awk –f awk-script-file input-file
 
二、动作和模式
       任何awk语句都有模式和动作组成。模式部分决定动作语句何时触发及触发事件。
模式包括两个特殊字段BEGIN和END.，BEGIN语句使用在任何文本浏览动作之前，之后文本浏览动作依据输入文件开始执行，END语句用来在awk完成文本浏览动作后打印输出文本中输出和结尾状态标志。实际动作在大括号内指明。
 
三、域和记录
       awk执行时，其浏览域标记为$1，$2 ….$n.。这种方法称为域标识。
    1、保存awk输出
第一种方法：
$awk ‘{print $0}’ mydata.txt >newfile.txt
显示屏上不会输出结果。
 
第二种方法：
$awk ‘{print $0}’ mydata.txt | tee newfile.txt
输出到文件中，同时显示在显示器上。
 
2、使用标准输入
第一种方法：使用awk脚本输入文件格式
$myawk.awk inputfile.txt
第二种方法：使用重定向
$myawk.awk < inputfile.txt
第三种方法：使用管道
$inputfile.txt | myawk.awk
 
3、打印所有记录
$awk ‘{print $0}’ myfile.txt
由于没有模式部分，只有动作部分，动作必须用花括号括起来。
 
Lisi 25 wuhan
Wangjian 33 shanghai
Caiming 55 shenzhen
4、打印单独记录
要用逗号分隔域
$awk ‘{print $1,$2}’ myfile.txt
Lisi 25
Wangjian 33
Caiming 55
 
5、打印报告头
$awk ‘BEGIN {print “Name Age\n******************“} {print $1”\t”$2}’ mfile.txt
 
Name    Age
***************
Lisi      25
Wangjian 33
Caiming 55
 
6、打印信息尾
$awk ‘BEGIN {print “Name \n****** “} {print $1 } END {“end of report\n”}’ mfile.txt

 

--------------------------------------------------------------------------------

 
sed的使用：
一、sed调用格式
sed调用格式有三种：
第一种命令行方式：
sed [option] ‘command’ inputfile
command要加单引号，也允许加双引号。
第二种使用sed脚本文件：
sed  [option]  –f  sed-script-file inputfile
第三种使用第一行具有sed命令解释器的sed脚本文件：
sed-script-file [option] inputfile
 
二、sed选项：
n 不打印：sed不写编辑行到标准输出，缺省为打印所有行。P命令可以用来打印编辑行。
c 下一命令是编辑命令。使用多项编辑时加入选项。
f 如果正在调用sed脚本文件，使用此选项。此选项通知sed脚本文件支持所有的sed命令。
 
三、sed常规用法：
1、 保存sed 输出
$ sed  ‘command’ inputfile > outfile
 
2、 sed在文件中查找文本的方式
sed浏览文件时，默认从第一行开始，有两种方法定位文本：
第一种：使用行号，可以用简单数字或是一个行号范围。
第二种：使用正则表达式。
 
Sed定位文本的一些方式，如下：
x x表示行号。 
x,y 表示行号范围从x到y。 
/pattern/ 查找包含模式的行。 
x,/pattern 通过行号和模式查询匹配行。 
x,y! 查找不包含指定行号x到y的行。 


 
3、 sed编辑命令
p 打印匹配行 
= 显示文件行号 
a\ 在定位行号后附加拳文本信息 
i\ 在定位行号后插入拳文本信息 
d 删除定位行 
c\ 用拳文本替换定位文本 
s 使用替换模式替换相应模式 
r 从另一个文件中读文本 
w 写文本到一个文件 
q 第一个模式匹配完成后推出或立即推出 
l 显示与八进制ASCII代码造价的控制字符 
{} 在定位行执行的命令组 
n 从另一个文件中读文本下一行，并附加在下一行 
g 将模式2粘贴到/pattern n/ 
y 传送字符 
n 延续到下一输入行；允许跨行的模式匹配语句。 


4、 使用p显示行
$sed -n ‘2p’ myfile.txt
Hello world!
-n选项，显示打印定位行。
 
5、 打印范围
$sed -n ‘1,3p’ myfile.txt
Hao 123
Hello world!
Ni hao ma?
打印1到3行。
 
6、 打印模式
$sed -n ‘/123/’p myfile.txt
Hao 123
匹配
 
7、 在指定行号匹配模式
$sed -n ‘5,/Hao/’p myfile.txt
Hao ma?