11.2.1grep和正则表达式
让我们首先从grep命令开始。这个命令大家应该很熟悉了，它用来在文件中查找一个
字符串。不过，实际上，grep的处理功能要强大和复杂的多。
grep命令的语法是
grep[模式][文件名]
如果没有给出文件名，就缺省使用标准输入。grep每次读取一行，并且和给出的模式
进行匹配，如果成功就把这一行会显，例如：(粗体的是我们输入的内容)
$greptest
close
testmyhand
testmyhand
grep的“模式”也称为正则表达式，可以由各种基本的正则表达式元素构成。正则表
达式元素主要包括下面几种：
字符串匹配任何字符串，例如greptest表示在标准输入中1
[...]封闭集中匹配一个字符，如:[abcde]可以匹配a,b,c,d,e
[^...]求补集中匹配一个字符，例如[^ABC]匹配
.匹配任意字符
/s空白符
/S非空白符
/d数字
/D非数字
/w字母或数字
/W非字母和数字
*匹配任何字符
上面的形式是grep中使用的基本正则表达式，另外，还可以使用egrep，egrep是grep
的一个扩展版本，支持下面这些扩展的正则字符串：
^匹配一行的开始
$匹配一行的结尾
()确定正则表达式求值顺序，和正常演算中的括号意思差不多。
(...|...|...)或,可选项之一进行匹配，例如:(abc|dev|ghi)可以匹配abc,dev,gh
i，而(ww|gg)do可以匹配wwdo或者ggdo。
+一次或多次模式
如:aba+匹配aba,abaa...不匹配ab
通常，我们有两种方法使用grep和egrep，一种是使用管道，例如我们应该熟悉的ps
ax|grepsendmail，另一种是直接在文件中搜索对应的字符串。
grep/egrep还可以在命令行使用开关，常用的开关包括：
-b在行前加上块号
-c统计匹配行的个数
-n在行前加上行号
-w将模式解释为字符串，所有正则表达式的控制命令失效
-x精确匹配
-r查询文件时包含子目录
举个例子来说，我们想在/var/log/httpd/access_log中查询所有不是来自本地（192
.168.0.1）的请求记录，可以执行：
grep–v"^192.168.0.1"/var/log/httpd/access_log
^用来让grep只在行首匹配。
在grep查询的时候可以使用通配符代表多个文件，例如，grepstart*-r将在当前目
录以及所有子目录的所有文件中查询start字符串。
11.2.2gawk的使用方法
gawk是awk的一个实现，awk是一种用来处理报告等文本文件的脚本语言。不过，我们
介绍这个产品的主要目标是用它来处理各种程序的记账文件。对于复杂的脚本，还是用
Perl比较合适。
gawk的主要功能是针对档案的每一行搜寻指定的模式。，每当找到一个匹配的模式
，gawk就会去执行你设定的动作。按照这个方式，gawk依此方式处理输入档案的每一
行直到输入档案结束。如果对于某个模式没有设置对应的动作，gawk将直接将这个行显
示出来。
为了使用gawk，你通常必须先写一个awk脚本，除非模式/动作非常简单，可以在一行
上完成。我们用一个例子来解释gawk的基本用法，首先产生一个目录列表文件：
ls–l/etc>list
现在list的内容有点像这样：
total2164
drwxr-xr-x3rootroot4096Feb1522:55CORBA
-rw-r--r--1rootroot2045Sep241999DIR_COLORS
-rw-r--r--1rootroot17Mar2519:59HOSTNAME
…………
现在我们选择一个最简单的例子，简单地查找所有属性是drwxr-xr-x的目录文件：
gawk'/drwxr-xr-x/{print$0}'list
将输出所有这样的目录。
这个例子看上去没有什么实际用处，因为用grep也可以做同样的动作，那么我们可以
看一看下面这个功能：
$gawk'$1=="-rwxr-xr-x"{sum=sum+$5}END{printsum}'list
15041
这个是什么意思？对于所有属性是755的文件，让gawk对第五栏的数字求和。第五栏我
们可以看到就是文件的长度，因此这个命令将显示所有属性为755的文件的总共的长度。
$n是gawk中非常重要的概念，它用来表示文本串的分栏。缺省的情况下，gawk将输入
字符串（从文件中读入的每一行）按照分割的空格分成若干个字段，每个字段作为一个
变量，例如有一行
mynameis3thtest
那么，在awk读入这一行之后，就产生了$1到$5变量，其中$1="my"，$2="is"，………
，最后$5="test"。另外还有一个特殊的变量$0，它表示整个输入行，也就是这个字符串
"mynameistest"。另外还有一个特殊的变量NF，它表示当前行的字段的个数，在现在
的情况下，NF应该等于5。
在某些特殊的情况下，你可能需要改变分割符的定义，这可以通过对FS赋值来完成，
例如FS=","将分割符定义为都号而不是缺省的空格。
在一般情况下，gawk可以从命令文件中获得模式/动作，命令文件的格式很简单，就是
直接将应该写在命令行上的模式/动作对写在文件里面，每个对构成一行，模式可以有两
种，一种是模式匹配，也就是我们在前面解释的正则表达式，如果使用正则表达式，那
么需要用两个/把它们夹在一起，例如/[A-Z]/表示正则表达式[A-Z]。
另一种模式是比较指令，比较指令可以用比较操作符和逻辑运算符来构成，常用的比
较操作符有：
==等于<=不大于~按照正则表达式匹配
<小于>=不小于!~按照正则表达式不匹配
>大于!=不等于
逻辑运算符有
&&和||或!非()括号
设定了模式后，就可以设置对应的动作了，在gawk中，动作必须用花括号括起来。ga
wk能完成的动作并不多，毕竟它是一种报告分析语言。一般情况下，只要熟悉print和p
rintf命令就足够了，print命令的格式非常简单：
printitem1,item2,…………
输出时，每个项目输出一栏，中间用空格分开。一个print后面不跟着任何变量会导致
gawk显示当前的输入行（$0）。如果要输出一个字符串，使用引号把它括起来，特别是
如果要输出一个空行，使用print""。这里是一个例子，它将list文件的头两栏输出：
gawk'{print$1,$2}'list
由于输入的文本文件内容有多行，你在命令栏中设计的模式/动作会对每一行执行一次
。就是：
total2164
drwxr-xr-x3
-rw-r--r--1
-rw-r--r--1
-rw-r--r-1
…………………
如果你要精确地控制输出，也可以使用printf命令，这个命令的格式是：
printfformat,item1,item2,...
format参数就是C语言里面的格式控制符，例如%c，%d，%f等等。在%与格式控制
字母之间可加入modifier，modifier是用来进一步控制输出的格式。可能的modifie
r如下所示：
'-'使用在width之前，指明是向左靠齐。如果'-'没有出现，则会在被指定的
宽度向右靠齐。例如：
printf"%-4S","foo"会印出'foo'。
'width'这一个数字指示相对应的栏位印出时的宽度。例如：
printf"%4s","foo"会印出'foo'。
width的值是一个最小宽度而非最大宽度。如果一个item的值需要的宽度
比width大，则不受width的影响。例如printf"%4s","foobar"将印出'foobar'。
'.prec'此数字指定印出时的精确度。它指定小数点右边的位数。如果是要印出一个
字串，它指定此字串最多会被印出多少个字符。
作为一种脚本语言，gawk允许使用变量，定义变量非常简单，就是直接用等号对它赋
值。为了在gawk程序的开始处对变量赋值，gawk专门提供了BEGIN语句，这个语句将在所
有行被读入之前执行，而且只执行一次，通常用它来执行初始化命令，例如
BEGIN{sum=0;count=0;average=0.0;}
对于变量可以使用数学表达式进行运算，运算符包括常见的加减乘除算符，以及^(乘
方)，%(取余)和著名的++，--。不过注意gawk在做除法的时候总是使用浮点除法，除了
取余算符%。
函数
另外，gawk包含下列函数：
数学函数
atan2(x,y)y/x的正切
cos(x)余弦函数
sin(x)正弦函数
int(x)取整
log(x)取自然对数
exp(x)指数函数
rand(x)生成一个0到1之间的随机数
srand()初始化随机数发生器
systime()返回从1970年1月1日0:00到当前时间的秒数
sqrt(x)取x的平方根
字符串函数
index(string1,string2)
它会在string1里面，寻找string2第一次出现的地方，返回值是字串string2出
现在字串string1里面的位置。如果找不到，返回值为0。
例如：
printindex("peanut","an")
会印出3。
length(string)
string字符串的长度
例如：
length("abcde")
是5。
match(string,regexp)
match函数会在字串string里面，寻找符合regexp的最长、最靠左边的子字
串。返回值是regexp在string的开始位置，即index值。这个函数会设定内部变量
RSTART等於index，内部变量RLENGTH等於符合的子串个数。如果不符合，则会设定
RSTART为0、RLENGTH为-1。
sprintf(format,expression1,...)
跟C语言的sprintf差不多。
例如：
sprintf("pi=%.2f(approx.)',22/7)
传回的字串为"pi=3.14(approx.)"
sub(regexp,replacement,target)
在字串target里面，寻找符合regexp的最长、最靠左边的地方，并且以字串
replacement代替最左边的regexp。
例如：
str="water,water,everywhere"
sub(/at/,"ith",str)
结果字串str会变成
"wither,water,everywhere"
gsub(regexp,replacement,target)
gsub与前面的sub类似。在字串target里面，寻找符合regexp的所有地方
，以字串replacement代替所有的regexp。
例如：
str="water,water,everywhere"
gsub(/at/,"ith",str)
结果字串str会变成
'wither,wither,everywhere"
substr(string,start,length)
传回字串string的子字串，这个子字串的长度为length个字符，从第start
个位置开始。
例如：
substr("washington",5,3)
传回值为"ing"
如果length没有出现，则传回的子字串是从第start个位置开始至结束。
例如：
substr("washington",5)
传回值为"ington"
tolower(string)
将字串string的大写字母改为小写字母。
例如：
tolower("MiXeDcAsE123")
传回值为"mixedcase123"
toupper(string)
将字串string的小写字母改为大写字母。
例如：
toupper("MiXeDcAsE123")
传回值为"MIXEDCASE123"
其他函数
system(command)
此函式允许使用者执行作业系统的指令，执行完毕後将回到gawk
程式。
例如：
BEGIN{system("ls")}
控制流
在gawk命令脚本中可以使用控制流，主要是if，for，while等语句，用法和C语言相当
类似：
if(condition)then-body[elseelse-body]
如果condition为真(true)，则执行then-body，否则执行else-body。
举一个例子如下：
if(x%2==0)
print"xiseven"
else
print"xisodd"
while(condition)
body
while语句测试condition表达式。假如condition为真则执行body的语句。一次
执行完後，会再测试condition，假如condition为真，则body会再度被执行。这个
过程会一直被重复直到condition不再是真。如果condition第一次测试就是伪(fals
e)，则body从没有被执行。
下面的例子会印出每个输入行的前三个栏位。
gawk'{i=1
while(i<=3){
print$i
i++
}
}'
do
body
while(condition)
这个doloop执行body一次，然後只要condition是真则会重复执行body。即使
开始时condition是伪，body也会被执行一次。
下面的例子会印出每个输入记录十次。
gawk'{i=1
do{
print$0
i++
}while(i<=10)
}'
for(initialization;condition;increment)
body
此叙述开始时会执行initialization，然後只要condition是真，它
会重复执行body与做increment。
下面的例子会印出每个输入记录的前三个栏位。
gawk'{for(i=1;i<=3;i++)
print$i
}'
break会跳出包含它的for、while、do-while循环的最内层。
下面的例子会找出任何整数的最小除数，它也会判断是否为质数。
gawk'#findsmallestdivisorofnum
{num=$1
for(div=2;div*div<=num;div++)
if(num%div==0)
break
if(num%div==0)
printf"Smallestdivisorof%dis%d/n",num,div
else
printf"%disprime/n",num}'
continue使用于for、while、do-while循环内部，它会跳过循环体的剩余部分
，立刻进行下一次循环的执行。
下面的例子会印出0至20的全部数字，但是5并不会被印出。
gawk'BEGIN{
for(x=0;x<=20;x++){
if(x==5)
continue
printf("%d",x)
}
print""
}'
next语句强迫gawk立刻停止处理目前的行而继续下一个输入行。
exit语句会使得gawk程式停止执行而跳出。然而，如果END出现，它会去执
行END的actions。
自定义函数
你可以定义自己的函数，其格式是
functionname(parameter-list){
body-of-function
}
name是所定义的函数名字。parameter-list是函数的变量列表。变量间使用逗号分
开。
函数可以在程序的任何地方定义，不过习惯上总是定义在程序的开头部分。
下面这个例子，会将每个记录的第一个栏位之值的平方与第二个栏位之值的平方加
起来。
{print"sum=",SquareSum($1,$2)}
functionSquareSum(x,y){
sum=x*x+y*y
returnsum
}
如果你熟悉任何编程语言，那么掌握awk都是很轻松的事情，如果你不喜欢它，那么你
可以参考我们下面介绍的perl。
