注:AWK的正则表达式竟然不支持零宽断言!perl是支持零宽断言的,但是perl中的程序要达到awk的效率需要考虑的问题太多。于是笔者用两次匹配(第一次匹配后再过滤一次)的方法代替零宽断言:
awk /$key/'{if($0~/\/\/.*$key|\/\*.*$key|$key.*\*\//) ; else printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
但是上句并不能奏效,因为awk语句内部是不能识别shell中定义的变量的,所以{}内不能出现$val这样引用变量的方法,而只能是val这样引用。但是用awk -v xxx=$val是可以把shell的变量引入awk的。我最终是在awk -v 处定义正则表达式的,并在正则表达式中引用shell里的变量$key。注意,在这里,正则表达式中每使用一个右斜杆,需要在此右斜杆前再加2个右斜杆以供解释器转义!
最后可以运行的语句
awk -v reg="\\\/\\\/.*$key|\\\/\\\*.*$key|$key.*\\\*\\\/" /$key/'{if($0 ~ reg ) ; else printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
这个语句我用了几天后发现还有一个小小的问题:它总是先执行``中的find命令,find完全结束后在执行AWK。这带来一个buffer的毛病,在文件量很大、层数很多的工程中,搜索时不能即时看到结果。而find和awk都是无buffer的,这种通过``组合起来的命令却造成了buffer。我尝试用|管道来写这个语句,但是当把find的输出输入awk时,awk并不能把它们解析成一个个的文件名,而是把find的每一行输出认为是一行待处理的文本来处理。
经过半个上午+一个下午的努力,我用perl解决了这个问题,第一次接触perl语言,遇到了一些障碍,所幸在一天内攻克了,下面这个脚本在查找效率和输入便捷上都很可观:
findme.pl源文件
#!/usr/bin/env perl
# program: find specific text in files with specific names
# Made by: Daiyyr
# date: 2013/03/14
use 5.10.1;
use strict;
use warnings;
use POSIX qw(strftime);
my $key;
my $fname;
sub find{
my @dirs = <$_[0]/*>;
my $count = @dirs;
my $len = length($_[0]);
if($count == 0){
return 1;
}
my $i=0;
while($i<$count){
if(-d $dirs[$i]){
&find("$dirs[$i]", $_[1]);
}
else{
if(substr($dirs[$i],$len+1) =~ m/$_[1]/){
if( substr($dirs[$i],$len+1) eq "log_finding_${key}_in_${fname}"){
$i++;
next;
}
open(FILE, $dirs[$i]) || die("open file failed: $dirs[$i]\n");
while(my $line=<FILE>){
if($line =~ m/$key/ && $line !~ m/\/\/.*$key|\/\*.*$key|$key.*\*\//){
print("$dirs[$i] : $. : $line");
print LOG ("$dirs[$i] : $. : $line");
}
}
close(FILE) || die("close file failed: $dirs[$i]\n");#猜测若不显式地关闭,一样要自动地隐式关闭,并不能节省时间
}
}
$i++;
}#end of while
}
print "input your files' name(could be regex):\n";
$fname = <STDIN>;
chomp($fname);
print "input your key word(could be regex):\n";
$key = <STDIN>;
chomp($key);
open(LOG, ">log_finding_${key}_in_${fname}") || die("open file failed: log_finding_${key}_in_${fname}\n");
print LOG ("search time: ".strftime("%Y-%m-%d %H:%M:%S\n", localtime(time))."key words:${key}, file name:${fname}, path:$ENV{'PWD'}\n\n");
&find(".", $fname);
close(LOG) || die("close file failed: log_finding_${key}_in_${fname}\n");
壹、参考:
维基百科AWK条目:http://zh.wikipedia.org/zh-cn/AWK
某人AWK学习笔记:http://man.lupaworld.com/content/manage/ringkee/awk.htm#id2808925
贰、总结
0. ``这个符号用于标记命令语句。比如需要在shell执行一个语句,而输出结果并不显示在屏幕,而是把输出结果传送到某个地方,作为另一个命令或表达式地一部分, 此时用``将这个命令语句标记起来,例子:
awk /$key/'{printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
0.5 tee,在保留原先保准输出的途径的情况下,再将标准输出导入到其它地方。
1。若不使用文件定义script的话,单引号是必须的,标记模式和操作。若把模式和操作放在一个单引号内,模式如果是正则表达式且表达式中含变量的话,这个正则表达式可能失效;如果只把操作放在单引号内,则模式必须紧挨着单引号,几乎只有此方法是正确的;不能用2个单引号分别标记模式和操作。举例如下:
awk '/f/ {print "good job"}' a 此时正则表达式中没变量,正确;但是:
awk '/$key/ {printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` 错误!正则表达式失效
awk /f/'{print "good job"}' a 正确,都使用这种方法就好了。
awk /f/ '{print "aa"}' a 错误
awk '/f/' '{print "aa"}' a 错误
2. ORS(输出记录分隔符)只改变print的行为。而printf相当于外部函数,它的行为不受AWK变量限制,所以:
awk -v ORS="\n\n" /f/'{printf("%d\n", NR)}' a 输出依然是一个换行符间隔
awk -v ORS="\n\n" /f/'{print NR}' a 输出是两个换行符间隔
awk /f/'{ORS="\n\n"; print NR}' a 这条命令与上条作用完全相同
3. 据上面最后一行提示,可知,变量的定义可以在script部分,也可以在选项部分
4. AWK允许运算符~,用来测试正则表达式是否可以与一字符串匹配,用法举例: $0 ~
/regexp/
叁、部分我使用过的命令:
多文件搜索:
awk /$key/'{printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
BEGIN用法:
awk 'BEGIN { print "Hello, world!" }' a
文件内部排序:
grep -oP 'http:.*\.jpg' > a
awk -vFS="/" '{printf("mv %s %d.jpg\n", $NF, NR);}' a|sh
上面2条命令实际用法详见http://blog.chinaunix.net/uid-24245847-id-3192460.html
把以\结尾的行与下一行作为一条记录。尝试没有成功。在网页测试中,[^(\\)]\n 这个是可以排除以右斜杠结尾的行的,但在AKW中无法排除
awk '{RS="[^(\\)]\n"; ORS="END\n"; print $0}' a