Linux中正则表达式与文件格式化处理命令(awk/grep/sed)

一.正则表达式

1.1国际字符模式匹配或匹配模式的类名

[:alnum:] : 0-9,A-Z,a-z
[:alpha:] : A-Z,a-z
[:upper:] : A-Z
[:lower:] : a-z
[:digit:] : 0-9
[:space:] : 空格或tab键

1.2基础正则表达式

^word：待查找的字符串在行首。
word$：待查找的字符串在行尾。
. ：代表一定有一个任意字符的字符。
\ ：转义字符，将特殊符号的意义去除。
* ：重复0个到无穷多个的前一个字符。
[list]：从字符集合的RE字符里面找出想要选取的字符，在[]当中代表一个待查找的字符；
        例如：[afg]代表a或f或g的意思。
[n1-n2]：代表想要找出的字符范围;
        eg:[0-9]表示0到9；[a-z]代表a到z。
[^list]：找出不要的字符串或范围，即找出不含list中字符串的；
        eg：[^A-Z]：代表不要非大写字母；[^t]：不要字母t。
\{n,m\}：相当于{n,m}的转义，因{的转义为\{，因}的转义为\}，表示连续n到m个前一个字符。
\{n\}：相当于{n}，即表示重复n个前一个字符。
\{n,\}：相当于{n,}，表示连续n个以上的前一个字符。
注：正则表达式的特殊字符与一般命令行输入命令的“通配符”并不相同。在通配符中*表示0到无限多个字符。但在正则表达式中，*则是0到无穷多个前一个字符。
eg：查找以a开头的文件名的两种实现：
通配符： ls -l a*
正则表达式：ls -l | grep '^a.*' 

1.3扩张正则表达式

grep默认只支持基础正则表达式，如果使用扩展性表达式，可以使用grep -E，不过更建议直接使用egrep。egrep == grep -E。
+ ：重复一个或一个以上的前一个RE字符。
    eg：egrep -n 'go+d' a.txt
    即god，good，goood，...。
? ：0个或1个的前一个RE字符。
    eg: egrep -n 'go?d' a.txt
    即gd,god,good,...。
| ：用或(or)的方式找出数个字符串。
    eg：egrep -n 'gd|god' a.txt
    查找含gd或good的行。
()：找出‘组’字符串
    eg：egrep -E 'g(la|oo)d' a.txt
    找出glad或good的行。
()+：多个重复组的判别
    eg：egrep 'A(xyz)+C' a.txt
    开头为A，结尾为C，中间位1一个以上的xyz字符串。

注：RE：regular expression（正则表达式）。

二.awk命令

2.1awk概述

互联网中对日志分析，大多使用的是linux中的shell进行处理。此时主要使用的shell中的awk，因为awk强大的字段处理能力。下面就对其由浅入深，最后给出实例进行讲解。

首先给出一个很好的awk学习链接：http://www.cnblogs.com/chengmo/tag/awk/ 。

awk比较倾向于将一行分成数个“字段”来处理，其运行模式为：

awk '条件类型1{动作1} 条件类型2{动作2}...'   filename

注：awk主要是处理每一行的字段内的数据，而默认的字段的分隔符为空格键或tab键。

2.2awk入门

(1)eg: last -n 5 | awk '{print $1 "\t" $3}'

表示将登陆者的数据取出来，仅取前5行。其中$1表示当前行的第一个数据；$3表示当前行的第三个数据。

(2)awk是如何知道这个数据有几行几列呢？这需要下面的内置变量进行帮忙：

NF：每一行（$0）的字段总数；NR：目前awk所处理的是第几行；FS：目前的分隔符，默认为空格键。

eg：在/etc/passwd当中是以冒号来作为字段分隔符的，该文件第一个字段为账号，第3个字段为UID，那下面要查询第3列小于10以下的数据，并且仅列出第一列与第三列，可以如下做：

cat /etc/passwd | awk ‘BEGIN{FS=":"} $3<10{print $1 "\t" $3}’

输出如下：

root 0

bin  1

注：BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量。END：让用户在最后一条输入记录被读取之后发生的动作。

(3)有如下的薪资表pay.txt，内容如下：

Name   1st           2st        3st

Sean   23000    24000    25000

Zhao   21000    20000    23000

Bird2   43000    42000   41000

那如何格式化输出，并能计算每个人的总额呢？

如下考虑：第一行不需要加总，只是说明（NR==1）；第二行以后，有加总（NR>=2）。

命令如下：

cat pay.txt | awk '{

if(NR==1)

    printf  "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"}

NR>=2{

     total=$2+$3+$4 

     printf "%10d %10d %10d %10d %10.2f\n ",$1,$2,$3,$4,total }'

也可以这样：

cat pay.txt | awk 'NR==1{

    printf  "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"}

NR>=2{

     total=$2+$3+$4 

     printf "%10d %10d %10d %10d %10.2f\n ",$1,$2,$3,$4,total }'

(4)如何查看一个文件的最后5行：tail -n 5 a.txt

如何查看有一个文件的前5行:head -n 5 a.txt

打印文件的行数：awk ‘END{print NR}’  data.txt  

(5)如何查看一个文件夹下文件的个数

ls -l | awk 'END{print NR}'

注：表示处理完最后一行的时候，输出当前的NR，即文件的总行数。

(6)每4行转换成一行

awk '{if(NR%4==0){print $0}else{printf "%s",$0}}'  a.xml

2.3awk的实际应用

现在给出日志数据，只给出几行，如下所示：

23:59:59        bj      other   other1  detail  1       0       8178526912798594496654
23:59:59        ly       fang    fang1   list     34      2       7564641773641447038883
23:59:59        bj      fang    fang1   detail  1       0       4062479590911058005479
23:59:59        bj      fang    fang1   detail  1       0       7311067232020513225874

(1)awk统计日志中的pv和uv

pv表示页面的访问量，即刷新一次算一次访问。uv表示访客数，即访问这个页面的用户数。

下面实现统计该日志中的所有pv和uv，同时统计每一个大类（第三列数据）的pv和uv，shell如下所示：

#!/bin/sh

if [ $# -lt 1 ]; then
    echo "Usage:"
    echo "      $0 [filename]"
    exit 1
fi

if [ "$1" == "-h" ]; then
    echo "Usage: $0 [filename]"
    exit 1
fi

awk -F"\t" '{

    total[$8] ++;
    uvlist[$3"#"$8] ++;
    if($5 == "detail")
    {
        detailpv ++;
        pvlist[$3] ++;
    }
}END{
    print "total\t"detailpv"\t"length(total)
    for(k in uvlist)
    {
        split(k, c, "#");
        cate[c[1]] ++;
    }

    for(k in pvlist)
    {
        print k"\t"pvlist[k]"\t"cate[k];
    }
}' $1

运行结果如下：

(2)awk从日志中统计在线率

这里统计是根据第二列（城市）和第三列（大类）进行统计的。shell如下：

#!/bin/sh

if [ $# -lt 1 ]; then
        echo "Usage:"
        echo "      $0 [filename]"
        exit 1
fi

if [ "$1" == "-h" ]; then
        echo "Usage: $0 [filename]"
        exit 1
fi

cat $1 | awk -F"\t"  '$5 == "list"{
    if($2 != "bj" && $2 !="sh" && $2 != "gz" && $2 != "sz") next;

    citycategory = $2"_"$3;
    citymajor = $2"_"$4;

    if($3 == "fang")
    {
        ctotal[citymajor] += $6;
        conline[citymajor] += $7;
    }

    ctotal[citycategory] += $6;
    conline[citycategory] += $7;
    listall += $6;
    listonlineall += $7;
}$5 == "detail"{
    if($2 != "bj" && $2 !="sh" && $2 != "gz" && $2 != "sz") next;

    citycategory = $2"_"$3;
    citymajor = $2"_"$4;

    if($3 == "fang")
    {
        dctotal[citymajor] += $6;
        dconline[citymajor] += $7;
    }

    dctotal[citycategory] += $6;
    dconline[citycategory] += $7;
    detailall += $6;
    detailonlineall += $7;
}END{

    #按城市和大类一起统计
    cslen=asorti(ctotal,clA);
    print "<table border=\"1\"><caption align=\"top\">用户在线率统计</caption><tr><td>城市</td><td>类别</td><td>列表页总人数</td><td>列表页在线率</td><td>详情页总人数</td><td>详情页在线率</td></tr>";
    for(i=1; i <= cslen; i ++)
    {
        split(clA[i], arr, "_");
        dc = dct = "-";
        if(clA[i] in dctotal)
        {
            dct = dctotal[clA[i]];
            dc = dconline[clA[i]]/dct;
        }
        printf("<tr><td>%s</td><td>%s</td><td>%d</td><td>%.2f%%</td><td>%d</td><td>%.2f%%</td></tr>", arr[1], arr[2], ctotal[clA[i]], conline[clA[i]]*100/ctotal[clA[i]], dct, dc *100);
    }

    print "</table><br/><br/>";

}'

三.grep命令

3.1grep概述

grep：进行字符的对比，将符合要求的字符打印出来。是以正则表达式搜索文本，并打印匹配行。grep是以整行为单位来进行数据的选取的。

其格式： grep [option] '正则表达式' 文件名

option： -n表示打印出时，显示行号；

               -v表示反向选择，即不要符合正则表达式的行；

              -A：后可加数字，为after意思，除了该行外，后续的n行也可列出。eg：-A3

              -B：为before，除了该行外，前面的n行也可列出。

3.2grep入门

(1)查找特定字符串

grep -n 'the' a.txt ：查找含the的行，并显示行号

grep -vn 'the' a.txt：查找不含the的行，并显示行号

grep -in ‘the’ a.txt：忽略the的大小写，查找含the的行，即the、The、tHe......

(2)查找字符集合，利用[]

grep -n 't[ae]st' a.txt ：查找含tast或test的行

grep -n '[^g]oo' a.txt ：oo前面不要出现g

grep -n '[^a-z]oo' a.txt ：不想oo前面含小写的字母，等价于grep -n '[^[:lower:]]oo' a.txt
(3)行首与行尾字符^$

(a)grep -n '^[^a-zA-Z]' a.txt   ：不要以字母开头的行

等价于grep -n '^[^[:alpha:]]' a.txt

注：^在[]之外表示定位在行首。^在[]之内表示“反向选择”。

(b)grep -n '\.$' a.txt：以.结束的行。因.表示任意字符，所以是特殊符号，需要转义。

(c)grep -n '^$' a.txt：找出哪些行是空行。

(d)grep -v '^$' a.txt  | grep -v '^#'：不要空行和以“#”开头的行。

(4)任意一个字符.与重复字符*

grep -n 'g..g' a.txt  ：表示g__g的字符

grep -n 'g*g' a.txt：g*表示一个空字符或一个以上的g，再加上后面的g。

grep -n ‘g.*g’ a.txt：表示g开头与g结尾。*表示0个或任意多个字符。

(5)限定连续RE字符的范围

因{}在shell中是有特殊意义的，因此我们必须用转义字符\来让它失去特殊意义才行的。

grep -n 'go\{2,\}g' a.txt：表示含2个以上的o。即good、goood、....

四.sed命令

4.1sed概述

sed常用于一整行的处理，主要对文件中的行进行操作。

其格式为：sed [-nefr] [动作]

动作说明：[定址] function

定址方式如下：
(1)n1[,n2]：表示n1到n2之间进行动作。eg：10,20[动作行为]
(2)/pattern/：模式（正则表达式）pattern指定的行
(3)/pattern/,/pattern/：2个模式（正则表达式）之间的行进行动作
(4)/pattern/,x：模式+行（在给定行号上查询模式）
(5)x,y/pattern/：通过行号和模式匹配行
(6)x,y!：不包含指定行号
(7)$：表示最后一行
注：范围可通过数值，正则表达式或者二者结合的方式确定。

fuction（即动作）如下：
(1)a：append（新增），在目前定址行的下一行插入字符串
(2)c：change（替换），替换当前定址到的行为字符串
(3)d：delete（删除），删除当前定址的行
(4)i：insert（插入），在定址行的上一行插入字符串
(5)p：print（打印），打印当前定址行的数据
(6)s：substitute（替换），其格式为：'s/要替换的字符串/新的字符串/g'

注：a、c、i动作之后，可以用空格或“\”隔开字符串

4.2sed入门

(1)以行为单位的新增功能
注：新增操作，结果到标准输出，不能被编辑，必须存到另一文件中。

在匹配行的下一行插入一行：
sed '/dreamb/a\appended line' a.txt ：表示将含“dreamb”的匹配行后插入一行“appended line”
或 sed '/dreamb/a append line' a.txt
cat /etc/passwd | sed '2a drink tea'：表示在第二行后追加一行“drink tea”
如果想保存修改，一般是重定向到另外的一个文件。

sed '/five/i four' a.txt > result.txt：表示含“five”的匹配行的上一行插入一行“four”
如果想直接修改源文件，可以用下面的命令：
sed -i '/five/i four' a.txt
(2)修改文本
sed '3c\changed line' a.txt ：表示在第三行替换为“changed line”
等价于sed '3c changed line' a.txt
(2)删除文本
sed '1,3d' a.txt：删除1到3行
sed '/dreamd/d' a.txt：删除含“dreamd”的行
sed -n '/Begin/,/End/d' a.txt | more：删除两个匹配行之间的数据
sed '$d' a.txt：删除最后一行
sed '/^th/d' a.txt：删除以th开头的行
(3)替换
替换格式：sed '[address[,address]] s/pattern_find/replacement_pattern/[g,p,w,n]' filename
其中，g表示对模式空间中的所有情况进行替换，默认只替换首次出现的模式。
sed '1,2 s/d$/&dd' a.txt：将1-2行中的所有以d结尾的行，都附加上一个dd
sed '/first/ s/st/ST/' a.txt：将含有“first”的行中st换成大写ST
cat /etc/man.config | grep 'MAN' | sed 's/#.*$'//g'：表示删除掉“#”批注之后的数据
(4)转换文件
通常用于大小写的转换
语法为：y/abc/xyz/
sed 'y/five/six1' a.txt：将five转换成six1
(5)显示匹配行
sed -n '5,7p' a.txt：显示a.txt中的5-7行
等价于head -n 7 | tail -n 3：即前7行中的后3行