grep和正则表达式

grep

文本搜索工具，根据用户指定的“模式”对目标文本逐行进行匹配检查；打印匹配到的行，常用选项：

• --color=auto：关键字高亮显示，在centos7当中默认做为别名
• -v：显示没有被匹配到的行
• -i：忽略大小写
• -n：显示匹配的行号
• -c：显示匹配行的数量
• -o：仅显示匹配到的关键字
• -q：静默模式，不输出任何信息
• -A #：after，当前行及后#行
• -B #: before, 当前行及前#行
• -C #：context, x 当前行及前后#行
• -e：表示逻辑或
  • -e 关键字1 -e 关键字2 或者 "关键字1|关键字2" 表示逻辑或
• -w：示字符边界，匹配整个单词，也可以使用位置锚定<关键字>或\b关键字\b
• -E：使用扩展正则表达式，相当于egrep
• -F：不适用正则表达式，相当于fgrep

查找172.18.118.xxx网段在线的主机，只显示在线主机的ip

[root@centos6 ~]# nmap -v -sP 172.18.118.0/24|grep -B1 "Host is up"|grep for|cut -d" " -f5

基本正则表达式

字符匹配

.：匹配任意单个字符
[]：匹配指定范围内的任意单个字符
[^]：匹配指定范围外的任意单个字符
[:alnum:]：字母和数字
[:alpha:]：代表任何英文大小写字符，亦即 A-Z, a-z
[:lower:]：小写字母 [a-z]
[:upper:]：大写字母 [A-Z]
[:blank:]：空白字符（空格和制表符）
[:space:]：水平和垂直的空白字符（比[:blank:]包含的范围广）
[:cntrl:]：不可打印的控制字符（退格、删除、警铃...）
[:digit:]：十进制数字 [0-9]
[:xdigit:]：十六进制数字
[:graph:]：可打印的非空白字符
[:print:]：可打印字符（大小写字母、数字和标点符号）
[:punct:]：标点符号

次数匹配

用在要指定次数的字符后面，用于指定前面的字符要出现的次数

*：匹配前面的字符任意次，包括0次（贪婪模式：尽可能长的匹配）
\?：匹配其前面的字符0或1次
\+：匹配其前面的字符至少1次
\{n\}:匹配前面的字符n次
\{m,n\} 匹配前面的字符至少m次，至多n次
\{,n\} 匹配前面的字符至多n次
\{n,\} 匹配前面的字符至少n次

位置锚定

定位出现的位置

^：行首锚定，用于模式的最左侧
$：行尾锚定，用于模式的最右侧
\<或 \b：词首锚定，用于单词模式的左侧
\> 或 \b：词尾锚定，用于单词模式的右侧

[root@centos7 app]# cat test
root
rooter
[root@centos7 app]# cat test |grep -v "root"
[root@centos7 app]# cat test |grep -v "\"
rooter

分组

\(\)：将一个或多个字符捆绑在一起，当作一个整体，如\(root\)\+

分组括号中的模式匹配到的内容会被正则表达式引擎记录于内部的变量中，这些变量的命名方式为：\1 \2 \3 ...

\(string1\+\(string2\)*\)
    \1：string1\+\(string2\)*
    \2：string2

或者

a\|b：a或b
C\|cat：C或cat
\(C\|c\)at：Cat或cat

练习

1. 显示/proc/meminfo文件中以大小s开头的行(要求：使用两种方法)

   [root@centos7 app]# grep "^\(s\|S\)" /proc/meminfo
   [root@centos7 app]# grep -i "^s" /proc/meminfo
   

2. 显示/etc/passwd文件中不以/bin/bash结尾的行

   [root@centos7 app]# grep -v "/bin/bash$" /etc/passwd
   

3. 显示用户rpc默认的shell程序

   [root@centos7 app]# getent passwd rpc|cut -d: -f1,7
   

4. 找出/etc/passwd中的两位或三位数

   [root@centos7 app]# grep -o "\<[0-9]\{2,3\}\>" /etc/passwd
   

5. 显示CentOS7的/etc/grub2.cfg文件中，至少以一个空白字符开头的且后面存非空白字符的行

   [root@centos7 app]# cat /etc/grub2.cfg |grep "^[[:blank:]]\+.*"
   

6. 找出“netstat -tan”命令的结果中以‘LISTEN’后跟任意多个空白字符结尾的行

   [root@centos7 app]# netstat -tan|grep "\[[:blank:]]\+"
   

7. 显示CentOS7上所有UID小于1000的用户的用户名和UID

   [root@centos7 app]# cat /etc/passwd|grep ".*:x:[0-9]\+:.*"|cut -d: -f1,3
   

8. 添加用户bash、testbash、basher、sh、nologin(其shell为/sbin/nologin),找出/etc/passwd用户名同shell名的行

   [root@centos7 app]# grep "^\(\<.*\>\):x:.*\1$" /etc/passwd
   

9. 利用df和grep，取出磁盘各分区利用率，并从大到小排序

   [root@centos7 app]# df |grep -o "[0-9]\+%" |sort -nr
   

扩展正则表达式

字符匹配

.：任意单个字符
[]：指定范围的字符
[^] 不在指定范围的字符

次数匹配

*：匹配前面字符任意次
?: 0或1次
+：1次或多次
{m}：匹配m次
{m,n}：至少m，至多n次

位置锚定

^：行首
$：行尾
\<，\b：语首
\>，\b：语尾

分组

() 后向引用：\1 \2 ...

或者

a|b：a或b
C|cat：C或cat
(C|c)at：Cat或cat

练习

1. 显示三个用户root、sh、nologin的UID和默认shell

   [root@centos7 app]# cat /etc/passwd|grep "^\<\(root\|sh\|nologin\)\>"|cut -d: -f1,3,7
   

2. 找出/etc/rc.d/init.d/functions文件中行首为某单词(包括下划线)后面跟一个小括号的行

   [root@centos7 app]# cat /etc/rc.d/init.d/functions |grep "^\([[:alpha:]]\+_[[:alpha:]]\+\)("   此表达式达不到指定的匹配要求
   
   [root@centos7 app]# cat /etc/rc.d/init.d/functions |grep "^\([[:alpha:]]\|_\)\+("
   

3. 使用egrep取出/etc/rc.d/init.d/functions中其基名

   [root@centos7 app]# echo /etc/rc.d/init.d/functions |egrep -o "[[:alpha:]]+$"
   
   [root@centos7 app]# echo /etc/rc.d/init.d/functions |egrep -o "[^/]+$"
   

4. 使用egrep取出上面路径的目录名

   [root@centos7 app]# echo /etc/rc.d/init.d/functions |egrep -v "[[:alpha:]]\+$"
   /etc/rc.d/init.d/functions
   
   [root@centos7 app]# echo /etc/rc.d/init.d/functions |egrep -o "^/.*/.*/.*/"
   /etc/rc.d/init.d/
   
   [root@centos7 app]# echo /etc/rc.d/init.d/functions |egrep -o "^/(([[:alpha:]]|.)+/)+"
   /etc/rc.d/init.d/
   

5. 统计last命令中以root登录的每个主机IP地址登录次数

   [root@centos7 app]# last |grep "^\.*pts/0"|tr -s " "|cut -d" " -f3|sort|uniq -c
   
   [root@centos7 app]# last |egrep -o "[0-9]+([[:punct:]])[0-9]+\1[0-9]+\1[0-9]+"|sort|uniq -c
        15 172.18.118.140
   

6. 显示ifconfig命令结果中所有IPv4地址

   [root@centos7 ~]# ifconfig |grep -o "inet [0-9]\+\([[:punct:]]\)[0-9]\+\1[0-9]\+\1[0-9]\+"|cut -d" " -f2
   172.18.119.40
   192.168.61.153
   127.0.0.1
   192.168.122.1
   

7. 将此字符串：welcome to magedu linux 中的每个字符去重并排序，重复次数多的排到前面

   [root@centos7 ~]# echo welcome to  magedu linux |grep -o . |sort |uniq -c |sort -nr