这里介绍3种方式：
==>awk
==>grep
==>sed
awk处理文本(最常用)：
- 作用：awk对数据以行分析并生成报告时显得很强大，它将行进行切片，再处理分开的切片，可对格式化的数据重新进行格式化
- awk命令格式：awk [F filed-separator] 'commands' input-fiel(s)
- 参数-F：可以添加任意的分割符，比较重要
awk工作流程是这样的： - 读入有'\n'换行符分割的一条记录，然后将记录按-F指定的域分隔符划分域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键"。
1. 入门示例：
[wyb@localhost temp]$ head -n 5 /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[wyb@localhost temp]$ head -n 5 /etc/passwd | awk -F ':' '{print $1}' //输出第1列，域分隔符为：
root
bin
daemon
adm
lp
[wyb@localhost temp]$ head -n 5 /etc/passwd | awk -F ':' '{pri
nt "id:"$1"\tshell:"$7}' //输出第1、7列且给予列名
id:root shell:/bin/bash
id:bin shell:/sbin/nologin
id:daemon shell:/sbin/nologin
id:adm shell:/sbin/nologin
id:lp shell:/sbin/nologin
[wyb@localhost temp]$ head -n 5 /etc/passwd | awk -F ':' 'BEGIN {print "====begin====="} {print "id:"$1"\tshell:"$7} END {print "====end===="}'
====begin=====
id:root shell:/bin/bash
id:bin shell:/sbin/nologin
id:daemon shell:/sbin/nologin
id:adm shell:/sbin/nologin
id:lp shell:/sbin/nologin
====end====
[wyb@localhost temp]$ awk -F: '/root/' /etc/passwd //搜索含有root关键字的所有行
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[wyb@localhost temp]$ awk -F: '/root/{print $7}' /etc/passwd //匹配root并输出对应shell
/bin/bash
/sbin/nologin
[wyb@localhost temp]$ awk -F: '/^root/' /etc/passwd //匹配以root开头的行
root:x:0:0:root:/root:/bin/bash
2. 内置变量：
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
[wyb@localhost temp]$ awk -F: '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' a.txt
filename:a.txt,linenumber:1,columns:1,linecontent:1 root 12sf34s56
filename:a.txt,linenumber:2,columns:1,linecontent:2 admin ksdjfiweurf
filename:a.txt,linenumber:3,columns:1,linecontent:3 dome skd89453
filename:a.txt,linenumber:4,columns:1,linecontent:4 tomkd 3jkke34
filename:a.txt,linenumber:5,columns:1,linecontent:5 jarry sdkj89ry4
filename:a.txt,linenumber:6,columns:1,linecontent:6 canki sdkj834
filename:a.txt,linenumber:7,columns:1,linecontent:7 lola er8f7734
filename:a.txt,linenumber:8,columns:1,linecontent:8 marry j8jkf78
filename:a.txt,linenumber:9,columns:1,linecontent:9 candy kd89943
3. awk编程：
3.1 变量和赋值：
[wyb@localhost temp]$ head -n 5 /etc/passwd | awk -F ':' 'BEGIN {count=0} {count++; print "username:"$1} END {print "count:"count}'
username:root
username:bin
username:daemon
username:adm
username:lp
count:5
[wyb@localhost ~]$ ls -l aaa/ettercap-0.8.2 | awk 'BEGIN {size=0;} {size=size+5;} END {print "[end]size is:",size,"byte"}'
[end]size is: 160 byte
[wyb@localhost ~]$ ls -l aaa/ettercap-0.8.2 | awk 'BEGIN {size=0;} {size=size+5;} END {print "[end]size is:",size/1024/1024,"M"}'
[end]size is: 0.000152588 M
[wyb@localhost ~]$
3.2条件语句：
[wyb@localhost ~]$ head -n 6 /etc/passwd | awk -F ':' '{if($1=="root") print "root bash is:"$7}'
root bash is:/bin/bash
[wyb@localhost ~]$
Grep处理文本：
匹配到时输出一行
常用参数：nrABC
-n 输出匹配到的字符串所在行数
-r 遍历子目录文件查找字符串
-A 3 显示匹配行及下面3行
-B 4 显示匹配行及上面4行
-C 4 显示匹配行及上下4行
-i 不区分大小写
-v 显示所有不包含字符的行
[wyb@localhost ~]$ grep root /etc/passwd //查找root这个字符
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[wyb@localhost ~]$ grep -n root /etc/passwd //查找root字符串并输出所在行数
1:root:x:0:0:root:/root:/bin/bash
11:operator:x:11:0:operator:/root:/sbin/nologin
[wyb@localhost ~]$ grep -n root /etc/passwd --color //给字符串不同颜色
1:root:x:0:0:root:/root:/bin/bash
11:operator:x:11:0:operator:/root:/sbin/nologin
[wyb@localhost temp]$ ls
aa b.txt
[wyb@localhost temp]$ grep -r -n root /home/wyb/temp/ --color 在temp目录及子目录查找字符串root
/home/wyb/temp/b.txt:4:sdkrootwe
/home/wyb/temp/b.txt:6:fsdkfjroot
/home/wyb/temp/b.txt:9:root
/home/wyb/temp/aa/a.txt:1:1 root 12sf34s56
[wyb@localhost temp]$ grep -r -n "^root" /etc/passwd --color 正则查找字符串root
1:root:x:0:0:root:/root:/bin/bash
[wyb@localhost temp]$ grep -r -n "root" /etc/passwd --color -c 匹配的行的数
2
[wyb@localhost temp]$ ps aux | grep "^wyb"
wyb 2185 0.0 0.1 99952 1840 ? S 16:33 0:02 sshd: wyb@pts/0
wyb 2186 0.0 0.1 108464 1944 pts/0 Ss 16:33 0:00 -bash
wyb 3229 2.0 0.1 110232 1136 pts/0 R+ 18:27 0:00 ps aux
wyb 3230 0.0 0.0 103244 828 pts/0 S+ 18:27 0:00 grep ^wyb
[wyb@localhost temp]$ ps aux | grep ora
wyb 3233 0.0 0.0 103244 828 pts/0 S+ 18:28 0:00 grep ora
[wyb@localhost temp]$
sed处理文本
- 处理大文本很好用，上几十万、上百万行的数据
- sed主要以行为单位，可以将数据行进行替换、删除、新增、选取等
- sed语法 参数 动作 文件
- -n只把匹配到的输出
- 主要参数是：
- a 在下面插入数据
- d 删除
- i 在上面插入数据
- p 输出数据
- c 替换字符串，后面可跟字符串，字符串替换n1到n2之间的行
s 替换字符串，通常搭配正则
- 字符的删除
[wyb@localhost aa]$ nl a.txt | sed '3,8d' //不输出3-8行
1 1 root 12sf34s56
2 2 admin ksdjfiweurf
9 9 candy kd89943
[wyb@localhost aa]$ nl a.txt | sed '3,$d' //从第三行删到最后一行
1 1 root 12sf34s56
2 2 admin ksdjfiweurf
[wyb@localhost aa]$ nl a.txt | sed '/root/d' //正则删除带root的行
2 2 admin ksdjfiweurf
3 3 dome skd89453
4 4 tomkd 3jkke34
5 5 jarry sdkj89ry4
6 6 canki sdkj834
7 7 lola er8f7734
8 8 marry j8jkf78
9 9 candy kd89943
- a插入字符
[wyb@localhost aa]$ nl a.txt | sed '2a aaaaaa' | head -n 5 //在第二行下面插入一行字符串aaaaaa
1 1 root 12sf34s56
2 2 admin ksdjfiweurf
aaaaaa
3 3 dome skd89453
4 4 tomkd 3jkke34
[wyb@localhost aa]$ nl a.txt | sed '2i aaaaaa' | head -n 5 //在第二行上面插入一行字符串aaaaaa
1 1 root 12sf34s56
aaaaaa
2 2 admin ksdjfiweurf
3 3 dome skd89453
4 4 tomkd 3jkke34
[wyb@localhost aa]$ nl a.txt | sed '2i aaaaaa \ //增加多行用\
bbbbb\
ccccc\
dddddd' | head -n 7
1 1 root 12sf34s56
aaaaaa
bbbbb
ccccc
dddddd
2 2 admin ksdjfiweurf
3 3 dome skd89453
- p输出字符
[wyb@localhost aa]$ nl a.txt | sed '2,5p'
1 1 root 12sf34s56
2 2 admin ksdjfiweurf
2 2 admin ksdjfiweurf
3 3 dome skd89453
3 3 dome skd89453
4 4 tomkd 3jkke34
4 4 tomkd 3jkke34
5 5 jarry sdkj89ry4
5 5 jarry sdkj89ry4
6 6 canki sdkj834
7 7 lola er8f7734
8 8 marry j8jkf78
9 9 candy kd89943
[wyb@localhost aa]$ nl a.txt | sed -n '2,5p' //加-n去除其余行
2 2 admin ksdjfiweurf
3 3 dome skd89453
4 4 tomkd 3jkke34
5 5 jarry sdkj89ry4
[wyb@localhost aa]$ nl a.txt | sed -n '/root/p' //正则匹配root
1 1 root 12sf34s56
[wyb@localhost bbb]$ nl /etc/passwd | sed -n '/root/{s/root/111111/;p}'查找root，然后将行中的第一个root替换为abcdefg -n代表不输出所有的
1 111111:x:0:0:root:/root:/bin/bash
11 operator:x:11:0:operator:/111111:/sbin/nologin
- c和s替换字符
[wyb@localhost aa]$ nl a.txt | sed '2,5c aaaaaa' //将第2-5行替换
1 1 root 12sf34s56
aaaaaa
6 6 canki sdkj834
7 7 lola er8f7734
8 8 marry j8jkf78
9 9 candy kd89943
[wyb@localhost aa]$ nl /etc/passwd | sed -n '/root/{s/root/1111/g;p}'查找root，然后将全局的root替换为1111
1 1111:x:0:0:1111:/1111:/bin/bash
11 operator:x:11:0:operator:/1111:/sbin/nologin
[wyb@localhost aa]$ nl /etc/passwd | sed -n '1,3{s/root/1111/g;p}'前五行查找root，然后将全局的root替换为1111
1 1111:x:0:0:1111:/1111:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
[wyb@localhost aa]$ nl /etc/passwd | sed -n '1,5{s/root/1111/g;p;q}'前五行查找root，然后将整行的root替换为1111,查找到一个就退出
1 1111:x:0:0:1111:/1111:/bin/bash
- 实例
[wyb@localhost aa]$ ifconfig eth0
eth0 Link encap:Ethernet HWaddr 00:0C:29:56:B4:10
inet addr:192.168.63.131 Bcast:192.168.63.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe56:b410/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:11732 errors:0 dropped:0 overruns:0 frame:0
TX packets:7223 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1148256 (1.0 MiB) TX bytes:1192150 (1.1 MiB)
[wyb@localhost aa]$ ifconfig eth0 | grep 'inet add'
inet addr:192.168.63.131 Bcast:192.168.63.255 Mask:255.255.255.0
[wyb@localhost aa]$ ifconfig eth0 | grep 'inet add' | sed 's/Bcast.*$//g'
inet addr:192.168.63.131
[wyb@localhost aa]$
[wyb@localhost aa]$ nl /etc/passwd | sed '3,$d'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
[wyb@localhost aa]$ nl /etc/passwd | sed '3,$d' | sed -n 's/bash/buleshell/p'
1 root:x:0:0:root:/root:/bin/buleshell
[wyb@localhost aa]$ nl /etc/passwd | sed -e '3,$d' -e 's/bash/buleshell/p'
1 root:x:0:0:root:/root:/bin/buleshell
1 root:x:0:0:root:/root:/bin/buleshell
2 bin:x:1:1:bin:/bin:/sbin/nologin
[wyb@localhost aa]$
[wyb@localhost aa]$ nl /etc/passwd | sed -e '3,$d' -e 's/bash/buleshell/p'
1 root:x:0:0:root:/root:/bin/buleshell
1 root:x:0:0:root:/root:/bin/buleshell
2 bin:x:1:1:bin:/bin:/sbin/nologin
[wyb@localhost aa]$ nl /etc/passwd | sed -e '3,$d' -e 's/bash/buleshell/p' > test.txt
[wyb@localhost aa]$ cat test.txt
1 root:x:0:0:root:/root:/bin/buleshell
1 root:x:0:0:root:/root:/bin/buleshell
2 bin:x:1:1:bin:/bin:/sbin/nologin