shell脚本的文本处理工具
一、cut
cut 的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每 一行剪切字节、字符和字段并将这些字节、字符和字段输出。
1）基本用法
cut [选项参数] filename
说明：默认分隔符是制表符
2）选项参数说明
| 选项参数 | 功能 |
|---|---|
| -f | 列号，提取第几列 |
| -d | 分隔符，按照指定分隔符分割列，默认是制表符“\t” |
| -c | 按字符进行切割 后加加 n 表示取第几列 比如 -c 1 |
3）案例实操
（1）数据准备
[root@hadoop scripts]# vim cut.txt
dong shen
guan zhen
wo wo
lai lai
le le
（2）切割 cut.txt 第一列
[root@hadoop scripts]# cut -d " " -f 1 cut.txt
dong
guan
wo
lai
le（3）切割 cut.txt第二、三列
[root@hadoop scripts]# cut -d " " -f 2,3 cut.txt
shen
zhen
wo
lai
le
（4）在 /etc/passwd 文件中切割出
[root@hadoop scripts]# cat /etc/passwd | grep bash$ | cut -d ":" -f 1,6,7 #1,6,7表示列数
root:/root:/bin/bash
mysql:/var/lib/mysql:/bin/bash
[root@hadoop scripts]# cat /etc/passwd | grep bash$ | cut -d ":" -f 4- #4-表示4以后列数
0:root:/root:/bin/bash
27:MySQL Server:/var/lib/mysql:/bin/bash
[root@hadoop scripts]# cat /etc/passwd | grep bash$ | cut -d ":" -f -4 #-4表示4以前列数
root:x:0:0
mysql:x:27:27
（5）选取系统 PATH 变量值，第 2 个“：”开始后的所有路径：
[root@hadoop scripts]# echo $PATH | cut -d ":" -f 2
/usr/local/bin
[root@hadoop scripts]# echo $PATH | cut -d ":" -f 10- #第十个以后路径
/usr/soft/hive/bin:/usr/soft/jdk/bin:/usr/soft/phoenix/bin:/usr/soft/scala/bin:/usr/soft/spark/bin:/usr/soft/spark/sbin:/usr/soft/sqoop/bin:/root/bin
（6）切割 ifconfig 后打印的 IP 地址
[root@hadoop scripts]# ifconfig eth0
eth0 Link encap:Ethernet HWaddr 00:0C:29:02:DA:76
inet addr:192.168.17.151 Bcast:192.168.17.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe02:da76/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:1187588 errors:0 dropped:0 overruns:0 frame:0
TX packets:214810 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1297311120 (1.2 GiB) TX bytes:45156985 (43.0 MiB)
[root@hadoop scripts]# ifconfig eth0 | grep Bcast | cut -d " " -f 12 |cut -d ":" -f 2
192.168.17.151
二、awk
一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开 的部分再进行分析处理。
1）基本用法
awk [选项参数] ‘/pattern1/{action1} /pattern2/{action2}...’ filename
pattern：表示 awk 在数据中查找的内容，就是匹配模式
action：在找到匹配内容时所执行的一系列命令
2）选项参数说明
| 选项参数 | 功能 |
|---|---|
| -F | 指定输入文件分隔符 |
| -v | 赋值一个用户定义变量 |
3）案例实操
1.搜索 passwd 文件以 root 关键字开头的所有行，并输出该行的第 7 列
[root@hadoop scripts]# cat /etc/passwd | grep ^root | cut -d ":" -f 7
/bin/bash
[root@hadoop scripts]# cat /etc/passwd | awk -F ":" '/^root/ {print $7}'
/bin/bash
2.搜索 passwd 文件以 root 关键字开头的所有行，并输出该行的第 1 列和第 7 列， 中间以“，”号分割。
[root@hadoop scripts]# cat /etc/passwd | awk -F ":" '/^root/ {print $1","$6","$7}'
root,/root,/bin/bash
3.只显示/etc/passwd 的第一列和第七列，以逗号分割，且在所有行前面添加列名 user， shell 在最后一行添加"dahaige，/bin/zuishuai"。
[root@hadoop scripts]# cat /etc/passwd | awk -F ":" 'BEGIN{print "user, shell"}{print $1","$7} END{print "end of file"}'
user, shell
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync
shutdown,/sbin/shutdown
halt,/sbin/halt
mail,/sbin/nologin
uucp,/sbin/nologin
operator,/sbin/nologin
games,/sbin/nologin
gopher,/sbin/nologin
ftp,/sbin/nologin
nobody,/sbin/nologin
vcsa,/sbin/nologin
saslauth,/sbin/nologin
postfix,/sbin/nologin
sshd,/sbin/nologin
mysql,/bin/bash
ntp,/sbin/nologin
end of file
4.将 passwd 文件中的用户 id 增加数值 1 并输出
[root@hadoop scripts]# cat /etc/passwd | awk -v i=1 -F ":" '{print $3+i}' #-v是表示变量
1
2
3
4
5
6
7
8
9
11
12
13
14
15
100
70
500
90
75
28
39
4）awk 的内置变量
| 变量 | 说明 |
|---|---|
| FILENAME | 文件名 |
| NR | 已读的记录数（行号） |
| NF | 浏览记录的域的个数（切割后，列的个数） |
5）案例实操
1.统计 passwd 文件名，每行的行号，每行的列数
[root@hadoop scripts]# awk -F ":" '{print "文件名："FILENAME " 行号："NR "列数: "NF}' /etc/passwd
文件名：/etc/passwd 行号：1列数: 7
文件名：/etc/passwd 行号：2列数: 7
文件名：/etc/passwd 行号：3列数: 7
文件名：/etc/passwd 行号：4列数: 7
文件名：/etc/passwd 行号：5列数: 7
文件名：/etc/passwd 行号：6列数: 7
文件名：/etc/passwd 行号：7列数: 7
文件名：/etc/passwd 行号：8列数: 7
文件名：/etc/passwd 行号：9列数: 7
文件名：/etc/passwd 行号：10列数: 7
文件名：/etc/passwd 行号：11列数: 7
文件名：/etc/passwd 行号：12列数: 7
文件名：/etc/passwd 行号：13列数: 7
文件名：/etc/passwd 行号：14列数: 7
文件名：/etc/passwd 行号：15列数: 7
文件名：/etc/passwd 行号：16列数: 7
文件名：/etc/passwd 行号：17列数: 7
文件名：/etc/passwd 行号：18列数: 7
文件名：/etc/passwd 行号：19列数: 7
文件名：/etc/passwd 行号：20列数: 7
文件名：/etc/passwd 行号：21列数: 7
2.查询 ifconfig 命令输出结果中的空行所在的行号
[root@hadoop scripts]# ifconfig | grep -n ^$ #不能添加信息
9:
18:
[root@hadoop scripts]# ifconfig | awk '/^$/ {print NR}'
9
18
[root@hadoop scripts]# ifconfig | awk '/^$/ {print "空行："NR}' #添加提示信息
空行：9
空行：18
3.切割 IP
[root@hadoop scripts]# ifconfig eth0 | grep Bcast
inet addr:192.168.17.151 Bcast:192.168.17.255 Mask:255.255.255.0
[root@hadoop scripts]# ifconfig | awk '/Bcast/ {print $2}' |cut -d ":" -f 2
192.168.17.151