Shell脚本字符串处理(Linux篇)
1.字符串处理
1.1.cut
cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。语法格式如下：
命令格式： cut [选项] 文件名
选项参数说明：
| 选项 | 说明 |
|---|---|
| -b | 选中第几个字符 |
| -c | 选中多少个字符 |
| -d | 按照指定分割符进行分割，默认的分割符是制表符，注意分割符不能使用空格。 |
| -f | 提取第几列 |
示例一：初识cut命令
# 打印 b 字符：
root@zking:~# echo "acbdef" | cut -b 2
c
# 截取 abc 字符：
root@zking:~# echo "acbdef" | cut -c 1-3
acb
# 以冒号分隔，显示第二个字段：
root@zking:~# echo "a:b:c" | cut -d: -f 2
b示例二：提取列
root@zking:~# vim person.txt
# 请使用tab键来完成制表符分隔处理
ID NAME SEX AGE
1 zs m 21
2 ls m 22
3 ww m 23
4 xq w 19 # 通过-f 2指明提取第2列
root@zking:~# cut -f 2 person.txt
NAME
zs
ls
ww
xq
# 通过-f 2-3或者-f 2,3指明提取的多列
# 其中-f 2-3代表提取第2列到第3列
# 其中-f 2,3代表提取第2列和第3列
# 有区别噢！！！
root@zking:~# cut -f 2-3 person.txt
NAME SEX
zs m
ls m
ww m
xq w示例三：指定分隔符
# 通过-d选项指定分隔符
root@zking:~# cut -d : -f 1,3 /etc/group
root:0
daemon:1
bin:2
sys:3
...
# 通过管道符
root@zking:~# cat /etc/passwd | cut -d : -f 1,2,3
root:x:0
daemon:x:1
bin:x:2
sys:x:3
...示例四：cut的局限性
# cut的局限性，提取第五列没有作用，因为分隔符是连续的空格，而不是制表符
root@zking:~# df -h | cut -f 5
Filesystem Size Used Avail Use% Mounted on
tmpfs 193M 1.3M 192M 1% /run
/dev/mapper/ubuntu--vg-ubuntu--lv 9.8G 7.7G 1.6G 84% /
tmpfs 964M 0 964M 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
/dev/sda2 1.8G 253M 1.4G 16% /boot
tmpfs 193M 4.0K 193M 1% /run/user/1000
# 指定分隔符为空格符也不行，因为不知道到底又几个空格
root@zking:~# df -h | cut -d " " -f 5
7.7G
root@zking:~#1.2.awk
1.2.1.printf
printf命令格式化输出，默认打印字符串不换行。格式化输出命令：
printf '输出类型输出格式' 输出内容
输出类型说明：
| 输出类型 | 说明 |
|---|---|
%ns |
输出字符串，n表示输出几个字符 |
%ni |
输出整数，n表示输出几个数字 |
%m.nf |
输出浮点数，m表示输出的总位数，n表示小数点的位数 |
输出格式说明：
| 输出格式 | 说明 |
|---|---|
| \a | 输出警告音 |
| \b | 输出退格键 |
| \f | 清除屏幕 |
| \n | 换行 |
| \r | 回车 |
| \t | 水平方向tab |
| \v | 垂直方向tab |
示例一：
root@zking:~# printf %s 1 2 3 4 5
12345root@zking:~#
# 下面的写法不可以，需要用单引号将类型说明引起来，下面又正确的示例
root@zking:~# printf %s %s %s 1 2 3 4 5 6
%s%s123456root@zking:~#
# 1 2 3 最为一组字符的，4 5 6作为一组， 中间没有换行
# 输出一组后加一个换行
root@zking:~# printf '%s %s %s\n' 1 2 3 4 5 6
1 2 3
4 5 6
# 如果需要从文件中获取，则可以如下写法：
root@zking:~# printf '%s' $(cat person.txt)
IDNAMESEXAGE1zsm212lsm223wwm234xqw19root@zking:~#
# printf不能和管道符一起使用，
root@zking:~# printf '%s' | $(cat person.txt)
ID: command not found
# 获取文件内容通过\t制表符输出
root@zking:~# printf '%s\t %s\t %s\t %s\n' $(cat person.txt)
ID NAME SEX AGE
1 zs m 21
2 ls m 22
3 ww m 23
4 xq w 191.2.2.awk
awk 是一个处理文本的编程语言工具，能用简短的程序处理标准输入或文件、数据排序、计算以及生成报表等等。 基本的命令语法：awk option 'pattern {action}' file
其中
pattern表示AWK在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。 花括号用于根据特定的模式对一系列指令进行分组。
option选项说明：
| 选项 | 说明 |
|---|---|
-f program-file |
从文件中读取 awk 程序源文件 |
-F fs |
指定 fs 为输入字段分隔符 |
-v var=value |
变量赋值 |
--posix |
兼容 POSIX 正则表达式 |
--dump-variables=[file] |
把 awk 命令时的全局变量写入文件，默认文件是 awkvars.out |
--profile=[file] |
格式化 awk 语句到文件，默认是 awkprof.out |
示例一：
# 注意：\t制表符必须要使用双引号包裹，这里也不能使用单引号
root@zking:~# awk '{printf $2 \t $4 \t}' person.txt
awk: cmd. line:1: {printf $2 \t $4 \t}
awk: cmd. line:1: ^ backslash not last character on line
awk: cmd. line:1: {printf $2 \t $4 \t}
awk: cmd. line:1: ^ syntax error
# 没有指定条件，即输出所有行，动作是使用printf进行格式化输出
# {}部分表示动作
root@zking:~# awk '{print $2 "\t" $4}' person.txt
NAME AGE
zs 21
ls 22
ww 23
xq 19
# print会在行末自动加换行符
root@zking:~# df -h | awk '{print $1 "\t" $5 "\t" $6}'
Filesystem Use% Mounted
tmpfs 1% /run
/dev/mapper/ubuntu--vg-ubuntu--lv 84% /
tmpfs 0% /dev/shm
tmpfs 0% /run/lock
/dev/sda2 16% /boot
tmpfs 1% /run/user/1000
# 使用管道符将多个命令组合使用
root@zking:~# df -h | grep 'sda2' | awk '{printf $5}' | cut -d "%" -f 1
16
# 通过FS指定分割符
root@zking:~# awk '{FS=":"} {print $1 "\t" $3}' /etc/passwd
# 第一行格式不符合要求
root:x:0:0:root:/root:/bin/bash
daemon 1
bin 2
sys 3
...
# 使用begin在读入第一行之前是设置分割符生效
root@zking:~# awk 'BEGIN{FS=":"} {printf $1 "\t" $3 "\n"}' /etc/passwd
root 0
daemon 1
bin 2
...
# 在输出之前先设置分割符，在输出完后提示一个end
root@zking:~# awk 'BEGIN{FS=":"} END{print "end...."} {printf $1 "\t" $3 "\n"}' /etc/passwd
root 0
daemon 1
bin 2
...
end....
# 首选读取person文件数据，并传给awk命令，awk命令选取第四列大于等于22的数据（年龄）
root@zking:~# cat person.txt | awk '$4 >=22 {print}'
ID NAME SEX AGE
2 ls m 22
3 ww m 231.3.sed
适合所有的Unix及linux平台的轻量级的流编辑器，可以对数据进行选取，替换，删除，新增等操作。
注意：vim也可以编辑文件，但是不能用来修改命令结果中的内容，如使用管道符将前一个命令的结果传给vim进行处理，这一点vim做不到。
命令格式：
sed [选项] '[动作]' 文件名
选项说明：
| 选项 | 说明 |
|---|---|
| -n | sed命令会把所用的数据输出到屏幕，使用该选项则只会将sed命令处理的行输出到屏幕 |
| -e | 允许对输入数据应用多条sed命令编辑 |
| -i | 把sed的修改结果同步到数据文件中去，而不是屏幕。 |
动作说明：
| 动作 | 说明 |
|---|---|
| a | 追加，在当前行后面追加一行或多行 |
| c | 行替换，用c之后的字符串替换原来的数据，替换多行时，除最后一行外，每行需要用""表示数据未完结 |
| i | 插入，在当前行之前插入一行或多行，插入多行时，除最后一行外，每行需要用""表示数据未完结 |
| d | 删除指定的行 |
| p | 打印，输出指定的行 |
| s | 字符串替换，格式为： “ 行范围s/需要替换的字符/替换的新字符/g” |
示例一：
# 2p 代表输出第二行，输出后又会将其他行输出，这是sed的默认行为
root@zking:~# sed '2p' person.txt
ID NAME SEX AGE
1 zs m 21
1 zs m 21
2 ls m 22
3 ww m 23
4 xq w 19
# 如果不想输出其他行，则需要使用n参数
root@zking:~# sed '2p' -n person.txt
1 zs m 21
# 使用cat查看原文件内容，发现内容没有被改变
root@zking:~# cat person.txt
ID NAME SEX AGE
1 zs m 21
2 ls m 22
3 ww m 23
4 xq w 19
# 和管道符结合的示例
root@zking:~# cat person.txt | sed '2p' -n
1 zs m 21
# 删除2，3行数据，注意只是在结果中删除，不会在文件中删除，可以使用cat命令进行验证
root@zking:~# sed '2,3d' person.txt
ID NAME SEX AGE
3 ww m 23
4 xq w 19
root@zking:~# cat person.txt
ID NAME SEX AGE
1 zs m 21
2 ls m 22
3 ww m 23
4 xq w 19
# 追加数据，同样不会影响源文件，因为没有使用-i参数
# 这里5a表示在第5行追加数据
root@zking:~# sed '5a 5\tzl\tw\t23' person.txt
ID NAME SEX AGE
1 zs m 21
2 ls m 22
3 ww m 23
4 xq w 19
5 zl w 23
# 替换第四行（行替换），不会影响原文件
root@zking:~# sed '3c tihuanhang' person.txt
ID NAME SEX AGE
1 zs m 21
tihuanhang
3 ww m 23
4 xq w 19
# 指定字符串替换，不会影响原文件
root@zking:~# sed '4s/23/52/g' person.txt
ID NAME SEX AGE
1 zs m 21
2 ls m 22
3 ww m 52
4 xq w 19
# 指定字符串替换，通过-i选项，直接更改了源文件内容
root@zking:~# sed -i '4s/23/52/g' person.txt
root@zking:~# cat person.txt
ID NAME SEX AGE
1 zs m 21
2 ls m 22
3 ww m 52
4 xq w 191.4.sort
sort命令实现排序文本，默认对整列有效。命令格式：
sort [选项] 文件名
选项说明：
| 选项 | 说明 |
|---|---|
| -f | 忽略大小写 |
| -n | 数值型排序 |
| -r | 反向排序 |
| -t | 指定分割符，默认为制表符 |
| -k n,[m] | 用指定的字段范围排序， 如果不指定m，则表示从n到行尾 |
示例一：
# 默认整行升序
root@zking:~# sort /etc/passwd
_apt:x:100:65534::/nonexistent:/usr/sbin/nologin
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
....
# 通过-r设置降序
root@zking:~# sort -r /etc/passwd
zking:x:1000:1000:zking:/home/zking:/bin/bash
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin
virtual:x:1002:1002::/home/vftproot:/sbin/nologin
uuidd:x:108:114::/run/uuidd:/usr/sbin/nologin
...
# 对passwd文件，使用”:”作为分割符，去第三个字段进行排序，
# 在排序时将第三字段作为数字（不指定-n则默认作为字符排序）
# 上述的作用即：使用uid数字对passwd文件进行排序
root@zking:~# sort -n -t":" -k 3,3 /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
...1.5.wc
wc命令用于统计文件行数、字节、字符数。命令格式：
wc [选项] 文件名
选项说明：
| 选项 | 说明 |
|---|---|
| -l | 只统计行数 |
| -w | 只统计单词数 |
| -m | 只统计字符数 |
示例一：
root@zking:~# wc person.txt
# 5行 20个单词 56个字符
5 20 56 person.txt
root@zking:~#
# 统计行数
root@zking:~# wc -l person.txt
5 person.txt
# 统计单词数
root@zking:~# wc -w person.txt
20 person.txt
# 统计字符数
root@zking:~# wc -m person.txt
56 person.txt