Linux文本查看及处理工具

Linux中，日志和配置都使用文本来存储和修改，对文本的查看及处理是最基本也是最常用的操作之一。而文本处理工具中，有被称为Linux文本处理三剑客的grep、sed和awk，但不要激动，Linux文本三剑客另起文章来讲，本文先从一些经常用到的，功能简洁但非常实用的工具说起。

1. wc命令
2. cut命令
3. sort命令
4. uniq命令
5. diff命令
6. patch命令
7. tr命令
8. 文本处理相关示例

1、wc命令

wc，word count，从字面意思可以看出，这是一个统计工具，它可以实现行、字节、单词的个数统计，就个人工作而言，经常用于统计端口连接数、程序打开文件数等等。

• wc [OPTION]... [FILE]...

  • -l：lines，统计行数
  • -w：words，统计单词数
  • -b：bytes，统计字节数

man手册是这样定义的：print newline, word, and byte counts for each file，它可以一次统计多个文件，单独打印，并在最后统计总数。

• 例如：分别统计/etc/passwd和/etc/group文件中的行数，并统计总行数：
  [root@localhost ~]# wc -l /etc/passwd /etc/group
42 /etc/passwd
70 /etc/group
112 total
• 其余两种统计方式和行数统计相同。

2、cut命令

将标准输出裁剪后打印。

• cut OPTION... [FILE]...
  常用的有以下两个选项：

  • -d：delimiter，指明定界符，默认定界符为tab
  • -f：fields，指明要打印的字段，以定界符分割，从左向右数
    可以打印单个字段、连续的多个字段、分散的多个字段

• 例如，只打印出/etc/passwd中的用户名：
  [root@localhost ~]# cut -d":" -f1 /etc/passwd
root
bin
daemon
...

• 打印出用户名及使用的shell：
  [root@localhost ~]# cut -d":" -f1,7 /etc/passwd
root:/bin/bash
bin:/sbin/nologin
daemon:/sbin/nologin
...

3、sort命令

基于行的工具，用于实现行的排序，默认按行首的字符排序。
可以通过指定相关参数，实现灵活排序。

• sort [OPTION]... [FILE]...

  • -t CHAR：指定分隔符
  • -k #：指定用于排序的字段
  • -n：基于数值大小排序，而非字符
  • -r：逆序
  • -f：忽略字符大小写
  • -u：unique，重复的行只保留一份

• 例如，使用UID的数值大小，对/etc/passwd的内容进行排序：
  [root@localhost ~]# sort -t":" -k3 -n /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
...

4、uniq命令

uniq也是基于行的工具，report or omit repeated lines，它可以对重复的行内容进行处理，显示或忽略重复的行。

• uniq [OPTION]... [INPUT [OUTPUT]]

  • -c：显示每行的重复次数
  • -u：只显示未重复过的行
  • -d：只显示重复过的行
    uniq命令一般和sort命令结合使用，先用sort将行排序（因为uniq命令是比较相邻的行），这样可以将重复的行排在一起。

• 先制作一个有重复行的文件：
  [root@localhost ~]# touch /tmp/uniq.test
[root@localhost ~]# vim /tmp/uniq.test
aaaaa
aaaaa
bbbbb
ccccc
ddddd
aaaaa
bbbbb
• 显示每行的重复次数：
  [root@localhost ~]# sort /tmp/uniq.test | uniq -c
3 aaaaa
2 bbbbb
1 ccccc
1 ddddd
• 只显示未重复过的行：
  [root@localhost ~]# sort /tmp/uniq.test | uniq -u
ccccc
ddddd
• 只显示重复过的行，并显示其重复次数：
  [root@localhost ~]# sort /tmp/uniq.test | uniq -dc
3 aaaaa
2 bbbbb

5、diff命令

逐行比对两个文件的内容，将不一致的地方显示出来。

• diff [OPTION]...FILES

  • -u：使用unified机制，即显示要修改的行的上下文，默认为3行。

• 制作两个有区别的文件，复制/etc/passwd到/tmp/passwd1和/tmp/passwd2，更改passwd1中root的UID为1500。

• 比较/tmp/passwd1和/tmp/passwd2，显示两个文件中不同的行：
  [root@localhost ~]# diff /tmp/passwd1 /tmp/passwd2
1c1 \\显示第几行
< root:x:1500:0:root:/root:/bin/bash \\第一个文件中的内容
---
> root:x:0:0:root:/root:/bin/bash \\第二个文件中的内容

• 可以使用-u指定显示的上下文行数，便于查看上下文关系，这里指定2行：
  [root@localhost ~]# diff -u2 /tmp/passwd1 /tmp/passwd2
--- /tmp/passwd1 2018-05-06 17:58:52.831498629 +0800
+++ /tmp/passwd2 2018-05-06 17:58:32.489500311 +0800
@@ -1,3 +1,3 @@
-root:x:1500:0:root:/root:/bin/bash
+root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

• diff命令还可用于生成补丁文件，用于将两个文件的不同之处保存为补丁，便于之后用patch命令打补丁。其实就是将diff命令的标准输出重定向到一个补丁文件中。比如，将/tmp/passwd1和/tmp/passwd2的不同之处保存到/tmp/passwd.patch补丁文件中：
  [root@localhost ~]# diff /tmp/passwd1 /tmp/passwd2 ``> /tmp/passwd.patch
[root@localhost ~]# cat /tmp/passwd.patch
1c1
< root:x:1500:0:root:/root:/bin/bash
---
> root:x:0:0:root:/root:/bin/bash
  这样，就可以用patch命令向/tmp/passwd1打补丁，将其内容更改为和/tmp/passwd2相同。

6、patch命令

apply a diff file to an original，将一个diff文件（补丁文件）应用于源文件。

• patch [options] [originalfile [patchfile]]

  • -i：指明补丁文件patchfile，从patchfile中读取补丁内容

• 例如，将上述例子中的passwd.patch打补丁到/tmp/passwd1中，再比较passwd1和passwd2，已经没有任何不同：
  [root@localhost ~]# patch -i /tmp/passwd.patch /tmp/passwd1
patching file /tmp/passwd1
[root@localhost ~]# diff /tmp/passwd1 /tmp/passwd2
[root@localhost ~]#

• 还有另一种方式，即利用输入重定向，用/tmp/passwd.patch的内容替代标准输入：
  [root@localhost ~]# patch /tmp/passwd1 < /tmp/passwd.patch

7、tr命令

translate or delete characters，转换或删除字符。

• tr [OPTION]... SET1 [SET2]
  把输入的数据当中的字符，凡是在SET1定义范围内出现的，通通对位转换为SET2出现的字符。
  tr命令不接受文件作为输入， 所以tr命令要配合输入重定向<来使用，而且tr命令只是更改显示方式，对文件内容不做更改。

  • -d：delete，删除字符

• 例如，将/etc/passwd中的root转换为ROOT后输出：
  [root@localhost ~]# tr [root] [ROOT] < /etc/passwd
ROOT:x:0:0:ROOT:/ROOT:/bin/bash
• 将/etc/passwd中的:冒号删除后输出：
  [root@localhost ~]# tr -d [:] < /etc/passwd
rootx00root/root/bin/bash
binx11bin/bin/sbin/nologin
daemonx22daemon/sbin/sbin/nologin
...

8、文本处理相关示例

• 列出当前系统上所有已经登录的用户的用户名，注意：同一个用户登录多次，则只显示一次即可。
  [root@localhost ~]# who | cut -d" " -f1 | uniq
mageia
root
• 取出最后登录到当前系统的用户的相关信息
  [root@localhost etc]# id $(last | head -1 | cut -d' ' -f1)
uid=1100(mageia) gid=1100(mageia) groups=1100(mageia)
• 取出当前系统上被用户当作其默认shell的最多的那个shell。
  [root@localhost ~]# cut -d":" -f7 /etc/passwd | sort | uniq -c | sort -n | tail -1
30 /sbin/nologin
• 将/etc/passwd中的第三个字段数值最大的10个用户的信息全部改为大写后保存至/tmp/maxusers.txt文件中。
  [root@localhost ~]# sort -n -t":" -k3 /etc/passwd | tail -10 | tr [a-z] [A-Z] > /tmp/maxusers.txt
[root@localhost ~]# cat /tmp/maxusers.txt
POLKITD:X:997:995:USER FOR POLKITD:/:/SBIN/NOLOGIN
SYSTEMD-NETWORK:X:998:996:SYSTEMD NETWORK MANAGEMENT:/:/SBIN/NOLOGIN
SYSTEMD-BUS-PROXY:X:999:997:SYSTEMD BUS PROXY:/:/SBIN/NOLOGIN
USER2:X:1000:1001::/HOME/USER2:/BIN/BASH
USER3:X:1001:2223::/HOME/USER3:/BIN/BASH
MAGEIA:X:1100:1100::/HOME/LINUX:/BIN/BASH
SUSE2:X:1101:1101::/HOME/SUSE2HOME:/BIN/BASH
USER:X:1102:1102::/HOME/USER:/BIN/BASH
SLACWARE:X:2002:2016::/HOME/SLACWARE:/BIN/TCSH
NFSNOBODY:X:65534:65534:ANONYMOUS NFS USER:/VAR/LIB/NFS:/SBIN/NOLOGIN
• 取出当前主机的IP地址，提示：对ifconfig命令的结果进行切分。
  [root@localhost ~]# ifconfig | grep inet[[:space:]] | cut -d" " -f10 | head -1
192.168.1.150
• 列出/etc目录下所有以.conf结尾的文件的文件名，并将其名字转换为大写后保存至/tmp/etc.conf文件中。
  [root@localhost etc]# ls *.conf | tr [a-z] [A-Z] > /tmp/etc.conf
[root@localhost etc]# cat /tmp/etc.conf
ASOUND.CONF
AUTOFS.CONF
AUTOFS_LDAP_AUTH.CONF
...
• 显示/var目录下一级子目录或文件的总个数。
  [root@localhost ~]# ll /var | wc -l
24
• 取出/etc/group文件中第三个字段数值最小的10个组的名字。
  [root@localhost ~]# sort -n -t":" -k3 /etc/group | head -10 | cut -d":" -f1
root
bin
daemon
sys
adm
tty
disk
lp
mem
kmem
• 将/etc/fstab和/etc/issue文件的内容合并为同一个内容后保存至/tmp/etc.test文件中。
  [root@localhost ~]# cat /etc/fstab /etc/issue > /tmp/etc.test