小技巧：Linux实用命令之cut, sort, uniq
1. cut
cut - remove sections from each line of files
cut 可以对文件中的每一行进行裁剪。常用选项：
-d : 指定分隔符 ，与-f一起使用
-f : 用-d将文本分隔成一段一段后，-f用来取出第几段
-c : 指定取出第几个字符，也可以指定从第N个到第M个按区间取
示例1 查出last中有哪些人登录过
root@~$ last
root pts/0 192.168.18.1 Wed Apr 3 06:16 still logged in
root pts/2 192.168.18.1 Mon Oct 15 20:09 - 11:26 (15:17)
root pts/1 192.168.18.1 Mon Oct 15 19:28 - 15:18 (24+19:50)
root pts/0 192.168.18.1 Sun Oct 14 11:36 - 06:52 (1+19:16)
root pts/0 192.168.18.1 Sun Oct 14 10:44 - 11:36 (00:51)
root pts/0 192.168.18.1 Sun Oct 14 09:59 - 10:44 (00:44)
hadoop pts/1 namenode Sun Oct 7 09:02 - 09:02 (00:00)
hadoop pts/1 namenode Sun Oct 7 09:02 - 09:02 (00:00)
root@~$ last | cut -d ' ' -f 1
root
root
root
root
root
root
hadoop
hadoop
示例2 將 export 输出的内容，取第12字符以后的所有字串
root@~$ export
declare -x CLASSPATH=".:/tools/jdk/jdk1.8.0_171/lib.tools.jar"
declare -x HADOOP_HOME="/tools/hadoop/hadoop-2.8.4"
declare -x HISTCONTROL="ignoredups"
declare -x HISTSIZE="1000"
declare -x HOME="/root"
declare -x HOSTNAME="namenode"
export 输出的内容前面都有 declare -x,去掉它：
root@~$ export | cut -c 12-
CLASSPATH=".:/tools/jdk/jdk1.8.0_171/lib.tools.jar"
HADOOP_HOME="/tools/hadoop/hadoop-2.8.4"
HISTCONTROL="ignoredups"
HISTSIZE="1000"
HOME="/root"
HOSTNAME="namenode"
12- 表示从第12个字符到行结尾的意思
示例3 cut 如何按多个空格分割
对于那些有多个空格分隔的文本，例如：
root@~$ ps axu | grep 'ssh'
root 1250 0.0 0.0 112796 260 ? Ss 3月31 0:00 /usr/sbin/sshd -D
root 6323 0.0 0.5 158800 5672 ? Ss 08:04 0:00 sshd: root@pts/0
实际上仅靠cat是不行的，cat的-d选项只能对已确定的空格数做分割，-d也不支持正则（\s+）。这时其实一般会用awk来做。但如果一定要用cut的话，需要结合其他命令。如下是2种有效的方案：
方案1 先用sed命令将多个空格替换为1个
ps axu | grep 'ssh' | sed 's/\s\s*/ /g' | cut -d ' ' -f5
方案2 用tr -s 把多个空格替换为1个
ps axu | grep 'ssh' | tr -s ' ' | cut -d ' ' -f5
2. sort
sort可以对文本中的行进行排序，常用选项：
-f ：忽略大小写
-b ：忽略前面的空白部分（ignore leading blanks）
-M ：以月份的名字來排序，(‘JAN’ < … < ‘DEC’)
-n ：按数字方式排序（默认是按字符串方式排序）
-r ：反向排序；
-u ：就是 uniq ,重复的只输出一次
-t ：分隔符，默认是按[TAB]来分隔；
-k ：分隔后以第几个区间（field）来排序
示例1：将/etc/passwd 的内容按":"号分隔，以第3个区间用数字方式排序
- 排序前
root@~$ cat /etc/passwd
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
hadoop:x:1000:1000::/home/hadoop:/bin/sh
- 排序后
root@~$ cat /etc/passwd | sort -t ':' -k3,3 -n
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
hadoop:x:1000:1000::/home/hadoop:/bin/sh
-k3,3 是指仅以第3个区间排序，-k3,4表示以第3到第4个区间的内容排序，-k3 则代表从第3个区间到结尾的内容
示例2：将last 中的登录账户名排序后去重输出
root@~$ last | cut -d ' ' -f1 | sort -u
hadoop
reboot
root
wtmp
-u 选项就是uniq的意思。上面结果有一空行。那确实是last输出的。要想去掉的话，可以用sed删除空行。
root@~$ last | cut -d ' ' -f1 | sort -u | sed '/^$/d'
hadoop
reboot
root
wtmp
3.uniq
uniq命令可以在排序后处理重复的行。常用选项：
-i 忽略大小写
-c 在行的开头输出该行出现的次数
-d 只输出重复的行
-u 只输出出现过一次的行
示例1：输出每个账号的登录次数
root@~$ last | cut -d ' ' -f1 | sort | uniq -c
1
18 hadoop
18 reboot
33 root
1 wtmp
示例2：接上例，分别输出只登录过一次的，和多于一次的
root@~$ last | cut -d ' ' -f1 | sort | uniq -cu
1
1 wtmp
root@~$ last | cut -d ' ' -f1 | sort | uniq -cd
18 hadoop
18 reboot
33 root