自动化运维必须要学的Shell脚本之——管道命令(sort/tr/cut等)

一、常见的管道命令

1.1 sort命令

1.1.1 概述

• Linux sort命令用于将文本文件内容加以排序。
• sort命令可针对文本文件的内容，以行为单位来排序。

1.1.2 语法格式

sort [选项]  参数

1.1.3 常用选项

• -f∶ 忽略大小写，会将小写字母都转换为大写字母来进行比较；
• -b∶ 忽略每行前面的空格；
• -n∶ 按照数字进行排序；
• -r∶ 反向排序；
• -u∶ 等同于uniq，表示相同的数据仅显示一行；
• -t∶ 指定字段分隔符，默认使用 【Tab】键分隔；
• -k∶指定排序字段；
• -o <输出文件>∶ 将排序后的结果转存至指定文件；

1.1.3 实例

实例1：直接使用sort对文本文件内容排序，数字的话按照顺序来排序，不是按照数值大小。
字母的话是优先小写字母进行排序。


实例2：使用-f选择忽略大小写进行排序

实例3：去重复然后按照数值的大小进行排序。

实例4：按照/etc/passwd内的UID进行从打到小反向排序
cat /etc/passwd | sort -t ':' -k 3 -nr

1.2 uniq命令

1.2.1 概述

• Linux uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。

• uniq 可检查文本文件中重复出现的行列。

1.2.2 语法格式

uniq [选项]  参数

1.2.3 常用选项

• -c∶ 进行计数，并删除文件中重复出现的行；
• -d∶ 仅显示连续的重复行；
• -u∶ 仅显示出现一次的行；

1.2.4 实例

实例1：直接使用的话连续重复的数字只显示一行

实例2：结合sort对文本进行排序，仅显示出现一次的行

实例3：统计文本中每种数字出现的次数

实例4：仅显示有重复的数字

1.3 tr命令

1.3.1 概述

• Linux tr 命令用于转换或删除文件中的字符。

• tr 指令从标准输入设备读取数据，经过字符串转译后，将结果输出到标准输出设备。

1.3.2 语法格式

tr [选项]  参数

1.3.3 常用选项和参数

选项

• -c∶保留字符集1的字符，其他的字符（也包括换行符\n)用字符集2替换
• -d∶ 删除所有属于字符集1的字符
• -s∶ 将重复出现的字符串压缩为一个字符串；用字符集2替换 字符集1
• -t∶ 字符集2 替换 字符集1，不加选项和结果

参数

• 字符集1：指定要转换或删除的原字符集，当执行转换操作时，必须使用参数“字符集2”指定转换的目标字符集，但是执行删除操作时，不需要参数“字符集2”；
• 字符集2：指定要转换成的目标字符集

1.3.4 实例

实例1：将小写abcd转换为大写

实例2：测试换行符替换，不指定换行符，默认换行符也会被替换。

实例3：删除字符

实例4：删除空行


实例5：把路径边变量中的“ ：”替换成换行符\n

实例6：删除Windows文件造成的“^M”字符。
Linux中遇到换行符("\n")会进行回车+换行的操作，回车符反而只会作为控制字符("^M")显示，不发生回车的操作。而windows中 要回车符+换行符("\r\n")才会回车+换行，缺少一个控制符或者顺序不对都不能正确的另起。

1.3.5 使用tr对数组进行排序

分析：
1.使用echo ${arr[*]}可以输出数组列表
2.结合| tr " " "\n" 可以将输出内容中的空格换成换行符
3.然后在使用| sort -n对输出的内容进行按数值从小到大排序即可。

1.4 cut命令

1.4.1 概述

• Linux cut命令用于显示每行从开头算起 num1 到 num2 的文字。

使用说明:

• cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。

• 如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。

1.4.2 语法格式

cut [选项]  参数

1.4.3 常用选项

• -f∶ 通过指定哪一个字段进行提取。cut命令使用"TAB"作为默认的字段分隔符。
• -d∶ “TAB"是默认的分隔符，使用此选项可以更改为其他的分隔符。
• - -complement∶ 此选项用于排除所指定的字段。
• - -output-delimiter∶ 更改输出内容的分隔符。

1.4.4 实例

实例1：输出/etc/passwd中的所有用户名

实例2：显示/etc/passwd中包含/bin/bash的选项，然后显示第1到4、6和7的字段。

实例3：显示/etc/passwd 中的字段，第三第四字段不显示。

实例4：检索出/etc/passwd文件中的第一和第七字段，并使用空格隔开