shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解

主要针对文件内容进行操作,对文件内容进行过滤、修改、排序

1.命令grep

概述: 针对文本内容进行过滤、查找

常用命令选项

命令 选项 说明
grep -i (默认)忽略大小写,可以不加
-n 显示匹配的行号及该行的内容
-c

只统计匹配的行数(匹配了几行)

-v 取反,把所有不包含查询内容的的显示出来
-m 多个匹配,可以限定显示的行数,匹配几次后结束
-o 显示匹配到的字符串
-q 静默模式,什么都不进行输出,进行显示
-A(after) 匹配到内容行后,在向下展示几行,包含匹配到的行
-B(before) 匹配到当前所在行,以及当前行的前几行
-C 匹配到自己所在行及其上下个几行
-e 逻辑或,可以匹配多个条件,可以实现多个选项间的逻辑关系,可以多个
-w 表示匹配整个单词,如果加了其他字母就无法匹配
-E 表示使用扩展正则表达式,也可以用egrep
-f 根据两个文件的内容进行匹配,匹配两个文件中相的内容
-r 递归目录,不处理软连接,递归目录下,所有文件内包含文件内容的文件
-R 递归目录,处理软连接,递归目录下所有文件包含文件内容的文件,包含软连接

主要作用:过滤文本内容,针对行进行处理,过滤每一行包含的文本内容

 逻辑或shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解_第1张图片

 匹配内容行后向下几行展示

shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解_第2张图片

2. 命令sort

以行为单位,对文件的内容进行排序,也可以根据不同的数据类型进行排序

格式:

1、sort [选项]  参数

2、cat 文件名 | sort 选项

常用的第二种

默认数字优先,然后大写,最后为小写

常用选项

命令 选项 说明
sort -f 忽略大小写,默认会把大写字母排在前面
-b 忽略每行前面的空格
-n 按照数字进行排序,不会发生变化,原先怎么排序,输出也是一样
-u 相同的数据只显示一行,去重
-r 反向排序,根据数字和字母大小写排序进行反向排序
-o 输出的文件名:将排序的结果转存到指定文件

注意:字母和数字不要混合在一起进行排序。是根据文件内容排序,不是文件名

3.去重的命令uniq 

作用:用于报告或则忽略文件中连续出现的重复行,   经常与sort命令结合使用

只是暂时打印的结果,不对原文件产生影响

格式:

1、uniq [选项] 参数

例如

shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解_第3张图片

 常用选项

命令 选项 说明
uniq -c 统计连续重复的行的次数,并且合并重复的行
-u 显示仅出现一次的行(包括不连续的重复行)
-d 仅显示重复出现的行(必须是连续的重复行)

4.命令tr

作用: 把不想要的删除掉,也可以替换掉

对来自标准输出的字符

对来自标准输入的字符,进行替换压缩和删除

格式:

1、tr [选项] 参数     也可以结合“ | ”管道符使用

常用选项

-c : 保留字符集1的字符,用字符集2来替换

echo 192.168.233.10 | tr -c "." " "     加“-c” 保留字符“ .” 用“ ”(空格)来替换其他字符

echo 192.168.233.10 | tr  "." " "     : 不加 " -c",把字符集1“ . ”替换成字符集“ ”(空格)

将ABC替换成abc

echo ABC | tr " A-Z" "a-z" 

A-Z :"A-Z"引号引起来都是正则表达式

-d : 删除指定字符集

-s : 把重复出现的字符串,压缩成一个字符串,也可以替换,默认替换一个字符串

例如:sort -n test.sh |tr -s "123" "ttt"

shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解_第4张图片

 -t :默认为替换,可以不写

5.截取方法命令cut 

概述:对字段进行截取和剪裁,截取和awk相似之处,

格式:

1、cut [选项] 参数

2、cat 文件名 | cut 选项

常用选型

-d :指定分隔符 默认你分隔符为“tab”键 不是空格

awk 默认分隔符事空格,多个空格也算一个

-f : 安字段进行截取,指定要截取几个字段        

1-3: 1到3      1,3 : 1和3

例如: cut -d “!” -f 1,3 /etc/passwd

-b : 以字节为单位的的截取

-c : 以字符为单位的截取

 -complement :删除指定的字符串

head -n 2 /etc/passwd|cut -d ':'  --complement  -f 2:指定已":"作为分隔符,但是删除了第二个字段进行输出

–output-delimiter : 更改输出内容的分隔符 ,不能用“!”

head -n 2 /etc/passwd|cut -d ':'  -f 1-5 --output-delimiter='@'  :将分隔符转换为@,进行输出
 

6.文件拆分命令  split

把大文件拆分成若干个小文件

格式: 

split 选项 参数 原始文件 拆分后文件名前缀

split-l  20 passwd ky30

常用选项:

-l (line): 指定行数拆分 

-b (block):指定文件大小拆分

shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解_第5张图片

7.文件合并命令  paste

按照字段来进行文件的合并

格式

paste   [选项]    文件1     文件2

常用选项

-d    用于指定文件的分隔符(默认情况下为制表符"\n")
-s    将列和行的内容进行互相交换
paste a b和cat a b 之间的区别

shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解_第6张图片

paste 是左右合并     cat 是上下合并

8.面试题

统计当前主机的连接状态

listen : 监听 等待连接  谁可以连接

estab :已经建立连接,连接处在活动后状态

ss -nta |tr -s " " | cut -d " " -f 5 | sort -n  |uniq -c

shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解_第7张图片ss -nta : 数字化展示所有正在活动的tcp网络连接信息,

grep -v :取反,显示不包含查找的内容显示出来

cut -d :指定分隔符为空格   -f ; 第几个字段

sotr 文件拆分

uniq -c ; 统计连续重复行的次数并合并重复的行

2、统计当前连接主机数

ss -nt | tr -s " "|cut -d " " -f 5 | sort -n | uniq -c

shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解_第8张图片

ss -nt  :数值化展示  ip地址端口信息

cut - d  -f 5 : 指定分隔符, 截取第5 个字段

tr -s :重复的字符串进行压缩,压缩成一个字符串

sort -n 根据原有顺序进行输出

uniq -c : 统计重复的行的次数并合并重复的行 

你可能感兴趣的:(linux,运维,服务器)