除了root用户,显示其他用户
如果想展示匹配的内容,可以将他重定向到一个新的文件中
grep -e 逻辑或
以行为单位对文件内容进行排序,也可以根据不同的数据类型来排序
uniq命令用于报告或者忽略文件中连续的重复行,常与sort命令结合使用。
常用于对来自标准输入的字符进行替换、压缩和删除
对字段进行截取和剪裁
以":"作为分隔符,指定第一个到第三个字段进行输出
以:为分隔符,打印除了第二个字段
以:为分隔符,将1-5列的分隔符替换成#,并打印出来
split命令用于在Linux下将大文件拆分为若干小文件。
格式:split 选项 参数 原始文件 拆分后文件名前缀
按照字段来进行文件的合并
paste是左右合并
cat是上下合并
[a-zA-Z] #同时匹配大小写
o不管有多少个,都能匹配出来,没有也可以匹配
o出现>=1次
o只能有1个或者没有
o至少出现一次
o只能出现2次
o出现至少2次,最多5次
g出现的次数必须小于4次,包含0次
o出现2次以上
grep "^root$" 过滤出只有root的这一行
过滤出不是以“#”开头的
^$ 只取空行 grep "^[[:space:]]*$"
只能用于单词的匹配
后面的数,是前面所要分组的字符串的倍数
匹配1或者2bc,有一个即可
匹配1abc或者2abc,有一个即可
没有\,用grep -E ,用法与基本正则表示式类似
匹配座机号
025-83346023
0510-8776655
0527-9888899
匹配手机号
15251391719
18851996919
15264307896
匹配邮箱
主要是对文件内容按照行的方式进行增删改查
sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,
称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,
把缓冲区的内容送往屏幕。
接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。
Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等
sed 流编辑器的工作过程
sed的工作流程主要包括读取、执行和显示三个过程:
读取: sed从输入流 (文件、管道、标准输入) 中读取一行内容并
存储到临时的缓冲区中(又称模式空间,pattern space )。
执行: 默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,
否则sed命令将会在所有的行上依次执行。
显示: 发送修改后的内容到输出流。在发送数据后,
模式空间将会被清空。在所有的文件内容都被处理完成之前,上述过程将重复执行,
直至所有内容被处理完。
在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完。
注意:默认情况下所有的sed命令都是在模式空间内执行的,
因此输入的文件并不会发生任何变化,除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。
-e 或--expression=:表示用指定命令来处理输入的文本文件,只有一个操作命令时可省略,一般在执行多个操作命令使用
-f 或--file=:表示用指定的脚本文件来处理输入的文本文件。
-h 或--help:显示帮助。
-i 直接修改目标文本文件
-n 仅显示script处理后的结果
s:替换,替换指定字符。ky27 kyy27
d:删除,删除选定的行。
a:增加,在当前行下面增加一行指定内容。
i:插入,在选定行上面插入一行指定内容。
c:替换,将选定行替换为指定内容。
y:字符转换,转换前后的字符长度必须相同。
p:打印,如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容;如果有非打印字符,则以 ASCII 码输出。其通常与“-n”选项一起使用。
=:打印行号。
l(小写L):打印数据流中的文本和不可打印的ASCII字符(比如结束符$、制表符\t)
r:高级正则表达式
sed有一个默认输出,加上P,会打印两遍,因此需要加上-n,禁止默认输出
只打印第二行
只显示行号
显示行号及内容
只打印最后一行
打印1-3行
打印第二行到最后一行
打印2-4行
打印第二行和最后一行
打印偶数行(n:跳过第一行,打印第二行)
打印奇数行(n:打印第一行,跳过下一行,继续打印)
打印包含a的所有行
打印以root开头的行
打印以bash结尾的行
从第四行开始,一直打印到第一个以bash为结尾的所在行
sed -r 支持扩展正则表达式。同时在 使用{n}、{n,}、{n,m}时,括号{}前不需要加反斜杠\ 。
包含有两个99:的内容所在行
删除所有,什么也不打印
只删除第三行
删除2-4行
删除第2行到最后一行
除了2-4行,别的都删除
删除包含111的行
删除包含111和222的行
除了111和222,别的行都删了
字符串搭配正则进行删除
删除空行
grep -v "^$" test1.txt ----过滤出非空行
cat test1.txt |tr -s "\n" ----压缩换行符
sed '/^$/d' test1.txt ----删除空行
s:替换字符串(替换内容长度可不一致)
c:整行替换
y:字符替换,替换前后的字符串长度必须相同
指定第二个root,替换为了test
把所有的root改成test
把root开头的空格替换成#注释掉
把大写改成小写(l&是转换小写的一种特殊的符号,前面要加转义符“\”)
把小写改成大写(u&是转换首字母大写的一种特殊的符号,前面要加转义符“\”)
把有aaa的行全部整行替换成qzz
把单字符a和6分别替换成q和z
a:在下一行添加内容
i:在上一行插入内容
r:在行后读入文件内容
在111这行下面插入three
在333的前一行插入four
先读取test1里面的内容,把他插入到test2的行后
工作原理:
sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后再进行处理,
且默认情况下字段的分隔符为空格或 tab 键。
awk 执行结果可以通过 print 的功能将字段数据打印显示
awk的基本格式及其内置变量:
awk 选项 '模式或条件 {操作}' 文件1 文件2...
-F “分隔符” 指明输入时用到的字段分隔符,默认的分隔符是若干个连续空白符
-v(小v) var=value 变量赋值
注意一定是单引号:'模式或条件 {操作}'
{ }外指定条件,{ }内指定操作。
用逗号指定连续的行,用 || 指定不连续的行。&&表示”且“。
内建变量,不能用双引号括起来,不然系统会把它当成字符串。
内置变量
$0:当前处理的行的整行内容
$n:当前处理行的第n个字段(第n列)
NR:当前处理的行的行号(序数)
NF:当前处理的行的字段个数。$NF代表最后一个字段
FS:列分割符。指定每行文本的字段分隔符,输入内容的分隔符,
默认为空格或制表位。与"-F"作用相同 用-F可以不加单引号 -F:,用FS必须用=""
OFS:输出内容的列分隔符
FILENAME:被处理的文件名
RS:行分隔符。awk从文件中读取资料时,
将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录进行处理。预设值是"\n"
直接打印所有内容
取每一行的第一列
打印行号,及所有内容
打印第三行
打印2-4行
打印第2行和第4行
用正则表达式打印2-4行
打印偶数行
打印奇数行
可以进行小数和整数的运算,还能进行幂的计算
算100+200的和
求3的2次方
getline的工作过程:
1、当getline左右无重定向符号(“<”)或者管道符号(“|”)时,
awk首先读取的是第一行,而getline获取的是光标跳转至下一行的内容(也就是第二行)。
2、当getline左右有管道符号或重定向符时,
getline则作用定向输入文件,由于文件是刚打开,并没有被awk读入一行,
而只是getline读入,所以getline返回的是文件的第一行,而不是跳转至一行输入
原因:getline运行之后awk会改变NF,NR,$0,FNR等内部变量,所以此时读取$0的行号不再为1,而是2
打印偶数行
打印奇数行
把test1的内容传给函数getline,getline获取后把他打印出来并传给test
把ls的结果传给函数getline后,赋值给变量line,并把line的值打印出来
打印出以root开头的
打印出以bash结尾的
格式:awk 'BEGIN{...};{...};END{...}' 文件
处理过程:
1、在awk处理指定的文本之前,需要先执行BEGIN{...}模式里的命令操作
2、中间的{...} 是真正用于处理文件的命令操作
3.在awk处理完文件后才会执行END{...}模式里的命令操作。END{ }语句块中,往往会放入打印结果等语句。
x的变量范围是根据文本中内容的行数来的
以:为分隔符,打印第一列
将输入的时候的分隔符:改成+输出,打印第一列和第三列
以:为分隔符,换行输出
#默认就是换行输出,不需要改
以:为分隔符打印第一列
如果第三列uid大于500,打印出来
如果第三列uid不大于500,打印出来
awk的三元表达式继承了java的用法,格式与Java相似
格式:awk '(条件表达式)?(A表达式或者值):(B表达式或者值)'
以:为分隔符,如果$3大于$4,则打印$3,否则打印$4
awk的精准筛选:
$n(> < ==): 用于对比数值
$n~"字符串": 代表第n个字段包含某个字符串
$n!~"字符串": 代表第n个字段不包含某个字符串
$n=="字符串": 代表第n个字段为某个字符串
$n!="字符串": 代表第n个字段不为某个字符串
$NF: 代表最后一个字段
输出第七个字段包含“bash”所在行的第一个字段和最后一个字段
输出第七个字段不包含“nologin”所在行的第一个字段和最后一个字段
输出第六个字段为/home/qiao,第七个字段为/bin/bash的这些行的第一列和最后一列
OFS:输出内容的列分隔符。($n=$n用于激活,否则不生效,n必须存在)
对于输出时改变分隔符,我们常用到tr,awk,它们都可以实现在输出内容改变原本的分隔符
输出时将分隔符改成:
定义数组打印
awk中的数组形成遍历,在awk中打印变量不需要加$
数组去重
索引号可以是数字,字符
统计索引号出现的次数
遍历行数
索引号是文本里面的内容,对索引号进行计数