【141】Linux 中xargs、grep、print0和xargs -0用法
内容目录（原文见公众号python宝）
一、xargs 介绍1.1 xargs 介绍
1.2 读取输入数据重新格式化后输出
1.3 xargs 结合 find 使用二、grep 介绍2.1 grep 介绍
2.2 查找并打印含有某后缀的并包含某字符的这一行
2.3 以递归的方式查找
2.4 反向查找
2.5 文件太大，无法直接使用cat时
2.6 grep多个过滤条件
2.7 grep 结合find使用三、find -print0和xargs -0原理及用法 3.1 find 基本用法
3.2 find -print0和xargs -0原理及用法
一、xargs 介绍
1.1 xargs 介绍
xargs 是给命令传递参数的一个过滤器，也是组合多个命令的一个工具。
xargs 可以将管道或标准输入（stdin）数据转换成命令行参数，也能够从文件的输出中读取数据。
xargs 也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。
xargs 默认的命令是 echo，这意味着通过管道传递给 xargs 的输入将会包含换行和空白，不过通过 xargs 的处理，换行和空白将被空格取代。
xargs 是一个强有力的命令，它能够捕获一个命令的输出，然后传递给另外一个命令。
之所以能用到这个命令，关键是由于很多命令不支持|管道来传递参数，而日常工作中有有这个必要，所以就有了 xargs 命令，例如：
find /sbin -perm +700 |ls -l #这个命令是错误的
find /sbin -perm +700 |xargs ls -l #这样才是正确的
# xargs 一般是和管道一起使用。命令格式：
somecommand |xargs -item command
'''参数：
-a file 从文件中读入作为sdtin
-e flag ，注意有的时候可能会是-E，flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。
-p 当每次执行一个argument的时候询问一次用户。
-n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。
-t 表示先打印命令，然后再执行。
-i 或者是-I，这得看linux支持了，将xargs的每项名称，一般是一行一行赋值给 {}，可以用 {} 代替。
-r no-run-if-empty 当xargs的输入为空的时候则停止xargs，不用再去执行了。
-s num 命令行的最大字符数，指的是 xargs 后面那个命令的最大命令行字符数。
-L num 从标准输入一次读取 num 行送给 command 命令。
-l 同 -L。
-d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符。
-x exit的意思，主要是配合-s使用。。
-P 修改最大的进程数，默认是1，为0时候为as many as it can ，这个例子我没有想到，应该平时都用不到的吧。
'''
1.2 读取输入数据重新格式化后输出
1.3 xargs 结合 find 使用
# 用 rm 删除太多的文件时候，可能得到一个错误信息：/bin/rm Argument list too long. 用 xargs 去避免这个问题：
find . -type f -name "*.log" -print0 | xargs -0 rm -f
# xargs -0 将 \0 作为定界符。统计一个源代码目录中所有 php 文件的行数：
find . -type f -name "*.php" -print0 | xargs -0 wc -l
# 查找所有的 jpg 文件，并且压缩它们：
find . -type f -name "*.jpg" -print | xargs tar -czvf images.tar.gz
# xargs 其他应用假如你有一个文件包含了很多你希望下载的 URL，你能够使用 xargs下载所有链接：
cat url-list.txt | xargs wget -c
# 在某个路径下查文件。在/etc下查找“*.log”的文件
find /etc -name “*.log”
# 扩展，列出某个路径下所有文件，包括子目录。
find /etc -name “*”
''' 使用find和xargs '''
# 1)-name:按照文件名查找
find ~ -name “*.txt” -print
find ~ -name “[a-z][0-9].txt” -print
# 2)-perm:按照权限查找文件
find ~ -perm 755 -print 查找权限为755的文件
find ~ -perm 007 -print 查找o位置上具有7权限的文件
find ~ -perm 4000 -print 查找具有suid的文件
# 3)-prune 不在当前目录下查找
# 4)-user和－nouser
find ~ -user zhao -print 查找文件属主是zhao的文件
find ~ -nouser -print 查找文件属主已经被删除的文件
# 5)-group和－nogroup
find ~ -group zhao -print 查找文件群组是zhao的文件
# 6)按照时间
find ~ -mtime -5 -print 文件更改时间在5天内的文件
find ~ -mtime +3 -print 文件更改时间在3天前的文件
find ~ -newer file1 -print 查找比文件file1新的文件
# 7)按照类型查找
find ~ -type d -print 查找所有目录
# 8)按照大小
find ~ -size +1000000C -print 查找文件大小大于1000000字节(1M)的文件二、grep 介绍
2.1 grep 介绍
Linux grep 命令用于查找文件里符合条件的字符串。grep 指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设 grep 指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为 -，则 grep 指令会从标准输入设备读取数据。
语法
grep [-abcEFGhHilLnqrsvVwxy][-A<显示列数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]
'''参数：
-a 或 --text : 不要忽略二进制的数据。
-A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。
-b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。
-B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前的内容。
-c 或 --count : 计算符合样式的列数。
-C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前后的内容。
-d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
-e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
-E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
-f<规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
-F 或 --fixed-regexp : 将样式视为固定字符串的列表。
-G 或 --basic-regexp : 将样式视为普通的表示法来使用。
-h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。
-H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。
-i 或 --ignore-case : 忽略字符大小写的差别。
-l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
-L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
-n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
-o 或 --only-matching : 只显示匹配PATTERN 部分。
-q 或 --quiet或--silent : 不显示任何信息。
-r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
-s 或 --no-messages : 不显示错误信息。
-v 或 --revert-match : 显示不包含匹配文本的所有行。
-V 或 --version : 显示版本信息。
-w 或 --word-regexp : 只显示全字符合的列。
-x --line-regexp : 只显示全列符合的列。
-y : 此参数的效果和指定"-i"参数相同。
'''
2.2 查找并打印含有某后缀的并包含某字符的这一行
# 在当前目录中，查找后缀有 txt 字样的文件中包含 python 字符串的文件，# 并打印出该字符串的行。此时，可以使用如下命令：
grep python *txt
2.3 以递归的方式查找
'''
以递归的方式查找符合条件的文件。例如，查找指定目录/root/pythonbao 及其子目录（如果存在子目录的话）下所有文件中包含字符串"python"的文件，并打印出该字符串所在行的内容，使用的命令为：
'''
grep -r python /root/pythonbao/ 
2.4 反向查找
'''
反向查找。前面各个例子是查找并打印出符合条件的行，通过"-v"参数可以打印出不符合条件行的内容。
查找文件名中包含 test 的文件中不包含test 的行，此时，使用的命令为：
'''
grep -v python *python* /root/pythonbao/soft
2.5 文件太大，无法直接使用cat时
'''
系统报警显示了时间，但是日志文件太大无法直接 cat 查看。
(查询含有特定文本的文件，并拿到这些文本所在的行)
解决：
'''
grep -n '2019-10-24 00:01:11' *.log
2.6 grep多个过滤条件
# 1、或操作
grep -E '123|abc' filename // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename // 用egrep同样可以实现
awk '/123|abc/' filename // awk 的实现方式
# 2、与操作
grep pattern1 files | grep pattern2 ：显示既匹配 pattern1 又匹配 pattern2 的行。
# 3、其他操作
grep -i pattern files ：不区分大小写地搜索。默认情况区分大小写，
grep -l pattern files ：只列出匹配的文件名，
grep -L pattern files ：列出不匹配的文件名，
grep -w pattern files ：只匹配整个单词，而不是字符串的一部分（如匹配‘magic’，而不是‘magical’），
grep -C number pattern files ：匹配的上下文分别显示[number]行，三、find -print0和xargs -0原理及用法
3.1 find 基本用法
# find 基本用法，搜索包含res的文件
find "res"
# 结果中不仅会包含/res文件夹，也会包含res/strings.xml等文件，参数 -name 搜索仅匹配文件名而非相对路径，
# 例：在当前路径搜索名称为strings.xml的所有文件
find ./ –name strings.xml
# 参数 -not 非
# 例：在当前路径搜索除了strings.xml文件外的所有文件
find ./ -not -name "strings.xml"
# 参数 -a 与
# 例：在当前路径搜索除了strings.xml文件外的所有xml文件
find ./ -not -name "strings.xml" -a -name "*.xml"
# 参数 -o 或
# 例：在当前路径搜索所有的xml和java文件
find . -name "*.xml" -o -name "*.java"
# 参数 -type 指定搜索的文件类型
# 例：在当前路径搜索所有文件夹
find . -type d
# 例：在当前路径搜索所有普通文件
find . -type f# 在某个路径下查文件。在/etc下查找“*.log”的文件
find /etc -name “*.log”
# 扩展，列出某个路径下所有文件，包括子目录。
find /etc -name “*”
''' 使用find和xargs '''
# 1)-name:按照文件名查找
find ~ -name “*.txt” -print
find ~ -name “[a-z][0-9].txt” -print
# 2)-perm:按照权限查找文件
find ~ -perm 755 -print 查找权限为755的文件
find ~ -perm 007 -print 查找o位置上具有7权限的文件
find ~ -perm 4000 -print 查找具有suid的文件
# 3)-prune 不在当前目录下查找
# 4)-user和－nouser
find ~ -user zhao -print 查找文件属主是zhao的文件
find ~ -nouser -print 查找文件属主已经被删除的文件
# 5)-group和－nogroup
find ~ -group zhao -print 查找文件群组是zhao的文件
# 6)按照时间
find ~ -mtime -5 -print 文件更改时间在5天内的文件
find ~ -mtime +3 -print 文件更改时间在3天前的文件
find ~ -newer file1 -print 查找比文件file1新的文件
# 7)按照类型查找
find ~ -type d -print 查找所有目录
# 8)按照大小
find ~ -size +1000000C -print 查找文件大小大于1000000字节(1M)的文件'''
参数 -n 输出的结果打印行号
参数 -r 递归搜索
参数 -i 搜索忽略大小写
参数 -I 搜索结果只显示文件名
参数 -w 精确匹配结果
参数 -v 输出所有不匹配的行
'''
# 例1：在当前目录中搜素不以a、b、c开头的所有文件
find ./ –name “[^abc]*”
# 例2：在当前目录中搜索以大写字母或数字开头的所有文件
find ./ -name “[A-Z0-9]*”
#1.按照文件名查找
(1)find / -name httpd.conf #在根目录下查找文件httpd.conf，表示在整个硬盘查找
(2)find /etc -name httpd.conf #在/etc目录下文件httpd.conf
(3)find /etc -name '*srm*' #使用通配符*(0或者任意多个)。表示在/etc目录下查找文件名中含有字符串‘srm’的文件
(4)find . -name 'srm*' #表示当前目录下查找文件名开头是字符串‘srm’的文件
# 2.按照文件特征查找
(1)find / -amin -10 # 查找在系统中最后10分钟访问的文件(access time)
(2)find / -atime -2 # 查找在系统中最后48小时访问的文件
(3)find / -empty # 查找在系统中为空的文件或者文件夹
(4)find / -group cat # 查找在系统中属于 group为cat的文件
(5)find / -mmin -5 # 查找在系统中最后5分钟里修改过的文件(modify time)
(6)find / -mtime -1 #查找在系统中最后24小时里修改过的文件
(7)find / -user fred #查找在系统中属于fred这个用户的文件
(8)find / -size +10000c #查找出大于10000000字节的文件(c:字节，w:双字，k:KB，M:MB，G:GB)
(9)find / -size -1000k #查找出小于1000KB的文件
# 3.使用混合查找方式查找文件,参数有： ！，-and(-a)，-or(-o)。
(1)find /tmp -size +10000c -and -mtime +2 #在/tmp目录下查找大于10000字节并在最后2分钟内修改的文件
(2)find / -user fred -or -user george #在/目录下查找用户是fred或者george的文件文件
(3)find /tmp ! -user panda #在/tmp目录中查找所有不属于panda用户的文件
3.2 find -print0和xargs -0原理及用法
find -print0表示在find的每一个结果之后加一个NULL字符，而不是默认加一个换行符。find的默认在每一个结果后加一个'\n'，所以输出结果是一行一行的。当使用了-print0之后，就变成一行了
然后xargs -0表示xargs用NULL来作为分隔符。这样前后搭配就不会出现空格和换行符的错误了。选择NULL做分隔符，是因为一般编程语言把NULL作为字符串结束的标志，所以文件名不可能以NULL结尾，这样确保万无一失。
'''
下面这个命令如果遇到文件名里有空格或者换行符，就会出错。因为xargs识别字符段的标识是空格或者换行符，所以如果一个文件名里有空格或者换行符，xargs就会把它识别成两个字符串，自然就出错了。
'''
find . -name "*.txt" | xargs rm
# 所以推荐的比较保险的命令是
find . -name "*.txt" -print0 | xargs -0 rm
About Me：小麦粒
● 本文作者：小麦粒，专注于python、数据分析、数据挖掘、机器学习相关技术，也注重技术的运用
● 作者博客地址：https://blog.csdn.net/u010986753
● 本系列题目来源于作者的学习笔记，部分整理自网络，若有侵权或不当之处还请谅解
● 版权所有，欢迎分享本文，转载请保留出处
● 个人微信号：pythonbao 联系我加微信群
●个人 QQ：87605025
● QQ交流群pythonbao ：483766429
● 公众号：python宝 或 DB宝
● 提供OCP、OCM和高可用最实用的技能培训
● 题目解答若有不当之处，还望各位朋友批评指正，共同进步
欢迎赞赏哦！有您的支持，小麦粒一定会越来越好！