前言:
GNU Linux操作系统的哲学思想之一即是一切皆是文件,因此使用必要的手段对文件进行搜索、匹配、处理、压缩解压,以实现快速定位、快速处置是十分必要的。
1、文件搜索查找原理
文件的搜索查找底层原理分为两类:实时的、非实时的。其中非实时的文件查找是基于数据库的,而实时查找则是基于查找条件对文件系统上的所有文件进行搜索、匹配,且是穷尽查找。
非实时查找的代表命令是locate;实时查找的代表是find命令。
1.1、locate原理及特点
原理:
查询系统上预建的文件索引数据库,/var/lib/mlocate/mlocate.db。这个数据库是系统基于一定的机制每天进行定时更新的;如果想要手动进行即时更新,可以使用updatedb命令实现。即mlocate.db数据库是依赖于事先构建的索引,索引的构建是在系统较为空闲时自动进行(周期性任务),管理员手动更新数据库(updatedb),索引构建过程需要遍历整个根文件系统,极消耗系统及硬件资源。
工作特点:
查找速度快; 模糊查找; 非实时查找; 搜索的是文件的全路径,不仅仅是文件名; 可能只搜索用户具备读取和执行权限的目录。
1.2、locate命令使用
语法:
locate [OPTION]... [PATTERN]... locate KEYWORD
常用选项:
-i 不区分大小写的搜索; -n N 只列举前N个匹配项目; -r 使用正则表达式;
示例:
locate conf \搜索名称或路径中带有“ conf”的文件\ locate -r ‘\.conf$’ \使用Regex来搜索以“ .conf”结尾的文件\
2、find命令
2.1、find工作特点及语法
find是一个实时查找工具,通过遍历指定路径完成文件查找。
工作特点:
查找速度略慢; 精确查找; 实时查找; 可能只搜索用户具备读取和执行权限的目录。
语法:
find [OPTION]... [查找路径] [查找条件] [处理动作]
查找路径:指定具体目标路径;默认为当前目录; 查找条件:指定的查找标准,可以文件名、大小、类型、权限等标准进行;默认为找出指定路径下的所有文件。 处理动作:对符合条件的文件做操作,默认输出至屏幕。
2.2、查找条件
(1)指定搜索层级:
-maxdepth level 最大搜索目录深度,指定目录为第1级 -mindepth level 最小搜索目录深度
(2)根据文件名和inode查找:
-name "文件名称":支持使用glob,*, ?, [], [^].....。 -iname "文件名称":不区分字母大小写。 -inum n 按inode号查找。 -samefile name 相同inode号的文件。 -links n 链接数为n的文件。 -regex "PATTERN":以PATTERN匹配整个文件路径字符串,而不仅仅是文件名称。
(3)根据属主、属组查找:
-user USERNAME:查找属主为指定用户(UID)的文件; -group GRPNAME: 查找属组为指定组(GID)的文件; -uid UserID:查找属主为指定的UID号的文件; -gid GroupID:查找属组为指定的GID号的文件; -nouser:查找没有属主的文件; -nogroup:查找没有属组的文件。
(4)根据文件类型查找:
-type TYPE:
TYPE: f: 普通文件; d: 目录文件; l: 符号链接文件; s:套接字文件; b: 块设备文件; c: 字符设备文件; p: 管道文件。
(5)指定组合条件,可以实现多个条件搜索:
与:-a 或:-o 非:-not, !
德·摩根定律: (非 A) 或 (非 B) = 非(A 且 B) (非 A) 且 (非 B) = 非(A 或 B)
示例1:
!A -a !B = !(A -o B)
!A -o !B = !(A -a B)
示例2:
find -name snow.png; find -iname snow.png; find / -name “*.txt”; find /var –name “*log*”; find -user joe -group joe; find -user joe -not -group joe; find -user joe -o -user jane; find -not \( -user joe -o -user jane \); find / -user joe -o -uid 500;
找出/tmp目录下,属主不是root,且文件名不以f开头的文件:
find /tmp \( -not -user root -a -not -name 'f*' \) -ls find /tmp -not \( -user root -o -name 'f*' \) –ls
排除目录:
查找/etc/下,除/etc/sane.d目录的其它所有.conf后缀的文件
find /etc -path ‘/etc/sane.d’ -a -prune -o -name “*.conf”
查找/etc/下,除/etc/sane.d和/etc/fonts两个目录的其它所有.conf后缀的文件
find /etc \(–path ‘/etc/sane.d’ –o –path ’/etc/fonts’ \) -a -prune –o -name “*.conf”
(6)根据文件大小来查找:
语法:
-size [+|-]#UNIT
常用单位:k, M, G,c(byte)
不同写法的意义:
#UNIT:(#-1, #],如:6k 表示(5k,6k] -#UNIT:[0,#-1],如:-6k 表示[0,5k] +#UNIT:(#,∞),如:+6k 表示(6k,∞)
(7)根据时间戳:
以“天”为单位:
-atime [+|-]#: # : [#,#+1) +#: [#+1,∞] -#: [0,#) -mtime # : [#,#+1) +#: [#+1,∞] -#: [0,#) -ctime # : [#,#+1) +#: [#+1,∞] -#: [0,#)
以“分钟”为单位:
-amin -mmin -cmin
(8)根据权限查找:
-perm [/|-]MODE
MODE: 精确权限匹配; /MODE:任何一类(u,g,o)对象的权限中只要能一位匹配即可,或关系,+ 从centos7开始淘汰。 -MODE:每一类对象都必须同时拥有指定权限,与关系。 0 表示不关注。
示例:
find -perm 755 会匹配权限模式恰好是755的文件; 只要当任意人有写权限时,find -perm +222就会匹配; 只有当每个人都有写权限时,find -perm -222才会匹配; 只有当其它人(other)有写权限时,find -perm -002才会匹配。
2.3、处理动作
-print:默认的处理动作,显示至屏幕; -ls:类似于对查找到的文件执行“ ls -l”命令; -delete:删除查找到的文件; -fls file:查找到的所有文件的长格式信息保存至指定文件中; -ok COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令,对于每个文件执行命令之前,都会交互式要求用户确认。 -exec COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令; {}: 用于引用查找到的文件名称自身; find传递查找到的文件至后面指定的命令时,查找到所有符合条件的文件一次性传递给后面的命令。
2.4、参数替换xargs
背景:
find传递查找到的文件至后面指定的命令时,查找到所有符合条件的文件一次性传递给后面的命令,所以在某些场景下需要使用到xargs命令。
由于很多命令不支持管道|来传递参数、有些命令不能接受过多参数,命令执行可能会失败,xargs可以解决而日常工作中有这个必要,所以就有了xargs命令。
xargs用于产生某个命令的参数,xargs 可以读入 stdin 的数据,并且以空格符或回车符将 stdin 的数据分隔成为arguments。
注意:文件名或者是其他意义的名词内含有空格符的情况。
示例:
ls f* |xargs rm find /sbin -perm +700 |ls -l 这个命令是错误的 find /sbin -perm +7000 | xargs ls –l
find和xargs格式:find | xargs COMMAND
2.5、find示例
备份配置文件,添加.orig这个扩展名
find -name “*.conf” -exec cp {} {}.orig \;
提示删除存在时间超过3天以上的joe的临时文件
find /tmp -ctime +3 -user joe -ok rm {} \;
在你的主目录中寻找可被其它用户写入的文件
find ~ -perm -002 -exec chmod o-w {} \;
find /data –type f -perm 644 -name “*.sh” –exec chmod 755 {} \; find /home –type d -ls
3、Gnome 搜索工具
图形框位置:
位置->搜索文件……
图形化搜索工具,可搜索:
命令 内容 用户/组群 大小 修改时间
4、压缩、解压缩及归档工具
4.1、工具一览
file-roller; compress/uncompress: .Z; gzip/gunzip: .gz; bzip2/bunzip2: .bz2; xz/unxz: .xz; zip/unzip; tar; cpio;
4.2、compress/uncompress
语法:
compress [-dfvcVr] [-b maxbits] [file ...]
选项:
-d: 解压缩,相当于uncompress -c: 结果输出至标准输出,不删除原文件 -v: 显示详情
uncompress 解压缩
查看并重定向:
zcat file.Z >file
4.3、gzip/gunzip
语法:
gzip [OPTION]... FILE ...
选项:
-d: 解压缩,相当于gunzip -c: 将压缩或解压缩的结果输出至标准输出 -#:1-9,指定压缩比,值越大压缩比越大
zcat:不显示解压缩的前提下查看文本文件内容;
实例:
gzip -c messages >messages.gz gzip -c -d messages.gz > messages zcat messages.gz > messages
4.4、bzip2/bunzip2/bzcat
语法:
bzip2 [OPTION]... FILE ...
选项:
-k: keep, 保留原文件 -d:解压缩 -#:1-9,压缩比,默认为9
bzcat:不显式解压缩的前提下查看文本文件内容
4.5、xz/unxz/xzcat
语法:
xz [OPTION]... FILE ...
选项:
-k: keep, 保留原文件 -d:解压缩 -#:1-9,压缩比,默认为6
xzcat: 不显式解压缩的前提下查看文本文件内容
4.6、zip/unzip
打包压缩:
zip –r /testdir/sysconfig /etc/sysconfig/
解包解压缩:
unzip sysconfig.zip cat /var/log/messages | zip messages - unzip -p message > message
4.7、tar工具
Tar(Tape ARchive,磁带归档的缩写)。
语法:
tar [OPTION]......
(1) 创建归档
tar -c -f /PATH/TO/SOMEFILE.tar FILE...
(2) 追加文件至归档: 注:不支持对压缩文件追加
tar -r -f /PATH/TO/SOMEFILE.tar FILE...
(3) 查看归档文件中的文件列表
tar -t -f /PATH/TO/SOMEFILE.tar
(4) 展开归档
tar -x -f /PATH/TO/SOMEFILE.tar tar -x -f /PATH/TO/SOMEFILE.tar -C /PATH/
(5) 结合压缩工具实现:归档并压缩
-j: bzip2, -z: gzip, -J: xz
-T选项指定输入文件,-X选项指定包含要排除的文件列表
tar zcvf mybackup.tgz -T /root/includefilelist -X /root/excludefilelist
分割大的 tar 文件为多份小文件:
split –b Size –d tar-file-name prefix-name split -b 1M –d mybackup.tgz mybackup-parts split -b 1M mybackup.tgz mybackup-parts
合并:
cat mybackup-parts* > mybackup.tar.gz
4.8、cpio
功能:复制文件从或到归档。
cpio命令是通过重定向的方式将文件进行打包备份,还原恢复的工具,它可以解压以“ .cpio”或者“ .tar”结尾的文件。
语法:
cpio [选项] > 文件名或者设备名 cpio [选项] < 文件名或者设备名
选项:
-o 将文件拷贝打包成文件或者将文件输出到设备上 -i 解包,将打包文件解压或将设备上的备份还原到系统 -t 预览,查看文件内容或者输出到设备上的文件内容 -v 显示打包过程中的文件名称。 -d 解包生成目录,在cpio还原时,自动的建立目录 -c 一种较新的存储方式
示例:
将etc目录备份:
find ./etc -print |cpio -ov >etc.cpio
内容预览
cpio –tv < etc.cpio
解包文件
cpio –idv < etc.cpio