文件查找和打包压缩
文件查找
在文件系统上查找符合条件的文件
文件查找：locate, find
非实时查找(数据库查找)：locate
实时查找：find
locate
locate 查询系统上预建的文件索引数据库 /var/lib/mlocate/mlocate.db
索引的构建是在系统较为空闲时自动进行(周期性任务)，执行updatedb可以更新数据库
索引构建过程需要遍历整个根文件系统，很消耗资源
工作特点:
- 查找速度快
- 模糊查找
- 非实时查找
- 搜索的是文件的全路径，不仅仅是文件名
- 可能只搜索用户具备读取和执行权限的目录
格式：
locate [OPTION]... [PATTERN]...
常用选项
-i 不区分大小写的搜索
-n N 只列举前N个匹配项目
-r 使用基本正则表达式
范例：
#搜索名称或路径中包含“conf”的文件
locate conf
#使用Regex来搜索以“.conf”结尾的文件
locate -r '\.conf$'
find
find 是实时查找工具，通过遍历指定路径完成文件查找
工作特点：
- 查找速度略慢
- 精确查找
- 实时查找
- 查找条件丰富
- 可能只搜索用户具备读取和执行权限的目录
格式：
find [OPTION]... [查找路径] [查找条件] [处理动作]
查找路径：指定具体目标路径；默认为当前目录
查找条件：指定的查找标准，可以文件名、大小、类型、权限等标准进行；默认为找出指定路径下的所有文件
处理动作：对符合条件的文件做操作，默认输出至屏幕
指定搜索目录层级
-maxdepth level 最大搜索目录深度,指定目录下的文件为第1级
-mindepth level 最小搜索目录深度
范例:
find /etc -maxdepth 2 -mindepth 2
对每个目录先处理目录内的文件，再处理目录本身
-depth -d
根据文件名和inode查找
-name "文件名称"：支持使用glob，如：*, ?, [], [^],通配符要加双引号引起来
-iname "文件名称"：不区分字母大小写
-inum n 按inode号查找
-samefile name 相同inode号的文件
-links n 链接数为n的文件
-regex “PATTERN”：以PATTERN匹配整个文件路径，而非文件名称
根据属主、属组查找
-user USERNAME：查找属主为指定用户(UID)的文件
-group GRPNAME: 查找属组为指定组(GID)的文件
-uid UserID：查找属主为指定的UID号的文件
-gid GroupID：查找属组为指定的GID号的文件
-nouser：查找没有属主的文件
-nogroup：查找没有属组的文件
根据文件类型查找
-type TYPE
TYPE可以是以下形式：
f: 普通文件
d: 目录文件
l: 符号链接文件
s：套接字文件
b: 块设备文件
c: 字符设备文件
p: 管道文件
范例:
#查看/home的目录
find /home –type d -ls
空文件或目录
-empty
范例：
find /app -type d -empty
组合条件
与：-a ，默认多个条件是与关系
或：-o
非：-not !
德·摩根定律：
- (非 A) 或 (非 B) = 非(A 且 B)
- (非 A) 且 (非 B) = 非(A 或 B)
示例：
!A -a !B = !(A -o B)
!A -o !B = !(A -a B)
排除目录
范例：
#查找/etc/下，除/etc/sane.d目录的其它所有.conf后缀的文件
find /etc -path '/etc/sane.d' -a -prune -o -name "*.conf"
#查找/etc/下，除/etc/sane.d和/etc/fonts两个目录的所有.conf后缀的文件
find /etc \( -path "/etc/sane.d" -o -path "/etc/fonts" \) -a -prune -o -name
"*.conf"
#排除/proc和/sys目录
find / \( -path "/sys" -o -path "/proc" \) -a -prune -o -type f -a -mmin -1
根据文件大小来查找
-size [+|-]#UNIT
常用单位：k, M, G，c（byte）,注意大小写敏感
#UNIT: (#-1, #]
如：6k 表示(5k,6k]
-#UNIT：[0,#-1]
如：-6k 表示[0,5k]
+#UNIT：(#,∞)
如：+6k 表示(6k,∞)
根据时间戳
以“天”为单位
- atime [+|-]#
: [#,#+1)
+#: [#+1,∞]
-#: [0,#)
- mtime
- ctime
以“分钟”为单位 - amin
- mmin
- cmin
根据权限查找
-perm [/|-]MODE
MODE: 精确权限匹配
/MODE：任何一类(u,g,o)对象的权限中只要能一位匹配即可，或关系，+ 从CentOS 7开始淘汰
-MODE：每一类对象都必须同时拥有指定权限，与关系
0 表示不关注
说明：
find -perm 755 会匹配权限模式恰好是755的文件
只要当任意人有写权限时，find -perm /222就会匹配
只有当每个人都有写权限时，find -perm -222才会匹配
只有当其它人（other）有写权限时，find -perm -002才会匹配
处理动作
-print：默认的处理动作，显示至屏幕
-ls：类似于对查找到的文件执行“ls -l”命令
-fls file：查找到的所有文件的长格式信息保存至指定文件中，相当于 -ls > file
-delete：删除查找到的文件，慎用！
-ok COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令，对于每个文件执行命令之前，都会
交互式要求用户确认
-exec COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令
{}: 用于引用查找到的文件名称自身
参数替换 xargs
由于很多命令不支持管道|来传递参数，xargs用于产生某个命令的参数，xargs 可以读入 stdin 的数
据，并且以空格符或回车符将 stdin 的数据分隔成为参数
另外，许多命令不能接受过多参数，命令执行可能会失败，xargs 可以解决
注意：文件名或者是其他意义的名词内含有空格符的情况
find 和 xargs 的组合：
find | xargs COMMAND
压缩和解压缩
compress和uncompress
此工具来自于ncompress包
格式
compress Options [file ...]
uncompress file.Z #解压缩
常用选项
-d 解压缩，相当于uncompress
-c 结果输出至标准输出,不删除原文件
-v 显示详情
zcat file.Z 不显式解压缩的前提下查看文本文件内容
gzip和gunzip
格式：
gzip [OPTION]... FILE ...
常用选项：
-k keep, 保留原文件,CentOS 8 新特性
-d 解压缩，相当于gunzip
-c 结果输出至标准输出，保留原文件不改变
-# 指定压缩比，#取值为1-9，值越大压缩比越大
范例：
#解压缩
gunzip file.gz
#不显式解压缩的前提下查看文本文件内容
zcat file.gz
bzip2和bunzip2
来自于 bzip2 包
格式：
bzip2 [OPTION]... FILE ...
常用选项
-k keep, 保留原文件
-d 解压缩
-c 结果输出至标准输出，保留原文件不改变
-# 1-9，压缩比，默认为9
范例：
bunzip2 file.bz2 #解压缩
bzcat file.bz2 #不显式解压缩的前提下查看文本文件内容
xz和unxz
来自于 xz
格式
xz [OPTION]... FILE ...
常用选项
-k keep, 保留原文件
-d 解压缩
-c 结果输出至标准输出，保留原文件不改变
-# 压缩比，取值1-9，默认为6
范例：
unxz file.xz #解压缩
xzcat file.xz #不显式解压缩的前提下查看文本文件内容
zip和unzip
zip 可以实现打包目录和多个文件成一个文件并压缩，但可能会丢失文件属性信息，如：所有者和组信息，一般建议使用 tar 代替
来自于zip 和 unzip 包
范例：
#打包并压缩
zip –r /backup/sysconfig.zip /etc/sysconfig/
#不包括目录本身，只打包目录内的文件和子目录
cd /etc/sysconfig; zip -r /root/sysconfig.zip *
#默认解压缩至当前目录
unzip /backup/sysconfig.zip
#解压缩至指定目录,如果指定目录不存在，会在其父目录（必须事先存在）下自动生成
unzip /backup/sysconfig.zip -d /tmp/config
cat /var/log/messages | zip messages -
#-p 表示管道
unzip -p message.zip > message
打包和解包
tar
tar 即 Tape ARchive 磁带归档，可以对目录和多个文件打包一个文件，并且可以压缩，保留文件属性不丢失，常用于备份功能，推荐使用
格式
tar [OPTION]...
(1) 创建归档，保留权限
tar -cpvf /PATH/FILE.tar FILE...
(2) 追加文件至归档： 注：不支持对压缩文件追加
tar -rf /PATH/FILE.tar FILE...
(3) 查看归档文件中的文件列表
tar -t -f /PATH/FILE.tar
(4) 展开归档
tar xf /PATH/FILE.tar
tar xf /PATH/FILE.tar -C /PATH/
(5) 结合压缩工具实现：归档并压缩
-z 相当于gzip压缩工具
-j 相当于bzip2压缩工具
-J 相当于xz压缩工具
范例：
[root@centos8 ~]#tar zcvf etc.tar.gz /etc/
[root@centos8 ~]#tar jcvf etc.tar.bz2 /etc/
[root@centos8 ~]#tar Jcvf etc.tar.xz /etc/
[root@centos8 ~]#ll etc.tar.*
-rw-r--r-- 1 root root 3645926 Dec 20 22:00 etc.tar.bz2
-rw-r--r-- 1 root root 5105347 Dec 20 21:59 etc.tar.gz
-rw-r--r-- 1 root root 3101616 Dec 20 22:00 etc.tar.xz
#只打包目录内的文件，不所括目录本身
[root@centos8 ~]#cd /etc
[root@centos8 etc]#tar zcvf /root/etc.tar.gz *
#利用 tar 进行文件复制
[root@centos8 ~]#tar c /data/ | tar x -C /backup
tar: Removing leading `/' from member names
--exclude 排除文件
范例：
tar zcvf /root/a.tgz --exclude=/app/host1 --exclude=/app/host2 /app
-T 选项指定输入文件 -X 选项指定包含要排除的文件列表
范例：
tar zcvf mybackup.tgz -T /root/includefilelist -X /root/excludefilelist
split
split 命令可以分割一个文件为多个文件
范例：
#分割大的 tar 文件为多份小文件
split -b Size –d tar-file-name prefix-name
split -b 1M mybackup.tgz mybackup-parts
#切换成的多个小分文件使用数字后缀
split -b 1M –d mybackup.tgz mybackup-parts
将多个切割的小文件合并成一个大文件
cat mybackup-parts* > mybackup.tar.gz
cpio
cpio 是历史悠久的打包和解包工具，不过目前也已较少使用
cpio命令是通过重定向的方式将文件进行打包备份，还原恢复的工具，它可以解压以“.cpio”或者“.tar”结尾的文件
格式：
cpio [选项] > 文件名或者设备名
cpio [选项] < 文件名或者设备名
常用选项
-o output模式，打包，将标准输入传入的文件名打包后发送到标准输出
-i input模式，解包，对标准输入传入的打包文件名解包到当前目录
-t 预览，查看标准输入传入的打包文件中包含的文件列表
-O filename 输出到指定的归档文件名
-A 向已存在的归档文件中追加文件
-I filename 对指定的归档文件名解压
-F filename 使用指定的文件名替代标准输入或输出
-d 解包生成目录，在cpio还原时，自动的建立目录
-v 显示打包过程中的文件名称
范例：
#将etc目录备份
find ./etc -print | cpio -ov > bak.cpio
#将/data内容追加bak.cpio
find /data | cpio -oA -F bak.cpio
#内容预览
cpio –tv < etc.cpio
#解包文件
cpio –idv < etc.cpio
软件管理
软件运行和编译
软件相关概念
ABI
ABI即 Application Binary Interface
Windows与Linux不兼容
ELF(Executable and Linkable Format)
PE（Portable Executable）
库级别的虚拟化：
Linux: WINE
Windows: Cygwin
API
API即Application Programming Interface，API可以在各种不同的操作系统上实现给应用程序提供完全相同的接口，而它们本身在这些系统上的实现却可能迥异，主流的操作系统有两种，一种是Windows系统，另一种是Linux系统。由于操作系统的不同，API又分为Windows API和Linux API。在Windows平台开发出来的软件在Linux上无法运行，在Linux上开发的软件在Windows上又无法运行，这就导致了软件移植困难，POSIX 标准的出现就是为了解决这个问题
POSIX：Portable Operating System Interface 可移植操作系统接口，定义了操作系统应该为应用程序提供的接口标准，是IEEE为要在各种UNIX操作系统上运行的软件而定义的一系列API标准的总称。
Linux和windows都要实现基本的posix标准，程序就在源代码级别可移植了
开发语言
系统级开发
- 汇编语言
- C
- C++
应用级开发 - java
- Python
- go
- php
- perl
- delphi
- basic
- ruby
- bash
C语言程序的实现过程
C 程序源代码 --> 预处理 --> 编译 --> 汇编 --> 链接
C语言的程序编译主要经过四个过程：
- 预处理（Pre-Processing）
1）将所有的#define删除，并且展开所有的宏定义
2）处理所有的条件预编译指令，比如#if #ifdef #elif #else #endif等
3）处理#include 预编译指令，将被包含的文件插入到该预编译指令的位置。
4）删除所有注释 “//”和”/* */”.
5）添加行号和文件标识，以便编译时产生调试用的行号及编译错误警告行号。
6）保留所有的#pragma编译器指令，因为编译器需要使用它们 - 编译 （Compiling）
编译过程就是把预处理完的文件进行一系列的词法分析，语法分析，语义分析及优化后，最后生成
相应的汇编代码 - 汇编 （Assembling）
汇编器是将汇编代码转变成机器可以执行的命令，每一个汇编语句几乎都对应一条机器指令。汇编
相对于编译过程比较简单，根据汇编指令和机器指令的对照表一一翻译即可 - 链接 （Linking）
通过调用链接器ld来链接程序运行需要的一大堆目标文件，以及所依赖的其它库文件，最后生成可
执行文件
范例：gcc 编译过程
#分步骤编译运行
gcc -E hello.c -o hello.i 对hello.c文件进行预处理，生成了hello.i 文件
gcc -S hello.i -o hello.s 对预处理文件进行编译，生成了汇编文件
gcc -c hello.s -o hello.o 对汇编文件进行编译，生成了目标文件
gcc hello.o -o hello 对目标文件进行链接，生成可执行文件
#一步实现编译过程
gcc hello.c -o hello 直接编译链接成可执行目标文件
软件模块的静态和动态链接
链接主要作用是把各个模块之间相互引用的部分处理好，使得各个模块之间能够正确地衔接，分为静态和动态链接
静态链接
- 把程序对应的依赖库复制一份到包
- 生成模块文件libxxx.a
- 嵌入程序包
- 升级难，需重新编译
- 占用较多空间，迁移容易
动态链接
- 只把依赖加做一个动态链接
- 生成模块文件libxxx.so
- 连接指向
- 占用较少空间，升级方便
模块（库）文件
查看二进制程序所依赖的库文件
ldd /PATH/TO/BINARY_FILE
管理及查看本机装载的库文件
#加载配置文件中指定的库文件
ldconfig
#显示本机已经缓存的所有可用库文件名及文件路径映射关系
/sbin/ldconfig –p
配置文件：
/etc/ld.so.conf,
/etc/ld.so.conf.d/*.conf
缓存文件：
/etc/ld.so.cache
软件包和包管理器
软件包介绍
开源软件最初只提供了.tar.gz的打包的源码文件，用户必须自已编译每个想在GNU/Linux上运行的软件。用户急需系统能提供一种更加便利的方法来管理这些软件，当Debian诞生时，这样一个管理工具dpkg也就应运而生，可用来管理deb后缀的"包"文件。从而著名的“package”概念第一次出现在
GNU/Linux系统中，稍后Red Hat才开发自己的rpm包管理系统
软件包中的文件分类
- 二进制文件
- 库文件
- 配置文件
- 帮助文件
范例：利用 cpio工具查看包文件列表
rpm2cpio 包文件|cpio –itv 预览包内文件
rpm2cpio 包文件|cpio –id “*.conf” 释放包内文件
程序包管理器
软件包管理器功能：
将编译好的应用程序的各组成文件打包一个或几个程序包文件，利用包管理器可以方便快捷地实现程序包的安装、卸载、查询、升级和校验等管理操作
主流的程序包管理器
- redhat：rpm文件, rpm 包管理器，rpm：Redhat Package Manager，RPM Package Manager
- debian：deb文件, dpkg 包管理器
包命名
源代码打包文件命名：
name-VERSION.tar.gz|bz2|xz
VERSION: major.minor.release
rpm包命名方式：
name-VERSION-release.arch.rpm
VERSION: major.minor.release
release：release.OS
常见的arch：
- x86: i386, i486, i586, i686
- x86_64: x64, x86_64, amd64
- powerpc: ppc
- 跟平台无关：noarch
分类和拆包
软件包为了管理和使用的便利，会将一个大的软件分类，放在不同的子包中。
包的分类
- Application-VERSION-ARCH.rpm: 主包
- Application-devel-VERSION-ARCH.rpm 开发子包
- Application-utils-VERSION-ARHC.rpm 其它子包
- Application-libs-VERSION-ARHC.rpm 其它子包
包的依赖
软件包之间可能存在依赖关系，甚至循环依赖，即：A包依赖B包，B包依赖C包，C包依赖A包
安装软件包时，会因为缺少依赖的包，而导致安装包失败。
解决依赖包管理工具：
- yum：rpm包管理器的前端工具
- dnf：Fedora 18+ rpm包管理器前端管理工具，CentOS 8 版代替 yum
- apt：deb包管理器前端工具
- zypper：suse上的rpm前端管理工具
程序包管理器相关文件
- 包文件组成 (每个包独有)
- 包内的文件
- 元数据，如：包的名称，版本，依赖性，描述等
- 可能会有包安装或卸载时运行的脚本
- 数据库(公共)：/var/lib/rpm
- 程序包名称及版本
- 依赖关系
- 功能说明
- 包安装后生成的各文件路径及校验码信息
获取程序包的途径
软件包需要事先将源码进行编译后打包形成，获取包的途径如下：
系统发版的光盘或官方网站
CentOS镜像：
https://www.centos.org/download/
http://mirrors.aliyun.com
http://mirrors.sohu.com
http://mirrors.163.com
Ubuntu 镜像：
389 i686
211 noarch
1061 x86_64
http://cdimage.ubuntu.com/releases/
http://releases.ubuntu.com
第三方组织提供
- Fedora-EPEL：Extra Packages for Enterprise Linux
https://fedoraproject.org/wiki/EPEL
https://mirrors.aliyun.com/epel/?spm=a2c6h.13651104.0.0.3bc47dfaZpesAr - Rpmforge：官网：http://repoforge.org/, RHEL推荐，包很全，即将关闭
- Community Enterprise Linux Repository：http://www.elrepo.org，支持最新的内核和硬件相关
包
软件项目官方站点
http://yum.mariadb.org/10.4/centos8-amd64/rpms/
http://repo.mysql.com/yum/mysql-8.0-community/el/8/x86_64/
搜索引擎
http://pkgs.org
http://rpmfind.net
http://rpm.pbone.net
https://sourceforge.net/
注意：第三方包建议要检查其合法性，来源合法性,程序包的完整性
自己制作
将源码文件，利用工具，如：rpmbuild，fpm等工具制作成rpm包文件
包管理器rpm
CentOS系统上使用rpm命令管理程序包
功能：
安装、卸载、升级、查询、校验、数据库维护
安装
格式：
rpm {-i|--install} [install-options] PACKAGE_FILE…
选项：
-v: verbose
-vv:
-h: 以#显示程序包管理执行进度
常用组合：
rpm -ivh PACKAGE_FILE ...
rpm包安装[install-options]
--test: 测试安装，但不真正执行安装，即dry run模式
--nodeps：忽略依赖关系
--replacepkgs | replacefiles
--nosignature: 不检查来源合法性
--nodigest：不检查包完整性
--noscripts：不执行程序包脚本
%pre: 安装前脚本 --nopre
%post: 安装后脚本 --nopost
%preun: 卸载前脚本 --nopreun
%postun: 卸载后脚本 --nopostun
升级和降级
rpm包升级
rpm {-U|--upgrade} [install-options] PACKAGE_FILE...
rpm {-F|--freshen} [install-options] PACKAGE_FILE...
upgrade：安装有旧版程序包，则“升级”，如果不存在旧版程序包，则“安装”
freshen：安装有旧版程序包，则“升级”， 如果不存在旧版程序包，则不执行升级操作
--oldpackage：降级
--force: 强制安装
常用组合
rpm -Uvh PACKAGE_FILE ...
rpm -Fvh PACKAGE_FILE ...
升级注意项：
(1) 不要对内核做升级操作；Linux支持多内核版本并存，因此直接安装新版本内核
(2) 如果原程序包的配置文件安装后曾被修改，升级时，新版本提供的同一个配置文件不会直接覆盖老版本的配置文件，而把新版本文件重命名(FILENAME.rpmnew)后保留
包查询
rpm {-q|--query} [select-options] [query-options]
[select-options]
-a：所有包
-f：查看指定的文件由哪个程序包安装生成
-p rpmfile：针对尚未安装的程序包文件做查询操作
[query-options]
--changelog：查询rpm包的changelog
-c：查询程序的配置文件
-d：查询程序的文档
-i：information
-l：查看指定的程序包安装后生成的所有文件
--scripts：程序包自带的脚本
#和CAPABILITY相关
--whatprovides CAPABILITY：查询指定的CAPABILITY由哪个包所提供
--whatrequires CAPABILITY：查询指定的CAPABILITY被哪个包所依赖
--provides：列出指定程序包所提供的CAPABILITY
-R：查询指定的程序包所依赖的CAPABILITY
常用查询用法：
-qa
-q PACKAGE
-qi PACKAGE
-qc PACKAGE
-ql PACKAGE
-qd PACKAGE
-q --scripts PACKAGE
-qf FILE
-qpi PACKAGE_FILE
-qpl PACKAGE_FILE, ...
包卸载
格式：
rpm {-e|--erase} [--allmatches] [--nodeps] [--noscripts] [--notriggers] [--test]
PACKAGE_NAME ...
注意：当包卸载时，对应的配置文件不会删除， 以FILENAME.rpmsave形式保留
范例：强行删除rpm包，并恢复
[root@centos7 ~]#rpm -e rpm --nodeps
#重启进入rescue模式
#mkdir /mnt/cdrom
#mount /dev/sr0 /mnt/cdrom
#rpm -ivh /mnt/cdrom/Packages/rpm-4.11.3-40.el7.x86_64.rpm --root=/mnt/sysimage
#reboot
包校验
在安装包时，系统也会检查包的来源是否是合法的
检查包的完整性和签名
rpm -K|--checksig rpmfile
在检查包的来源和完整性前，必须导入所需要公钥
范例：
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
rpm -qa “gpg-pubkey*”
软件在安装时，会将包里的每个文件的元数据，如：大小，权限，所有者，时间等记录至rpm相关的数据库中，可以用来检查包中的文件是否和当初安装时有所变化
rpm {-V|--verify} [select-options] [verify-options]
数据库
rpm包安装时生成的信息，都放在rpm数据库中
/var/lib/rpm
可以重建数据库
rpm {--initdb|--rebuilddb}
initdb: 初始化，如果事先不存在数据库，则新建之，否则，不执行任何操作
rebuilddb：重建已安装的包头的数据库索引目录
yum和dnf
CentOS 使用 yum, dnf 解决rpm的包依赖关系
YUM: Yellowdog Update Modifier，rpm的前端程序，可解决软件包相关依赖性，可在多个库之间定位软件包，up2date的替代工具，CentOS 8 用dnf 代替了yum ,不过保留了和yum的兼容性，配置也是通用的
yum/dnf 工作原理
yum/dnf 是基于C/S 模式
- yum 服务器存放rpm包和相关包的元数据库
- yum 客户端访问yum服务器进行安装或查询等
yum 实现过程
先在yum服务器上创建 yum repository（仓库），在仓库中事先存储了众多rpm包，以及包的相关的元数据文件（放置于特定目录repodata下），当yum客户端利用yum/dnf工具进行安装时包时，会自动下载repodata中的元数据，查询远数据是否存在相关的包及依赖关系，自动从仓库中找到相关包下载并安装。
yum服务器的仓库可以多种形式存在： - file:// 本地路径
- http://
- https://
- ftp://
注意：yum仓库指向的路径一定必须是repodata目录所在目录
yum客户端配置
yum客户端配置文件
/etc/yum.conf #为所有仓库提供公共配置
/etc/yum.repos.d/*.repo： #为每个仓库的提供配置文件
帮助参考： man 5 yum.conf
相关变量
yum的repo配置文件中可用的变量：
$releasever: 当前OS的发行版的主版本号，如：8，7，6
$arch: CPU架构，如：aarch64, i586, i686，x86_64等
$basearch：系统基础平台；i386, x86_64
$contentdir：表示目录，比如：centos-8，centos-7
$YUM0-$YUM9:自定义变量
repo仓库配置文件指向的定义：
[repositoryID]
name=Some name for this repository
baseurl=url://path/to/repository/
enabled={1|0}
gpgcheck={1|0}
gpgkey=URL
enablegroups={1|0}
failovermethod={roundrobin|priority}
roundrobin：意为随机挑选，默认值
priority:按顺序访问
cost= 默认为1000
baseurl指向的路径
阿里云提供了写好的CentOS和ubuntu的仓库文件下载链接
http://mirrors.aliyun.com/repo/
CentOS系统的yum源
#阿里云
https://mirrors.aliyun.com/centos/$releasever/os/x86_64/
#华为云
https://mirrors.huaweicloud.com/
#清华大学
https://mirrors.tuna.tsinghua.edu.cn/centos/$releasever/os/x86_64/
EPEL的yum源
#阿里云
https://mirrors.aliyun.com/epel/$releasever/x86_64
阿里巴巴开源软件
https://opsx.alibaba.com/
注意：与之前的版本不同，CentOS 8 系统有两个yum 源：BaseOS和AppStream ，需要分别设置两个仓库
yum-config-manager命令
可以生成yum仓库的配置文件及启用或禁用仓库，来自于yum-utils包
格式：
#增加仓库
yum-config-manager --add-repo URL或file
#禁用仓库
yum-config-manager --disable “仓库名"
#启用仓库
yum-config-manager --enable “仓库名”
yum命令
yum命令的用法：
yum [options] [command] [package ...]
yum的命令行选项：
-y #自动回答为“yes”
-q #静默模式
--nogpgcheck #禁止进行gpg check
--enablerepo=repoidglob #临时启用此处指定的repo，支持通配符，如：”*“
--disablerepo=repoidglob #临时禁用此处指定的repo,和上面语句同时使用，放在后面的生效
显示仓库列表
yum repolist [all|enabled|disabled]
显示程序包
yum list
yum list [all | glob_exp1] [glob_exp2] [...]
yum list {available|installed|updates} [glob_exp1] [...]
安装程序包
yum install package1 [package2] [...]
yum reinstall package1 [package2] [...] #重新安装
卸载程序包
yum remove | erase package1 [package2] [...]
升级和降级
yum update [package1] [package2] [...]
yum downgrade package1 [package2] [...] (降级)
检查可用升级：
yum check-update
查询
查看程序包information：
yum info [...]
查看指定的特性(可以是某文件)是由哪个程序包所提供：
yum provides | whatprovides feature1 [feature2] [...]
注意：文件要写全路径，而不只是文件名，否则无法查询到
以指定的关键字搜索程序包名及summary信息
yum search string1 [string2] [...]
查看指定包所依赖的capabilities：
yum deplist package1 [package2] [...]
仓库缓存
清除目录/var/cache/yum/缓存
yum clean [ packages | metadata | expire-cache | rpmdb | plugins | all ]
构建缓存：
yum makecache
查看yum事务历史
yum 执行安装卸载命令会记录到相关日志中
日志 文件：
#CentOS 7以前版本日志
/var/log/yum.log
#CentOS 8 版本日志
/var/log/dnf.rpm.log
/var/log/dnf.log
日志命令
yum history [info|list|packages-list|packages-info|summary|addoninfo|redo|undo|rollback|new|sync|stats]
安装及升级本地程序包
yum localinstall|install rpmfile1 [rpmfile2] [...]
yum localupdate|update rpmfile1 [rpmfile2] [...]
包组管理的相关命令
yum grouplist [hidden] [groupwildcard] [...]
yum groupinstall group1 [group2] [...]
yum groupupdate group1 [group2] [...]
yum groupremove group1 [group2] [...]
yum groupinfo group1 [...]
实现私用 yum仓库
下载所有yum仓库的相关包和meta 数据
#CentOS 8 dnf 工具集成
dnf reposync --help #查看帮助
#默认只下载rpm包，不下载meta数据，需要指定--download-metadata 才能下载meta
dnf reposync --repoid=REPOID --download-metadata -p /path
#CentOS 7 以前版本，reposync工具来自于yum-utils包
reposync --repoid=REPOID --download-metadata -p /path
创建私有yum仓库：
createrepo [options]
DNF 介绍
DNF，即DaNdiFied，是新一代的RPM软件包管理器。DNF 发行日期是2015年5月11日，DNF 包管理器采用Python 编写，发行许可为GPL v2，首先出现在Fedora 18 发行版中。在 RHEL 8.0 版本正式取代了 YUM，DNF包管理器克服了YUM包管理器的一些瓶颈，提升了包括用户体验，内存占用，依赖分析，运行速度等
配置文件：
/etc/dnf/dnf.conf
仓库文件：
/etc/yum.repos.d/ *.repo
日志：
/var/log/dnf.rpm.log
/var/log/dnf.log
DNF 使用帮助：man dnf
dnf 用法与yum一致
dnf [options] [...]
dnf --version
dnf repolist
dnf reposync
dnf install httpd
dnf remove httpd
dnf clean all
dnf makecache
dnf list installed
dnf list available
dnf search nano
dnf history undo 1
yum Troubleshooting
yum 和 dnf 失败最主要原因：
- yum的配置文件格式或路径错误
解决方法：检查/etc/yum.repos.d/*.repo文件格式 - yum cache
解决方法：yum clean all - 网络不通：
解决方法：网卡配置
程序包编译
源码编译介绍
程序包编译安装：
源代码-->预处理-->编译-->汇编-->链接-->执行
多文件：文件中的代码之间，很可能存在跨文件依赖关系
虽然有很多开源软件将软件打成包，供人们使用，但并不是所有源代码都打成包，如果想使用开源软件，可能需要自已下载源码，进行编译安装。另外即使提供了包，但是生产中需要用于软件的某些特性，仍然需要自行编译安装。但是利用源代码编译安装是比较繁琐的，庆幸的是有相关的项目管理工具可以大大减少编译过程的复杂度
开源程序源代码的获取
项目官方自建站点：
apache.org (ASF：Apache Software Foundation)
mariadb.org
...
代码托管：
Github.com
gitee.com
SourceForge.net
code.google.com
编译源码的项目工具
- C、C++的源码编译：使用 make 项目管理器
configure脚本 --> Makefile.in --> Makefile
相关开发工具：
autoconf: 生成configure脚本
automake：生成Makefile.in - java的源码编译: 使用 maven
C语言源代码编译安装过程
利用编译工具，通常只需要三个大的步骤
- ./configure
(1) 通过选项传递参数，指定安装路径、启用特性等；执行时会参考用户的指定以及Makefile.in文
件生成Makefile
(2) 检查依赖到的外部环境，如依赖的软件包 - make 根据Makefile文件，会检测依赖的环境，进行构建应用程序，
- make install 复制文件到相应路径
注意：安装前可以通过查看README，INSTALL获取帮助
编译安装准备
准备：安装相关的依赖包
- 开发工具：make, gcc (c/c++编译器GNU C Complier)
- 开发环境：开发库（glibc：标准库），头文件，可安装开发包组 Development Tools
- 软件相关依赖包
生产实践：基于最小化安装的系统建议安装下面相关包
yum install gcc make autoconf gcc-c++ glibc glibc-devel pcre pcre-devel openssl openssl-devel systemd-devel zlib-devel vim lrzsz tree tmux lsof tcpdump wget net-tools iotop bc bzip2 zip unzip nfs-utils man-pages
编译安装
第一步：运行 configure 脚本，生成Makefile 文件
其选项主要功能：
- 可以指定安装位置
- 指定启用的特性
获取其支持使用的选项
./configure --help
选项分类：
- 安装路径设定：
--prefix=/PATH：指定默认安装位置,默认为/usr/local/
--sysconfdir=/PATH：配置文件安装位置
System types：支持交叉编译 - 软件特性和相关指定：
Optional Features: 可选特性
--disable-FEATURE
--enable-FEATURE[=ARG]
Optional Packages: 可选包
--with-PACKAGE[=ARG] 依赖包
--without-PACKAGE 禁用依赖关系
注意：通常被编译操作依赖的程序包，需要安装此程序包的“开发”组件，其包名一般类似于name-devel-VERSION
第二步：make
第三步：make install
安装后的配置
- 二进制程序目录导入至PATH环境变量中
编辑文件/etc/profile.d/NAME.sh
export PATH=/PATH/TO/BIN:$PATH
- 相关用户及文件
有些开源软件编译完成后，还需要创建相关的用户及文件 - 导入帮助手册
编辑/etc/man.config|man_db.conf文件,添加一个MANPATH
Ubuntu 软件管理
Debian软件包通常为预编译的二进制格式的扩展名“.deb”，类似rpm文件，因此安装快速，无需编译软件。包文件包括特定功能或软件所必需的文件、元数据和指令
- dpkg：package manager for Debian，类似于rpm， dpkg是基于Debian的系统的包管理器。可
以安装，删除和构建软件包，但无法自动下载和安装软件包或其依赖项 - apt：Advanced Packaging Tool，功能强大的软件管理工具，甚至可升级整个Ubuntu的系统，基
于客户/服务器架构，类似于yum
APT工作原理
在服务器上先复制所有DEB包，然后用APT的分析工具genbasedir根据每个DEB 包的包头Header）信息对所有的DEB包进行分析，并将该分析结果记录在文件夹base内的一个DEB 索引清单文件中，一旦APT 服务器内的DEB有所变动，要使用genbasedir产生新的DEB索引清单。客户端在进行安装或升级时先要查询DEB索引清单，从而获知所有具有依赖关系的软件包，并一同下载到客户端以便安装。当客户端需要安装、升级或删除某个软件包时，客户端计算机取得DEB索引清单压缩文件后，会将其解压置放于 /var/cache/apt/，而客户端使用apt-get install或apt-get upgrade命令的时候，就会将这个文件夹内的数据和客户端计算机内的DEB数据库比对，知道哪些DEB已安装、未安装或是可以升级的
dpkg 包管理器
帮助参看：man dpkg
dpkg 常见用法
#安装包
dpkg -i package.deb
#删除包，不建议，不自动卸载依赖于它的包
dpkg -r package
#删除包（包括配置文件）
dpkg -P package
#列出当前已安装的包，类似rpm -qa
dpkg -l
#显示该包的简要说明，类似rpm –qi
dpkg -l package
#列出该包的状态，包括详细信息，类似rpm –qi
dpkg -s package
#列出该包中所包含的文件，类似rpm –ql
dpkg -L package
#搜索包含pattern的包，类似rpm –qf
dpkg -S
#配置包，-a 使用，配置所有没有配置的软件包
dpkg --configure package
#列出 deb 包的内容，类似rpm –qpl
dpkg -c package.deb
#解开 deb 包的内容
dpkg --unpack package.deb
注意：一般建议不要使用dpkg卸载软件包。因为删除包时，其它依赖它的包不会卸载，并且可能无法再正常运行
apt
Debian 使用apt 工具集来管理包系统，apt-get 是其中一个常用的命令行工具，另外一款较为流行的命令行与 GUI 兼顾的工具是 aptitude ，之前最常用的 Linux 包管理命令都被分散在了 apt-get、apt-cache 和 apt-config 这三条命令中
在 2014 年apt 命令发布第一个稳定版，Ubuntu 16.04 引入新特性之一便是 apt 命令，apt 命令解决了命令过于分散的问题，它包括 apt-get 命令出现以来使用最广泛的功能选项，以及 apt-cache 和 apt-config 命令中很少用到的功能。在使用 apt 命令时，用户不必再由 apt-get 转到 apt-cache 或 apt-config，提供管理软件包所需的必要选项
apt 相当于 apt-get、apt-cache 和 apt-config 中最常用命令选项的集合
apt 具有更精减但足够的命令选项，而且参数选项的组织方式更为有效。此外，启用的几个特性也非常有帮助。例如：可以在使用 apt 命令安装或删除程序时看到进度条,apt 还会在更新存储库数据库时提示用户可升级的软件包个数
apt 与 apt-get 有一些类似的命令选项，但它并不能完全向下兼容 apt-get 命令,也即可用 apt 替换部分apt-get 系列命令，但不是全部
apt 命令用法
查看帮助：apt help
apt与apt-get命令对比
| apt 命令 | 被取代的命令 | 命令的功能 |
|---|---|---|
| apt install | apt-get install | 安装软件包 |
| apt remove | apt-get remove | 移除软件包 |
| apt purge | apt-get purge | 移除软件包及配置文件 |
| apt update | apt-get update | 刷新存储库索引 |
| apt upgrade | apt-get upgrade | 升级所有可升级的软件包 |
| apt autoremove | apt-get autoremove | 自动删除不需要的包 |
| apt full-upgrade | apt-get dist-upgrade | 在升级软件包时自动处理依赖关系 |
| apt search | apt-cache search | 搜索应用程序 |
| apt show | apt-cache show | 显示安装细节 |
apt 特有的命令
apt list 列出包含条件的包（已安装，可升级等）
apt edit-sources 编辑源列表
APT包索引配置文件
/etc/apt/sources.list
/etc/apt/sources.list.d
可以修改上面文件为国内的安装源，提高速度
参考链接：https://developer.aliyun.com/mirror/ubuntu?spm=a2c6h.13651102.0.0.53322f70fghx56
apt命令操作（如安装和删除软件包）日志文件
/var/log/dpkg.log
范例：
#安装包：
apt install tree zip
#安装图形桌面
apt install ubuntu-desktop
#删除包：
apt remove tree zip
#说明：apt remove中添加--purge选项会删除包配置文件，谨慎使用
#更新包索引，相当于yum clean all;yum makecache
apt update
#升级包：要升级系统，请首先更新软件包索引，再升级
apt upgrade
#apt列出仓库软件包，等于yum list
apt list
#搜索安装包
apt search nginx
#查看某个安装包的详细信息
apt show apache2
#在线安装软件包
apt install apache2
#卸载单个软件包但是保留配置⽂件
apt remove apache2
#删除安装包并解决依赖关系
apt autoremove apache2
#更新本地软件包列表索引，修改了apt仓库后必须执⾏
apt update
#卸载单个软件包删除配置⽂件
apt purge apache2
#升级所有已安装且可升级到新版本的软件包
apt upgrade
#升级整个系统，必要时可以移除旧软件包。
apt full-upgrade
#编辑source源⽂件
apt edit-sources
#查看仓库中软件包有哪些版本可以安装
apt-cache madison nginx
#安装软件包的时候指定安装具体的版本
apt install nginx=1.14.0-0ubuntu1.6
ubuntu建议安装的常用包
apt purge ufw lxd lxd-client lxcfs liblxc-common
apt install iproute2 ntpdate tcpdump telnet traceroute nfs-kernel-server nfs-common lrzsz tree openssl libssl-dev libpcre3 libpcre3-dev zlib1g-dev gcc openssh-server iotop unzip zip
文本处理三剑客之 sed
sed 工作原理
sed 即 Stream EDitor，和 vi 不同，sed是行编辑器
Sed是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到最后一行。每当处理一行时，把当前处理的行存储在临时缓冲区中，称为模式空间（Pattern Space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。一次处理一行的设计模式使得sed性能很高，sed在读取大文件时不会出现卡顿的现象。如果使用vi命令打开几十M上百M的文件，明显会出现有卡顿的现象，这是因为vi命令打开文件是一次性将文件加载到内存，然后再打开。Sed就避免了这种情况，一行一行的处理，打开速度非常快，执行速度也很快
参考网站：http://www.gnu.org/software/sed/manual/sed.html
sed 基本用法
格式：
sed [option]... 'script;script;...' inputfile...
常用选项：
-n 不输出模式空间内容到屏幕，即不自动打印
-e 多点编辑
-f /PATH/SCRIPT_FILE 从指定文件中读取编辑脚本
-r, -E 使用扩展正则表达式
-i.bak 备份文件并原处编辑
script格式：
'地址命令'
地址格式：
1. 不给地址：对全文进行处理
2. 单地址：
#：指定的行，$：最后一行
/pattern/：被此处模式所能够匹配到的每一行
3. 地址范围：
#,# #从#行到第#行，3，6 从第3行到第6行
#,+# #从#行到+#行，3,+4 表示从3行到第7行
/pat1/,/pat2/
#,/pat/
4. 步进：~
1~2 奇数行
2~2 偶数行
命令：
p 打印当前模式空间内容，追加到默认输出之后
Ip 忽略大小写输出
d 删除模式空间匹配的行，并立即启用下一轮循环
a [\\]text 在指定行后面追加文本，支持使用\n实现多行追加
i [\\]text 在行前面插入文本
c [\\]text 替换行为单行或多行文本
w /path/file 保存模式匹配的行至指定文件
r /path/file 读取指定文件的文本至模式空间中匹配到的行后
= 为模式空间中的行打印行号
! 模式空间中匹配行取反处理
s/pattern/string/修饰符 查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###
替换修饰符：
g 行内全局替换
p 显示替换成功的行
w /PATH/FILE 将替换成功的行保存至文件中
I,i 忽略大小写
sed 高级用法
sed 中除了模式空间，还另外还支持保持空间（Hold Space）,利用此空间，可以将模式空间中的数据，临时保存至保持空间，从而后续接着处理，实现更为强大的功能。
常见的高级命令
- P 打印模式空间开端至\n内容，并追加到默认输出之前
- h 把模式空间中的内容覆盖至保持空间中
- H 把模式空间中的内容追加至保持空间中
- g 从保持空间取出数据覆盖至模式空间
- G 从保持空间取出内容追加至模式空间
- x 把模式空间中的内容与保持空间中的内容进行互换
- n 读取匹配到的行的下一行覆盖至模式空间
- N 读取匹配到的行的下一行追加至模式空间
- d 删除模式空间中的行
- D 如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，并不会读取新的输入行，而使用合成的模式空间重新启动循环。如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环