理论题·深入理解Linux文件系统与日志分析
深入理解Linux文件系统与日志分析
文章目录
- 深入理解Linux文件系统与日志分析
- inode和block概述
- 文件数据包括元信息与实际数据
- 文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
- block（块）
- inode（索引节点）
- inode的内容
- inode包含文件的元信息---不包含文件名
- 用stat命令可以查看某个文件inode信息
- 每个inode都有一个号码，操作系统用inode号码来识别不同的文件
- Linux系统内部不使用文件名，而使用inode号码来识别文件
- 对于用户，文件名只是inode号码便于识别的别称
- inode的号码
- 用户通过文件名打开文件时，系统内部的过程
- 查看inode号码的方法
- 文件存储小结
- 硬盘分区后的结构
- 访问文件的简单流程
- inode的大小
- inode也会消耗硬盘空间
- 格式化文件系统时确定inode的总数
- 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量
- inode的特殊作用
- 由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象
- 链接文件
- 为文件或目录建立链接文件
- 链接文件分类
- 链接文件分类
- 日志文件
- 日志的功能
- 日志文件的分类
- 日志保存位置
- 主要日志文件介绍
- 内核及系统日志
- 由系统服务rsyslog统一管理
- 内核及大多数系统消息被记录到公共日志文件/var/log/message中，而其他一些程序消息被记录到各自独立的日志文件中，此外日志消息还能够记录到特定的存储设备中，或者直接发送到指定用户。
- 日志消息的级别
- 用户日志分析
- 保存了用户登录、退出系统等相关信息
- 分析工具
- 程序日志分析
- 由相应的应用程序独立进行管理
- 分析工具
- 日志管理策略
- 及时作好备份和归档
- 延长日志保存期限
- 控制日志访问权限
- 集中管理日志
inode和block概述
文件数据包括元信息与实际数据
文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
block（块）
连续的八个扇区组成一个block
是文件存储的最小单位
inode（索引节点）
中文译名为“索引节点”，也叫i节点
用于存储文件元信息
######一个文件必须占用一个inode，但至少占用一个block######
inode的内容
inode包含文件的元信息—不包含文件名
文件的字节数
文件拥有者的User ID
文件的Group ID
文件的读、写、执行权限
文件的时间戳
…
用stat命令可以查看某个文件inode信息
示例：stat abc.txt
Linux****系统文件三个主要的时间属性
ctime（change time）
最后一次改变文件或目录（属性）的时间
atime（access time）
最后依次访问文件或目录的时间
mtime（modify time）
最后一次修改文件或目录（内容）的时间
目录文件的结构
目录也是一种文件
目录文件的结构
每个inode都有一个号码，操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名，而使用inode号码来识别文件
对于用户，文件名只是inode号码便于识别的别称
inode的号码
用户通过文件名打开文件时，系统内部的过程
1、系统找到这个文件名对应的inode号码
2、通过inode号码，获取inode信息
3、根据inode信息，找到文件数量所在的block，读出数据
查看inode号码的方法
ls -i命令：查看文件名对应的inode号码
[root@localhost ~]# ls -i aa.txt
stat命令：查看文件inode信息中的inode号码
[root@localhost ~]# stat aa.txt
文件存储小结
硬盘分区后的结构
访问文件的简单流程
inode的大小
inode也会消耗硬盘空间
每个inode的大小
一般是128字节或256字节
格式化文件系统时确定inode的总数
使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量
inode的特殊作用
由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象
当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
移动或重命名文件时，只改变文件名，不影响inode号码
打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名
链接文件
为文件或目录建立链接文件
链接文件分类
| 软链接（又称符号链接） | 硬链接 | |
|---|---|---|
| 删除原始文件后 | 失效 | 仍旧可用 |
| 使用范围 | 适用于文件或目录 | 只可用于文件 |
| 保存位置 | 与原始文件可以位于不同的文件系统中 | 必须与源文件在同一个文件系统（如一个Linux分区）内 |
为文件或目录建立链接文件
链接文件分类
硬链接
ln 源文件 目标位置
软链接
ln [-s] 源文件或目录… 链接文件或目录位置
日志文件
日志的功能
用于记录系统、程序运行中发生的各种时间
通过阅读日志，有助于诊断和解决系统故障
日志文件的分类
内核及系统日志
由系统服务rsyslog统一进行管理，日志格式基本相似
用户日志
记录系统用户登录及退出系统的相关信息
程序日志
由各种应用程序独立管理的日志文件，记录格式不统一
日志保存位置
默认位于：/var/log目录下
主要日志文件介绍
| 内核及公共消息日志 | /var/log/messages |
|---|---|
| 计划任务日志 | /var/log/cron |
| 系统引导日志 | /var/log/dmesg |
| 邮件系统日志 | /var/log/maillog |
| 用户登录日志 | /var/log/lastlog /var/log/secure /var/log/wtmp /var/log/btmp |
/var/log/cron------记录crond计划任务产生的事件信息
/var/log/dmesg------记录Linux操作系统在引导过程中的各种事件信息
/var/log/maillog------记录进入或发出系统的电子邮件活动
/var/log/lastlog------记录每个用户最近的登录事件
/var/log/secure------记录用户认证相关的安全事件信息
/var/log/wtmp------记录每个用户登录、注销及系统启动和停机事件
/var/log/btmp------记录失败的、错误的登录尝试及验证事件
内核及系统日志
由系统服务rsyslog统一管理
软件包：rsyslog-7.4.7-16.el7.x86_64
主要程序：/sbin/rsyslogd
配置文件：/etc/rsyslog.conf
内核及大多数系统消息被记录到公共日志文件/var/log/message中，而其他一些程序消息被记录到各自独立的日志文件中，此外日志消息还能够记录到特定的存储设备中，或者直接发送到指定用户。
日志消息的级别
| 级号 | 消息 | 级别 | 说明 |
|---|---|---|---|
| 0 | EMERG | 紧急 | 会导致主机系统不可用的情况 |
| 1 | ALERT | 警告 | 必须马上采取措施解决的问题 |
| 2 | CRIT | 严重 | 比较严重的情况 |
| 3 | ERR | 错误 | 运行出现错误 |
| 4 | WARNING | 提醒 | 可能会影响系统功能的事件 |
| 5 | NOTICE | 注意 | 不会影响系统但值得注意 |
| 6 | INFO | 信息 | 一般信息 |
| 7 | DEBUG | 调试 | 程序或系统调试信息等 |
日志记录的一般格式
[root@localhost ~]# more /var/log/messages
用户日志分析
保存了用户登录、退出系统等相关信息
/var/log/lastlog：最近的用户登录事件
/var/log/wtmp：用户登录、注销及系统开、关机事件
/var/run/utmp：当前登录的每个用户的详细信息
/var/log/secure：与用户验证相关的安全性事件
分析工具
users、who、w、last、lastb
程序日志分析
由相应的应用程序独立进行管理
Web服务：/var/log/heepd/
access_log\error_log
代理服务：/var/log/squid/
access.log、cache.log
FTP服务：/var/log/xferlog
分析工具
文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具
日志管理策略
及时作好备份和归档
延长日志保存期限
控制日志访问权限
日志中可能会包含各类敏感信息，如账户、口令等
集中管理日志
将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除