Linux文件系统与日志分析

引言

在Linux系统中，文件系统的运行block和inode息息相关，当Linux系统出现的各种故障时，故障的症状是最易发现的，而导致这一故障的原因才是最终排除故障的关键，熟悉日志文件，才能进一步的了解一般故障的分析与解决办法，及时解决各种系统问题。

一、inode和block

1、inode和block概述

• 文件数据包括元信息与实际数据
• 文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
  • block（块）
    • 连续的8个扇区组成一个block
    • 是文件存取的最小单位
    • block一个块最小4k
• inode（索引节点）
  - 中文译名为“索引节点”，也叫i节点
  - 用于存储文件元信息
  

2、inode的内容

2.1 inode包含文件的元信息（文件属性）

• 文件的字节数
• 文件拥有者的User ID
• 文件的Group ID
• 文件的读、写、执行权限;
• 文件的时间戳

一个文件会占用一个Inode（不包含文件名）至少一个block块

inode节点：（文件属性：文件大小、权限、时间戳）

block块：数据文件即编写文件内容大小

文件数据存在于块中

文件元信息存在于inode

2.2 用stat命令查看某个文件的inode信息

stat lc.txt    df -i      ls -i
 
查看文件inode值

2.3 Linux系统文件三个主要的时间属性

atime(access time )               最后一次访问文件或目录的时间   
mtime(modify time)                最后一次修改文件或目录(内容)的时间
ctime(change time)                最后一次改变文件或目录(属性)的时间   

2.4 目录文件的结构

• 目录文件的结构

  • 目录也是一种文件
  • 目录文件的结构

• 每个inode都有一个号码，操作系统用inode号码来识别不同的文件

• Linux系统内部不使用文件名，而使用inode号码来识别文件

• 对于用户，文件名只是inode号码便于识别的别称

举例：
cp或mv文件，看inode值是否改变



vim编辑时，相当于一个新文件覆盖老文件，所以inode节点号改变
进入vim之后不管有没有编辑信息，只要wq保存退出了，inode值就会改变

3、inode的号码

用户通过文件名打开文件时，系统内部的过程

1. 系统找到这个文件名对应的inode号码
2. 通过inode号码，获取inode信息
3. 根据inode信息，找到文件数据所在的block，读出数据

查看inode号码的方法

• ls -i命令：查看文件名对应的inode号码

ls -i lc.txt

• stat命令：查看文件inode信息中的inode号码

stat lc.txt

4、硬盘分区后的结构

5、访问文件的简单流程

用户访问文件时，系统找到这个文件名对应的inode号码，判断用户是否有权限，若有权限则通过inode值， 获取inode信息，根据inode信息，找到文件数据所在的block,读出数据；若没有权限则会给出拒绝访问回馈。

6、inode的大小

• inode也会消耗硬盘空间
  • 每个inode的大小
  • 一般是128字节或256字节
• 格式化文件系统时确定inode的总数
• 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

解析：

1. inode也会消耗硬盘空间，所以硬盘格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据;另一个是inode区(inode table)，存放inode所包含的信息。
2. 每个inode节点的大小，一般是128字节或236字节。inode节点的总数，在格式化时就给定，一般是每1KB或每2KB就设置一个inode假定在一块1GB的硬盘中，每个inode节点的大小为128字节，每1KB就设置一个inode，那么inode table的大小就会达到128MB，占整块硬盘的12.8%。
3. 查看每个硬盘分区的inode总数和已经使用的数量，可以使用df命令。

 df -i
 df -iTh

4. 查看每个inode节点的大小，可以用如下命令:

sudo dumpe2fs-h /dev/hda I grep"Inode size"

5. 由于每个文件都必须有一个inode，因此有可能发生inode已经用光，但是硬盘还未存满的情况。这时，就无法在硬盘上创建新文件

6.1 实验：模拟inode节点耗尽故障处理

1、创建一个20G的新硬盘，设置分区，分出一个30M的分区

2、格式化并挂载，查看inode节点使用情况

3、模拟节点耗尽情况，查看到有15357个节点可用，因此直接创建20000个
plan1：用for循环语句添加20000个text

plan2：用touch命令添加

4、此时可用inode节点为0，设备上没有空间，无法再添加文件

5、删除之后，inode节点恢复

7、inode的特殊作用

由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象

• 当文件名包含特殊字符，可能无法正常删除文件，直接删除inode,也可以删除文件
• 移动或重命名文件时，只改变文件名，不影响inode号码
• 打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名
• 文件数据被修改保存后，会生成一个新的inode号码

找到并删除inode
find ./ -inum 52305140 -exec rm -i {} \;
 
find ./ -inum 50464299 -delete

只能用find来删，直接rm无法删除

二、链接文件

为文件或目录建立链接文件
链接文件分类

• 硬链接
  ln 源文件 目标位置
• 软链接
  ln -s 源文件或目录 链接文件或目标位置

三、恢复误删除的文件ext

1、编译安装extundelete软件包

• 安装依赖包
• e2fsprogs-libs-1.41.12-18.el6.x86_64rpm
• e2fsprogs-devel-1.41.12-18.el6.x86_64rpm
• 配置、编译及安装
• extundelete-0.2.4.tar.bz2

2、EXT类型文件恢复操作步骤

extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4文件系统。(ext4只能在centos6版本恢复)#使用fdisk创建分区/dev/sdcl格式化ext3文件系统

使用fdisk创建分区/dev/sdb1，格式化并挂载

fdisk /dev/sdb
partprobe /dev/sdb  #不重启识别新分区
mkfs.ext3/dev/sdb1 
mkdir /test
mount /dev/sdb1 /test 
df-hT

安装依赖包

yum -y install e2fsprogs-devel e2fsprogs-libs

编译安装extundelete

把extundelete文件拖进test里
cd /test
wget http://nchc.dl.sourceforge.net/proiect/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2 
tar jxvf extundelete-0.2.4.tar.bz2 
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install 
In-s /usr/local/extundelete/bin/*  /usr/bin/

模拟删除并执行恢复操作

cd/test 
echo a>a 
echo a>b 
echo a>c
echo a>d
ls
extundelete /dev/sdb1 --inode 2
#查看文件系统/dev/sdb1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录

rm -rf a b
extundelete /dev/sdb1 --inode 2
cd ~
umount /test
extundelete /dev/sdb1 --restore-all  #恢复/dev/sdb1文件系统下的所有内容

#在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件
ls RECOVERED_FILES/

3、实验

1、创建一个新硬盘，设置分区，把分区格式化

2、挂载并查看

3、安装依赖包（yum -y install e2fsprogs-devel e2fsprogs-libs）

4、把extundelete文件拖进root里


5、把extundelete文件移动到test，然后解压

6、配置安装路径，编译安装extundelete命令

7、建立extundelete软连接

8、查看文件系统/dev/sdb2下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录。

9、删除a和b，然后再查看一下


10、卸载test，恢复/dev/sdb2 文件系统下的所有内容

11、在当前目录下会出现一个RECOVERED_FILES/目录， 里面保存了已经恢复的文件（之前删除的a和b恢复了）。

四、恢复XFS类型的文件

1、xfsdump

xfsdump命令格式

xfsdump -f 备份存放位置，要备份路径或设备文件

xfsdump备份级别（默认为0）

0：完全备份
1-9：增量备份

xfsdump常用选项

-f：指定备份的文件夹
-L：指定标签session label
-M:指定设备标签media label
-s：备份单个文件，-s后面不能直接跟路径

xfsdump使用限制

1.只能备份已挂载的文件系统

2.必须使用root的权限才能操作

3.只能备份XFS文件系统

4.备份后的数据只能让xfsrestore解析

5.不能备份两个具有相同UUID的文件系统(可用blkid命令查看)

2、xfsrestore

xfsrestore命令格式

xfsrestore    -f    恢复文件的位置     存放恢复后文件的路径

3、xfs类型文件备份和恢复操作步骤

使用fdisk创建分区/dev/sdb1，格式化xfs文件系统

fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs /dev/ sdbl              #  mkfs.xfs [-f] /dev/sdbl
mkdir /data
mount /dev/sdb1 /data/
cd /data
cp /etc/passwd ./
mkdir test
touch test/a    创建文件夹

使用xfsdump命令备份整个分区

rpm -qa | grep xfsdump
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1]
xfsdump -f /opt/dump_sdb /dev/sdb1 -L dump_sdb -M sdb1

模拟数据丢失并使用xfsrestore 命令恢复文件

cd /data/
rm -rf ./*
ls
xfsrestore -f /opt/dump_sdb1 /data/

4、实验

1、使用新硬盘，创建分区/dev/sdb3

2、格式化并挂载

3、创建测试使用的文件、目录，并在文件中写入数据

4、安装xfsdump（yum install -y xfsdump）

4.1 交互式

经过上述1-4操作步骤后
使用xfsdump命令备份整个分区


模拟数据丢失并使用xfsrestore 命令恢复文件

4.2 无交互式

经过上述1-4操作步骤后
使用xfsdump命令备份整个分区，指定备份文件的位置，指定备份设备

模拟数据丢失并使用xfsrestore 命令恢复文件

4.3 增量备份

增量备份还原

五、日志文件

1、日志的功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

2、日志文件的分类

内核及系统日志

• 由系统服务rsyslog统一进行管理，日志格式基本相似

用户日志

• 记录系统用户登录及退出系统的相关信息

程序日志.

• 由各种应用程序独立管理的日志文件，记录格式不统一

3、日志保存位置

默认位于: /var/log目录下

主要日志文件介绍

常见的一些日志文件:

#内核及公共消息日志:
/var/1og/messages:记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。


#计划任务日志:
/var/1og/cron:记录crond计划任务产生的事件信息。


#系统引导日志:
/var/1og/dmesg:记录Linux系统在引导过程中的各种事件信息。


#邮件系统日志:
/var/1og/maillog:记录进入或发出系统的电子邮件活动。


#用户登录日志:
/var/log/secure:记录用户认证相关的安全事件信息。

/var/1og/lastlog:记录每个用户最近的登录事件。二进制格式

/var/1og/wtmp: 记录每个用户登录、注销及系统启动和停机事件。二进制格式

/var/run/btmp: 记录失败的、错误的登录尝试及验证事件。二进制格式

举例：
通过192.168.109.12远程登录192.168.109.11，多次输入密码错误

在192.168.109.11里追踪用户认证相关的安全事件信息（tail -f /var/log/secure），能看到频繁登录的信息

4、内核及系统日志

4.1 由系统服务rsyslog统一管理

软件包：rsyslog-7.4.7-16.el7.x86_64
主要程序：/sbin/rsyslogd
配置文件：/etc/rsyslog.conf

*表示任意字符，第一句话意思是任意信息都做一个日志显示，除了mail、authpriv和cron
认证的日志写在secure，以mail开头的都写进maillog，以cron（周期性计划任务）开头的都写进cron

4.2 日志消息的级别

Linux系统内核日志消息的优先级别(数字等级越小，优先级越高，消息越重要)

日志记录的一般格式

4.3 实验：日志采集

首先，启用两台虚拟机，其中一台作为日志文件的收集站，例如11和12两台虚拟机，11为服务端，12为客户端

服务端配置
1、查看服务是否开启

2、配置rsyslog服务文件，开启19、20行。


3、编辑好之后，重启一下服务，查看是否有514端口

客户端配置

4、开启第90行

*.*代表里面的所有配置都进行能访问
@@代表TCP协议
@代表UDP
514接受日志的端口信息


5、重启服务

进行日志采集
6、在客户端进行操作时，服务端会实时采集客户端的日志信息

小结：
服务端—》配置文件—》1、接收哪种协议（TCP）；2、接收哪些日志类型
客户端：监听自己的rsyslog服务，一旦配置完成重启服务后，就会运行配置文件中的协议类型（tcp或udp）并且发送给服务端

5、用户日志分析

保存了用户登录、退出系统等相关信息

/var/log/lastlog:最近的用户登录事件
/var/log/wtmp:用户登录、注销及系统开、关机事件
/var/run/utmp:当前登录的每个用户的详细信息
/var/log/secure:与用户验证相关的安全性事件

举例：
1、/var/log/lastlog:最近的用户登录事件

2、/var/log/wtmp:用户登录、注销及系统开、关机事件

3、/var/run/utmp:当前登录的每个用户的详细信息

4、/var/log/secure:与用户验证相关的安全性事件

分析工具

users、who、w、last、lastb

last存放用户登录的信息

6、程序日志分析

由相应的应用程序独立进行管理

Web服务：/var/log/httpd/
        access_log、error_log

代理服务：/var/log/squid/
        access.log、cache.log

FTP服务：/var/log/xferlog

举例：

网页上登录192.168.109.11时，这边会实时显示日志信息

分析工具

• 文本查看、grep过滤检索、Webmin管理套件中查看
• awk、sed等文本过滤、格式化编辑工具
• Webalizer、Awstats等专用日志分析工具

7、日志管理策略

及时作好备份和归档
延长日志保存期限
控制日志访问权限

• 日志中可能会包含各类敏感信息，如账户、口令等
  集中管理日志
• 将服务器的日志文件发到统一的日志文件服务器
• 便于日志信息的统一收集、整理和分析
• 杜绝日志信息的意外丢失、恶意篡改或删除

8、journalctl工具

• journalctl工具是CentOS-7才有的工具
• Systemd统一管理所有Unit的启动日志。带来的好处就是，可以只用journalct1一个命令，查看所有日志(内核日志和应用日志)。

日志的配置文件/etc/systemd/journald.conf ps efl grep journald

journalctl        //查看所有日志(默认显示本次启动的所有日志)
journalctl-b     //查看本次启动的日志 
journalctl -k    //查看内核日志 

查看指定时间的日志
[root@localhost ~]# journalctl --since="2019-11-27 14:21:00"
[root@localhost ~]# journalctl --since="2019-11-27 14:21:00" --until="2019-11-27 14:30:00"
通过--since和--until选项，可以过滤任意时间限制，显示指定条件之前、之后或之间的日志


[root@localhost log]# journalctl | wc-1 //查看系统总共的日志 
2787

journalctl-xe经常用来查看最近报错的日志
 -e:从结尾开始看
-x;提供问题相关的网址

六、总结

本文主要讲了以下几个知识点：
1、block和inode
2、硬链接与软链接
3、恢复误删除的文件（ext，xfs）
4、Linux主要包含的日志文件以及其功能