Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)

文章目录

  • 一、深入理解Linux文件系统
    • 1.1 inode与block
    • 1.2 inode的内容
      • 为什么inode不包括文件名?
    • 1.3 inode号码
    • 1.4 inode的大小
    • 1.5 i节点号耗尽
  • 二、 详细解释硬链接与软连接
    • 2.1 硬链接
    • 2.2 软链接
  • 三、 恢复误删文件
    • 3.1 extundelete软件恢复误删数据
    • 3.2 xfs 类型文件备份和恢复
  • 四、 分析日志文件
    • 4.1 日志文件的分类
    • 4.2 日志文件分析
      • 1.内核及系统日志
      • 2、用户日志
      • 3.程序日志

一、深入理解Linux文件系统

一个新的操作系统的文件数据除了内容外,往往还有着非常多的属性,文件系统通常会将这两部分分开存放,分别存放在inode和block中。
那么什么是inode?什么是block呢?

1.1 inode与block

要理解inode与block,我们首先得从文件的存储讲起。

  • 文件是存储在硬盘上的,硬盘的最小存储单位是扇区(sector),每一个扇区存储512个字节。
  • 操作系统读取硬盘信息,不会一个一个扇区读取,是一次性连续读取多个扇区,也就是一次性读取一个块(block)
  • “块”是文件存取的最小单位,最常见的4K,连续的8个扇区组成一个Block块,512字节*8=4096字节,我们固态硬盘分区时要求的4k对齐也就是这个。
  • 文件存储在块中,文件的创建者、创建日期、文件大小等属性我们称之为元信息,也需要找一个地方存储,存储元信息的区域就是inode,我们称之为“索引节点”,也就是i节点
  • 一个文件必须占用一个inode,至少占用一个block。
    文件的数据包括二部分:1、元信息(inode) 2、实际数据(block)

1.2 inode的内容

我们可以使用stat命令查看某个文件的inode信息。
Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第1张图片
从上可以看出,inode包括很多的文件元信息,比如文件的字节数、i节点号、文件拥有者的userid、文件的groupid,文件的权限、时间戳等等,但是不包含文件的文件名。
Linux系统文件有三个主要的时间属性,分别是ctime(change time),atime(access time), mtime(modify time)

  • ctime(change time) 是最后一次改变文件或目录(属性)的时间,例如执行 chmod, chown 等命令;
  • atime(access time)是最后一次访问文件或目录的时间;
  • mtime(modify time)是最后一次修改文件或目录(内容)的时间

为什么inode不包括文件名?

因为文件名是存放在目录当中的,在Linux系统中一切皆文件,所以目录也是一种文件,下面的表格就是目录文件的结构,每一列就是一个目录项。

文件名1 文件名2
inode号码1 inode号码2

1.3 inode号码

操作系统用inode号码来识别不同的文件,每个文件都有一个inode号码,Linux系统内部不使用文件名来识别文件,用的就是inode号码来识别文件,对于操作系统来说,文件名就是inode号码。
一个文件被打开,在系统内部的过程大致分以下三步:

  1. 系统找到文件名对应的inode号码
  2. 通过inode号码获取inode信息
  3. 根据inode信息,找到文件数据所在的block,读出数据

除了stat命令查看inode号码,还可以通过ls -i命令查看文件的inode号码
在这里插入图片描述
当用户在linux系统中视图访问一个文件时候,系统会根据文件名去查找对应的inode,看该用户是否具有访问这个文件的权限,如果有,就指向对应的数据block,如果没有,就返回 permission deied ,而一块硬盘分区后的结构则如下:

文件-------目录项--------目录
元信息-----inode-------inode表区块
数据------block-------block数据块

1.4 inode的大小

inode也会消耗硬盘空间,每个inode的大小一般是128字节或者256字节。inode的总数在格式化的时候就会给定。执行命令“df -i”就可以查看每个硬盘分区的inode总数和已经使用的数量。
Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第2张图片
因为文件名与inode是分离的,所以可能会出现以下现象:

  • 文件名包含特殊字符,可能无法正常删除。这时直接删除 inode,能够起到删除文件的作用;
  • 移动文件或重命名文件,只是改变文件名,不影响 inode 号码;
  • 打开一个文件以后,系统就以 inode 号码来识别这个文件,不再考虑文件名。

1.5 i节点号耗尽

因为每一个文件都必须占用一个inode号码,且inode号码是有限的,就可能会出现一种状况,就是我们磁盘空间仍然存在,但是我们无法在硬盘上创建新文件。这种情况的发生就是由于我们的inode号码用光导致的。往往是因为我们文件中产生了很多字节小,数量多的缓存文件,一些人也会利用这个进行攻击。
解决方法就是我们找到这些文件的存储位置,对这些小文件进行转移或删除。如果是很多用户公用的文件系统,我们可以用磁盘配额来解决这个问题。

二、 详细解释硬链接与软连接

一般我们所说的软链接类似于微软的快捷方式,硬链接相当于对原文件进行了复制,这种说法在我们刚刚了解了inode与block以后,我们会发现这样的说法不正确。

2.1 硬链接

通过文件系统的inode链接来产生新的文件名,而不是产生新文件,这就是硬链接。inode信息中的链接数会加1。
下图简单的说明了硬链接的特点

  • 硬链接产生了新的文件名,新的文件名的inode号码没变,还是指向原来的block
  • 我们单独删除硬链接中的任何文件名都不会影响到我们读取原文件
  • 当一个文件拥有多个硬连接时,对文件内容修改,会影响所有文件名,但是删除一个文件名,不会影响另外一个文件名称访问,删除一个文件名,只会inode中的连接数减1
  • 不能对目录做硬连接
    文件名1--------node节点(abc)--------数据 
                                         |
    文件名2--------node节点(abc)---------

Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第3张图片

2.2 软链接

软连接就是再创建一个独立的文件,而这个文件会让数据的读取指向它连接的那个文件名称。例如,文件A和B的inode号码虽然不一样,但是文件A的内容是文件B的路径,读取文件A时系统会自动访问者导向文件B,这时,文件A就称为文件B的‘软链接’或者符号连接。这里的链接数不会发生变化。

文件名1--------node节点(abc)--------数据
      |			
文件名2--------node节点(cde)

软链接特点

  • 产生一个新的inode号码,新inode号码指向原来的inode号码
  • 删除原来的inode会导致新的inode也无法打开文件

Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第4张图片

三、 恢复误删文件

我们删除一个文件,只是在这个文件的父目录里面的block中删除了这个文件的额名字,并不会清除inode节点和block数据。Linux是通过link的数量来控制文件删除的,只有当一个文件不存在link时,这个文件才会被删除。
在 Linux 系统运维工作中,经常会遇到因操作不慎、操作错误等导致文件数据丢失的情况,尤其对于客户企业中一些新手。当然,这里所指的是彻底删除,即已经不能通过“回收站”找回的情况,比如使用“rm -rf”来删除数据。
接下来我们以extundelete软件恢复误删数据来演示。

3.1 extundelete软件恢复误删数据

extundelete 是一个开源的 Linux 数据恢复工具,支持 ext3、ext4 文件系统
在数据被误删除后,第一时间要做的就是卸载被删除数据所在的分区,如果是根分区的数据遭到误删,就需要将系统进入单用户模式,并且将根分区以只读模式挂载。这样做的原因很简单,因为将文件删除后,仅仅是将文件的 inode节点中的扇区指针清零,实际文件还存储在磁盘上,如果磁盘继续以读写模式挂载,这些已删除的文件的数据块就可能被操作系统重新分配出去,在这些数据库被新的数据覆盖后,这些数据就真的丢失了,恢复工具也无力回天。所以以只读模式挂载磁盘可以尽量降低数据库中数据被覆盖的风险,以提高恢复数据成功的比例。
使用extundelete软件恢复误删文件步骤:
1.编译安装 extundelete

[root@localhost opt]# yum -y install e2fsprogs-devel e2fsprogs-libs   //安装 extundelete软件的两个依赖包
[root@localhost ~]# yum -y install wget   //安装wget
[root@localhost opt]# wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2   //用wget下载extundelete软件
[root@localhost opt]# yum -y install bzip2   //下载解压bzip2
[root@localhost opt]# tar xvf extundelete-0.2.4.tar.bz2    //解压
[root@localhost opt]#  cd extundelete-0.2.4/   //到这个目录下
[root@localhost extundelete-0.2.4]# ./configure --prefix=/usr/local/extundelete && make && make install   //指定安装目录
cd /usr/local/extundelete/bin   //到这个目录下
ln -s /usr/local/extundelete/bin/* /usr/sbin/    //创建软链接,方便管理
yum -y install gcc automake autoconf libtool make   //安装编译器
yum install gcc gcc-c++    //安装c++

2、模拟删除并执行恢复操作
虚拟机添加新硬盘,使用 fdisk 命令创建新分区,将其挂载到/data目录下,往该目录下新建一些文件或目录
Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第5张图片Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第6张图片
Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第7张图片
Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第8张图片
我们去/root/RECOVERED_FILES/目录下就可以查看恢复文件。

Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第9张图片

3.2 xfs 类型文件备份和恢复

extundelete 工具仅可以恢复 EXT 类型的文件,无法恢复 CentOS 7 系统默认采用 xfs 类型的文件。
针对 xfs 文件系统目前也没有比较成熟的文件恢复工具,所以建议提前做好数 据备份,以避免数据丢失。
xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。若系统中未安装 xfsdump与xfsrestore工具,
可以通过yum install -y xfsdump命令安装。xfsdump 按照inode 顺序备份一个 xfs 文件系统。xfsdump 的备份级别
有两种:0 表示完全备份;1-9 表示增量 备份。
xfsdump 的备份级别默认为 0。

xfsdump 命令
格式xfsdump -f 备份存放位置 要备份路径或设备文件。
常用的备份参数包括以下几种:
-f:指定备份文件目录;
-L:指定标签 session label;
-M:指定设备标签 media label;
-s:备份单个文件,-s 后面不能直接跟路径。

演示xfs文件被误删恢复
Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第10张图片
Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第11张图片Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第12张图片Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第13张图片
Linux文件系统与日志分析(i节点号与block、如何恢复误删文件、从底层理解硬链接与软链接区别、分析日志文件)_第14张图片

四、 分析日志文件

日志文件是用于记录 Linux 操作系统中各种运行消息的文件,相当于 Linux 主机的“日记”。不同的日志文件记载了不同类型的信息,如 Linux 内核消息、用户登录事件、程序错误等。

4.1 日志文件的分类

在 Linux 操作系统中,日志数据主要包括以下三种类型

  • 内核及系统日志:这种日志数据由系统服务 rsyslog 统一管理,根据其主配置文件 /etc/rsyslog.conf中的设置决定将内核消息及各种系统程序消息记录到什么位置。 系统中有相当一部分程序会把自己的日志文件交由 rsyslog管理,因而这些程序使 用的日志记录也具有相似的格式
  • 用户日志:这种日志数据用于记录 Linux 操作系统用户登录及退出系统的相关信息,包括用户名、登录的终端、登录时间、来源主机、正在使用的进程操作等。
  • 程序日志:有些应用程序会选择由自己独立管理一份日志文件(而不是交给 rsyslog服务管理),用于记录本程序运行过程中的各种事件信息。由于这些程序只负责管理自己的日志文件,因此不同程序所使用的日志记录格式可能会存在较大的差异。

常见的一些日志文件如下:
/var/log/messages:记录 Linux 内核消息及各种应用程序的公共日志信息,包括启动、I/0 错误、网络错误、程序故障等。
对于未使用独立日志文件的应用程序或服 务,一般都可以从该日志文件中获得相关的事件记录信息

  • /var/log/cron:记录 crond 计划任务产生的事件信息
  • /var/log/dmesg:记录 Linux 操作系统在引导过程中的各种事件信息
  • /var/log/maillog:记录进入或发出系统的电子邮件活动。
  • /var/log/lastlog:记录每个用户最近的登录事件。
  • /var/log/secure:记录用户认证相关的安全事件信息
  • /var/log/wtmp:记录每个用户登录、注销及系统启动和停机事件
  • /var/log/btmp:记录失败的、错误的登录尝试及验证事件

4.2 日志文件分析

1.内核及系统日志

内核及系统日志功能主要由默认安装的 rsyslog-7.4.7-16.el7.x86_64.rpm 软件包提供。
从配置文件/etc/rsyslog.conf 中可以看到,受 rsyslogd 服务管理的日志文件都是 Linux 操作系统中主要的日志文件,它们记录了 Linux 操作系统中内核、用户认证、电子邮件、计 划任务等基本的系统消息。在 Linux 内核中,根据日志消息的重要程度不同,将其分为不同 的优先级别(数字等级越小,优先级越高,消息越重要)

  • 0 EMERG(紧急):会导致主机系统不可用的情况。
  • 1 ALERT(警告):必须马上采取措施解决的问题。
  • 2 CRIT(严重):比较严重的情况。
  • 3 ERR(错误):运行出现错误
  • 4 WARNING(提醒):可能影响系统功能,需要提醒用户的重要事件
  • 5 NOTICE(注意):不会影响正常功能,但是需要注意的事件。
  • 6 INFO(信息):一般信息。
  • 7 DEBUG(调试):程序或系统调试信息等。

内核及大多数系统消息被记录到公共日志文件/var/log/messages 中,而其他一些程序 消息被记录到各自独立的日志文件中,此外日志消息还能够记录到特定的存储设备中,或者直接发送给指定用户。
对于 rsyslog 服务统一管理的大部分日志文件,使用的日志记录格式基本上是相同的。 以公共日志/var/log/messages 文件的记录格式为例,其中每一行表示一条日志消息,每 一条消息均包括以下四个字段。

  • 时间标签:消息发出的日期和时间。
  • 主机名:生成消息的计算机的名称。
  • 子系统名称:发出消息的应用程序的名称。
  • 消息:消息的具体内容。
    无论网络入侵者怎样修改日志都不能清除入侵的痕迹。rsyslog 日志服务是一个常会被攻击的显著目标,破坏了它将使管理员难以发现入侵及入侵的痕迹, 因此要特别注意监控其守护进程及配置文件

2、用户日志

在 wtmp、btmp、lastlog 等日志文件中,保存了系统用户登录、退出等相关的事件消息。
但是这些文件都是二进制的数据文件,不能直接使用 tail、less 等文本查看工具进行浏览,需要使用 who、w、users、last 和 lastb 等用户查询命令来获取日志信息
(1)查询当前登录的用户情况——users、who、w 命令

  • users 命令只是简单地输出当前登录的用户名称,每个显示的用户名对应一个登录会话。如果一个用户有不止一个登录会话,那他的用户名将显示与其相同的次数。
  • who 命令用于报告当前登录到系统中的每个用户的信息。使用该命令,系统管理员可 以查看当前系统存在哪些不合法用户,从而对其进行审计和处理。who 的默认输出包括用 户名、终端类型、登录日期及远程主机。
    2)查询用户登录的历史记录——last、lastb 命令 last 命令用于查询成功登录到系统的用户记录,最近的登录情况将显示在最前面。通过 last 命令可以及时掌握 Linux 主机的登录情况,若发现未经授权的用户登录过,则表示当前 主机可能已被入侵。

3.程序日志

在 Linux 操作系统中,还有相当一部分应用程序没有使用 rsyslog 服务来管理日志,而是由程序自己维护日志记录。不同应用程序的日志记录格式差别较大,且没有严格使用统一的格式,
管理人员应该定期并随机检查各种系统日志文件,包括一般信息日志、网络连接日志、文件传输日志及用户登录日志记录等。在检查这些日志时,要注意是否有不合常理的时间或操作记录。例如,出现以下现象就应多加注意。
●用户在非常规的时间登录,或者用户登录系统的 IP 地址和以往的不一样。
●用户登录失败的日志记录,尤其是那些一再连续尝试进入失败的日志记录。
●非法使用或不正当使用超级用户权限。
●无故或者非法重新启动各项网络服务的记录。
●不正常的日志记录,如日志残缺不全,或者是诸如 wtmp 这样的日志文件无故缺少 了中间的记录文件。
另外,需要提醒管理人员注意的是,日志并不是完全可靠的,高明的黑客在入侵系统后 经常会打扫现场。
所以管理人员需要综合运用以上的系统命令,全面、综合地进行审查和检 测,切忌断章取义,否则将可能做出错误的判断。

你可能感兴趣的:(Linux命令,云计算基础,运维,linux)