Linux文件系统与日志分析

目录

一、文件系统

1、inode和block概述

 2、inode表结构

1.1、包含文件的元信息

1.2、查看inode

​编辑 1.3、 Linux系统文件三个主要的时间属性

1.5、用户访问文件的过程

3、inode的大小

4、inode的特殊作用

5、软链接与硬链接

​编辑 6、、恢复误删除的xfs文件

二、日志服务管理

1.日志的功能

2、日志文件的分类 

3、日志服务

1.1、sysklogd系统日志服务

1.2、rsyslog系统日志服务

​编辑 4、ELK

 5、rsyslog管理

1.1、rsyslog管理

 1.2、服务名称

1.3、rsyslog 相关文件

库文件： /lib64/rsyslog/*.so 1.4、rsyslog配置文件

 1.5、日志文件的格式：

1.6、将ssh服务的日志单独设置

 1.7、网络日志（远程日志功能）

6、常见的一些日志文件

 1.1、用户日志分析

7、日志管理策略

8、日志管理工具 journalctl

 三、网路共享文件服务

1、FTP服务

1.1、FTP服务状态码

 1.2、将服务端的文件拷贝到本地、

1.3、将客户端的文件上传到服务端

---

一、文件系统

1、inode和block概述

元信息：每个文件的属性信息，比如：文件的大小，时间，类型，权限等，也称为文件的元数据(meta data)
元数据是存放在inode（index node）表中。inode 表中有很多条记录组成，第一条记录对应的存放了一个文件的元数据信息。
文件数据包括元信息与实际数据。

文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节。

block（块）

连续的八个扇区组成一个block，4k
是文件存取的最小单位
inode（索引节点）

中文译名为“索引节点”，也叫 i 节点
用于存储文件元信息
一个文件必须占用一个inode ，至少占用一个block

 2、inode表结构

1.1、包含文件的元信息

• 文件的字节数（字节占用多少空间，也称文件大小）
• 文件拥有者的 User ID
• 文件的 Group ID
• 文件的读、写、执行权限
• 文件的时间戳（ctime、atime、mtime）
• 文件类型
• 链接数
• 有关文件的其他数据

1.2、查看inode

• ls -i 命令：查看文件名对应的inode号码
• stat 命令：查看文件的inode信息

 1.3、 Linux系统文件三个主要的时间属性

最近访问atime（access time)最后一次访问文件的时间。使用echo追加内容不会变，因为没有打开文件
最近更改mtime（modify）：最后一次更改文件内容的时间。更改完内容之后，ctime也会改变
最近改动ctime（change time）：最后一次改变文件元信息（文件或目录属性）的时间。改变后，mtime不变
 1.4、目录文件结构

目录是个特殊文件，目录文件的内容保存了此目录中文件的列表及inode number对应关系

inode不包含文件名，文件名是存放在目录文件夹当中的。Linux 系统中一切皆文件，因此目录也是一种文件
是通过文件名来引用一个文件
每个目录项由两部分组成：所包含文件的文件名，以及该文件名对应的inode号码。目录是目录下的文件名和文件inode号之间的映射
每个inode都有一个号码，操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名，而使用inode号码来识别文件
对于系统来说，文件名只是inode号码便于识别的别称

1.5、用户访问文件的过程

当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码；通过

inode号码，获取inode信息；根据inode信息，看该用户是否具有访问这个文件的权限;如果有，就

指向相对应的数据block，并读取数据。

 硬盘分区后结构

3、inode的大小

inode也会消耗硬盘空间，每个inode的大小一般是128字节或256字节
inode的总数，在格式化时就确定
如果磁盘还有空间，但inode号被全部占用，无法创建新文件。
inode号在同一个文件系统内唯一，在不同的文件系统中可以重复。
查看每个硬盘分区的inode总数和已经使用的数量，可以使用命令: df -i

4、inode的特殊作用

由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象

• 当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件

删除inode号的方法：

法一： find 文件位置 -inum inode号码 -exec rm -rf {} \;

法二： find 文件位置 -inum inode号码 -delete

• 在同一个文件系统中移动或重命名文件时，只改变文件名，不影响inode号码

• 打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名
• 文件数据被修改保存后，会生成一个新的inode 号码

 

• cp命令与inode：

  • 分配一个空闲的inode号

  • 在inode表中生成新条目在目录中创建一个目录项

  • 将名称与inode编号关联拷贝数据生成新的文件

rm命令与inode

• 链接数递减，从而释放的inode号可以被重用把数据块放在空闲列表中

• 删除目录项

• 数据实际上不会马上被删除，但当另一个文件使用数据块时将被覆盖

5、软链接与硬链接

• 硬连接 同一个文件取不同的名或者叫多个名字，不支持文件夹，创建一个链接数加一，多路径访问。不占用内存
• 软连接 类似于windows里快捷方式，软连接，符号连接，使用绝对路径 

格式：软链接 ：ln [-s] 源文件或目录… 链接文件或目标位置

    硬链接： ln [ ] 源文件或目录… 链接文件或目标位置

对比项	硬连接	软连接
本质	本质是同一个文件	本质不是同一个文件
inode	相同	不同
连接数	创建新的硬链接,链接数会增加,删除硬链接,链接数减少	删除新建不会改变
文件夹	不支持	支持
删除源文件	只是链接数减一,但链接文件的访问不受影响	无法访问连接文件
文件类型	和源文件相同	链接文件,和源文件无关
文件大小	和源文件相同	源文件的路径的长度

•  硬链接

•  软链接

 6、、恢复误删除的xfs文件

Centos 7系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump 与xfsrestore 工具进行备份

恢复。

xfsdump格式：xfsdump -f 备份存放位置 要备份的路径或设备文件
xfsdump的备份级别（默认为0）

0表示完全备份

1-9表示增量备份

使用 xfsdump 时，需要注意以下的几个限制：

不支持没有挂载的文件系统备份，所以只能备份已挂载的；

必须使用 root 的权限才能操作；

只能备份 XFS 文件系统；

备份下来的数据只能让 xfsrestore 解析；

不能备份两个具有相同 UUID 的文件系统（可使用blkid查看）。

实验步骤

• 添加硬盘

   

• 在挂载目录data下复制进etc目录下的passwd也可以自己新建文件

•  查看是否有xfsdump，如果没有使用yum install xfsdump -y进行安装

指定备份目录和需要备份的磁盘 

•  模拟删除

  

• 进行恢复

 

二、日志服务管理

1.日志的功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

2、日志文件的分类 

• 内核及系统日志：由系统服务rsyslog统一进行管理，日志格式基本相似，其主配置文件 /etc/rsyslog.conf
• 用户日志：记录系统用户登录及退出系统的相关信息
• 程序日志：由各种应用程序独立管理的日志文件，记录格式不统一

3、日志服务

1.1、sysklogd系统日志服务

CentOS 5 之前版本采用的日志管理系统服务

• syslogd: system application 记录应用日志
• klogd: linux kernel 记录内核日志

事件记录格式：

日期时间 主机 进程[pid]: 事件内容  

 C/S架构：

通过TCP或UDP协议的服务完成日志记录传送，将分布在不同主机的日志实现集中管理

1.2、rsyslog系统日志服务

rsyslog是CentOS 6以后版本的系统管理服务:它提供了高性能，出色的安全性和模块化设计。尽管

rsyslog最初是常规的syslogd，但发展成为一种瑞士军刀式的记录工具,能够接受来自各种来源的输

入,并将其转换,然后输出到不同的目的地。

当应用有限的处理时，RSYSLOG每秒可以将超过一百万的消息传递到本地目的地。即使在远程的

目的地和更精细的处理中，性能通常也被认为是惊人的”。

 rsyslog 特性

• 多线程
• UDP, TCP, SSL, TLS, RELP
• MySQL, PGSQL, Oracle实现日志存储
• 强大的过滤器，可实现过滤记录日志信息中任意部分
• 自定义输出格式
• 适用于企业级中继

rsyslog详细信息

 4、ELK

ELK：由Elasticsearch, Logstash, Kibana三个软件组成

非关系型分布式数据库基于apache软件基金会jakarta项目组的项目lucene
Elasticsearch是个开源分布式搜索引擎，可以处理大规模日志数据，比如：Nginx、Tomcat、系统日志等功能
Logstash对日志进行收集、分析，过滤，并将其存储供以后使用
Kibana 可以提供的日志分析友好的 Web 界面

 5、rsyslog管理

1.1、rsyslog管理

facility：设施，从功能或程序上对日志进行归类

#内置分类
auth（验证）, authpriv, cron（定时任务）, daemon,ftp,kern, lpr, mail, news, security(auth), user, uucp, syslog
#自定议的分类
local0-local7

• Priority 优先级别，从低到高排序

级号	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用的情况
1	ALERT	警告	必须马上采取措施解决的问题
2	CRIT	严重	比较严重的情况
3	ERR	错误	运行出现错误
4	WARNING	提醒	可能会影响系统功能的事件
5	NOTICE	注意	不会影响系统但值得注意
6	INFO	信息	一般信息
7	DEBUG	调试	程序或系统调试信息等

• 参看帮助： man 3 syslog

 1.2、服务名称

代表什么服务的日志

服务名称	说明
auth（LOG_AUTH）	安全和认证相关消息 (不推荐使用authpriv替代）
authpriv(LOG_AUTHPRIV)	安全和认证相关消息（私有的）
cron (LOG_CRON)	系统定时任务cront和at产生的日志
daemon (LOG_DAEMON)	与各个守护进程相关的曰志
kern(LOG_KERN)	内核产生的曰志（不是用户进程产生的）
ftp (LOG_FTP)	ftp守护进程产生的曰志
Iocal0-local7 (LOG_LOCAL 0-7)	为本地使用预留的服务
lpr (LOG_LPR)	打印产生的日志
mail (LOG_MAIL)	邮件收发信息
news (LOG-NEWS）	与新闻服务器相关的日志
syslog (LOG_SYSLOG)	存syslogd服务产生的曰志信息（虽然服务名称己经改为reyslogd，但是很多配罝依然沿用了syslogd服务的，所以这里并没有修改服务名称）
user (LOG_USER)	用户等级类别的日志信息
uucp (LOG_UUCP)	uucp子系统的日志信息，uucp是早期Linux系统进行数据传递的协议，后来也常用在新闻组服务中

1.3、rsyslog 相关文件

程序包：rsyslog

主程序：/usr/sbin/rsyslogd

CentOS 6：/etc/rc.d/init.d/rsyslog {start|stop|restart|status}

CentOS 7,8：/usr/lib/systemd/system/rsyslog.service

配置文件：/etc/rsyslog.conf，/etc/rsyslog.d/*.conf

库文件： /lib64/rsyslog/*.so
 1.4、rsyslog配置文件

/etc/rsyslog.conf 配置文件格式：由三部分组成

• MODULES：相关模块配置

• GLOBAL DIRECTIVES：全局配置

• RULES：日志记录相关的规则配置

RULES模块
facility.priority; 
#分类      优先级
 
*: 所有级别
none：没有级别，即不记录
PRIORITY：指定级别（含）以上的所有级别
=PRIORITY：仅记录指定级别的日志信息
 
文件路径：通常在/var/log/，文件路径前的-表示异步写入
用户：将日志事件通知给指定的用户，* 表示登录的所有用户
日志服务器：@host，把日志送往至指定的远程UDP日志服务器 @@host 将日志发送到远程TCP日志服务器
管道： | COMMAND，转发给其它命令处理

 

 1.5、日志文件的格式：

事件产生的日期时间 主机 进程(pid)：事件内容

• 事件产生的时间。
• 产生事件的服务器的主机名。
• 产生事件的服务名或程序名。
• 事件的具体信息。

1.6、将ssh服务的日志单独设置

[root@localhost ~]# vim /etc/ssh/sshd_config 
#SyslogFacility AUTHPRIV
SyslogFacility LOCAL6
[root@localhost ~]# vim /etc/rsyslog.conf
# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log
local6.*                                                /var/log/sshd.log
[root@localhost ~]# systemctl restart sshd
[root@localhost ~]# systemctl restart rsyslog
 
####################另一台主机#########################
[root@localhost ~]# ssh 192.168.52.200
[email protected]'s password: 
Last login: Tue Mar 15 15:24:00 2022 from 192.168.52.1
[root@localhost ~]# ssh 192.168.52.200
Permission denied, please try again.
[email protected]'s password: 
Last failed login: Tue Mar 15 16:01:17 CST 2022 from 192.168.52.200 on ssh:notty
There was 1 failed login attempt since the last successful login.
Last login: Tue Mar 15 15:37:31 2022 from 192.168.52.100
 
#####################回到本机############################
[root@localhost ~]# tail /var/log/sshd.log 
Mar 15 15:37:31 localhost sshd[6648]: Accepted password for root from 192.168.52.100 port 34242 ssh2
Mar 15 16:01:17 localhost sshd[6962]: Failed password for root from 192.168.52.200 port 58326 ssh2
Mar 15 16:01:20 localhost sshd[6962]: Accepted password for root from 192.168.52.200 port 58326 ssh2

进入rsyslog配置文件，添加自己的文件位置

•  重启服务

输错一次密码 

 查看本机日志记录

 1.7、网络日志（远程日志功能）

网路日志，通过网络将本地的日志远程备份到另一台机器。这样，就算本机系统崩溃，我们可以查

看另一台机器备份的日志，来排查故障。

备份的大体过程：如果需要将服务器A的日志备份到服务器B，则A为发送方，B为接收方。则A作

为发送方需要在配置文件中添加接收方B的IP地址。B作为接收方需要开启端口来接收发送方A发送

的日志文件。
 

###################发送方###############
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# vim /etc/rsyslog.conf
 
*.info;mail.none;authpriv.none;cron.none                @@192.168.52.100
[root@localhost ~]# systemctl restart rsyslog
[root@localhost ~]# logger "this is test my qyd"
###################接收方###############
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# vim /etc/rsyslog.conf 
 
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
[root@localhost ~]# systemctl restart rsyslog
[root@localhost ~]# ss -ntap |grep 514
LISTEN     0      25           *:514                      *:*                   users:(("rsyslogd",pid=7672,fd=3))
LISTEN     0      25          :::514                     :::*                   users:(("rsyslogd",pid=7672,fd=4))
 
###########接收方测试是否能接收到发送方的日志############
[root@localhost ~]# tail -f /var/log/messages
Mar 15 17:10:01 localhost systemd: Starting Session 43 of user root.
Mar 15 17:20:01 localhost systemd: Started Session 44 of user root.
Mar 15 17:20:01 localhost systemd: Starting Session 44 of user root.
Mar 15 17:21:57 localhost rsyslogd: [origin software="rsyslogd" swVersion="8.24.0" x-pid="7672" x-info="http://www.rsyslog.com"] exiting on signal 15.
Mar 15 17:21:57 localhost rsyslogd: [origin software="rsyslogd" swVersion="8.24.0" 
Mar 15 17:21:57 localhost rsyslogd: action 'action 1' suspended, next retry is Tue Mar 15 17:22:27 2022 [v8.24.0 try http://www.rsyslog.com/e/2007 ]
Mar 15 17:22:53 localhost root: this is test my qyd

6、常见的一些日志文件

日志文件位置	日志文件说明
/var/log/messages内核和公共日志	它是核心系统日志文件，其中包含了系统启动时的引导信息，以及系统运行时的其他状态消息。I/O 错误、网络错误和其他系统错误都会记录到此文件中。其他信息，比如某个人的身份切换为 root，已及用户自定义安装软件的日志，也会在这里列出。
/var/log/cron 计划任务日志	记录与系统定时任务相关的曰志
/var/log/dmesg 系统引导日志	记录了系统在开机时内核自检的信息，也可以使用dmesg命令直接查看内核自检信息
/var/log/maillog 邮件日志	记录邮件信息的曰志
/var/log/lastlog用户日志	记录系统中所有用户最后一次的登录时间的曰志。这个文件也是二进制文件.不能直接用Vi 查看。而要使用lastlog命令查看
/var/log/secure用户日志	记录验证和授权方面的倍息，只要涉及账户和密码的程序都会记录，比如系统的登录、ssh的登录、su切换用户，sudo授权，甚至添加用户和修改用户密码都会记录在这个日志文件中
/var/log/wtmp用户日志	永久记录所有用户的登陆、注销信息，同时记录系统的启动、重启、关机事件。同样，这个文件也是二进制文件.不能直接用Vi查看，而要使用last命令查看
/var/tun/ulmp用户日志	记录当前已经登录的用户的信息。这个文件会随着用户的登录和注销而不断变化，只记录当前登录用户的信息。同样，这个文件不能直接用Vi查看，而要使用w、who、users等命令查看

 1.1、用户日志分析

保存了用户登录、退出系统等相关信息：

/var/log/lastlog：最近都用户登录事件。二进制文件，使用 lastlog 命令查看。
/var/log/secure：与用户验证有关的安全性事件。
/var/log/wtmp：用户登录、注销，及系统开、关机事件。二进制文件，使用 last 命令查看。
/var/run/utmp：当前登录的每个用户的详细信息。二进制文件，使用w、who、users等命令查看。

分析工具：

• users、who、w、last、lastb

users 命令只是简单地输出当前登录的用户名称，每个显示的用户名对应一个登录会话。 如果一个用户有不止一个登录会话，那他的用户名将显示与其相同的次数 

who命令用于报告当前登录到系统中的每个用户的信息。使用该命令，系统管理员可以查看当前系统存在哪些不合法用户，从而对其进行审计和处理。who 的默认输出包括用户名、终端类型、登录日期及远程主机。

w 命令用于显示当前系统中的每个用户及其所运行的进程信息，比 users、who 命令的 输出内容要丰富一些。

last 命令用于查询成功登录到系统的用户记录，

最近的登录情况将显示在最前面。通过 last 命令可以及时掌握 Linux 主机的登录情况，若发现未经授权的用户登录过，则表示当前主机可能已被入侵。

lastb 命令用于查询登录失败的用户记录，

如登录的用户名错误、密码不正确等情况都 将记录在案。登录失败的情况属于安全事件，因为这表示可能有人在尝试猜解你的密码。除 了使用 lastb 命令查看以外，也可以直接从安全日志文件/var/log/secure 中获得相关信息。

7、日志管理策略

• 及时做好备份和归档

• 延长日志保存期限

• 控制日志访问权限

  • 日志中可能会包含各类敏感信息，如账户、口令等。

集中管理日志

• 将服务器的日志文件发到统一的日志文件服务器

• 便于日志信息的统一收集、整理和分析

• 杜绝日志信息的意外丢失、恶意篡改或删除

8、日志管理工具 journalctl

CentOS 7 以后版，利用Systemd 统一管理所有 Unit 的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）。

日志的配置文件：/etc/systemd/journald.conf

命令格式： journalctl [OPTIONS...] [MATCHES...]

journalctl      查看所有日志（默认情况下 ，只保存本次启动的日志）

选项	作用
-k	只查看内核日志（不显示应用日志）
-b/-b-1	查看本次启动的日志/查看上一次启动的日志
--since	查看指定时间的日志
-n [数字]	显示尾部指定行数,默认10行
-f	实时滚动显示最新日志

 三、网路共享文件服务

1、FTP服务

FTP（文件传输协议）是用于与远程网络之间传输文件的标准网络协议。 基于C/S结构。

数据传输格式：二进制（默认）和文本。

双通道协议：命令和数据连接。

两种模式（从服务器角度）：

• 主动(PORT style)：服务器主动连接

命令（控制）端口： 客户端：随机port ---> 服务器：21/tcp

数据端口： 客户端：随机port <--- 服务器：20/tcp

• 被动(PASV style)：客户端主动连接

命令（控制）端口： 客户端：随机port ---> 服务器：21/tcp

数据端口： 客户端：随机port ---> 服务器：随机port /tcp

 

1.1、FTP服务状态码

状态码	内容	例子
1XX	信息	125：数据连接打开
2XX	成功类状态	200：命令OK     230：登录成功
3XX	补充类	331：用户名OK
4XX	客户端错误	425：不能打开数据连接
5XX	服务器错误	530：不能登录

 1.2、将服务端的文件拷贝到本地、

服务端A    IP地址：192.168.52.200

• 关闭防火墙

• 安装vsftpd软件包

 查看系统内程序用户ftp

 过滤出ftp详细信息

在/var/目录下

•  重启服务并查看端口是否打开

 客户端

vsftpd 提供ftp功能的软件，客户端需要安装ftp程序才可以使用ftp命令

• 与服务端进行连接 将文件传输到本地（在哪个目录连接服务端 文件就会下载到哪个目录）

1.3、将客户端的文件上传到服务端

服务端A    IP地址：192.168.52.200

前四补同上

•  进入pub文件夹下，查看文件

• 新建一个文件夹也可以使用pub文件夹

  

• 给文件夹可执行权限，可以让客户端上传文件到本文件夹 ，如果不给权限会报550错误

•  进入配置文件，设置允许匿名用户登入，wq保存退出

• 重启vsftpd服务

 

客户端

vsftpd 提供ftp功能的软件，客户端需要安装ftp程序才可以使用ftp命令

• opt目录下创建文件（任何目录下都可以创建，我选择在opt)

•  上传文件

 服务端验证