Linux文件系统与日志文件

Linux文件系统与日志文件

inode和block概述

文件数据包括元信息与实际数据
文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
block（块）
连续的八个扇区组成一个block
是文件存储的最小单位
inode（索引节点）
中文译名为“索引节点”，也叫i节点
用于存储文件元信息

inode包含文件的元信息
文件的字节数
文件拥有者的User ID（不包含文件名）
文件的Group ID
文件的读写执行权限
文件的时间戳
……
用stat命令可以查看某个文件的inode信息

[root@localhost opt]# touch aa.txt
[root@localhost opt]# stat aa.txt
  文件："aa.txt"
  大小：0         	块：0          IO 块：4096   普通空文件
设备：fd00h/64768d	Inode：33567187    硬链接：1
权限：(0644/-rw-r--r--)  Uid：(    0/    root)   Gid：(    0/    root)
环境：unconfined_u:object_r:usr_t:s0
最近访问：2020-07-02 03:01:28.719405830 +0800
最近更改：2020-07-02 03:01:28.719405830 +0800
最近改动：2020-07-02 03:01:28.719405830 +0800
创建时间：-

##Linux系统文件三个主要的时间属性
ctime（change time）
最后一次改变文件或目录（属性）的时间
atime（access time）
最后一次访问文件或目录的时间
mtime（modify time）
最后一次修改文件或目录（内容）的时间

目录文件的结构

目录也是一种文件
目录文件的结构

每个inode都有一个号码，操作系统用inode号码来识别不同的文件
Linux系统内部不适用文件名，而使用inode号码来识别文件
对于用户，文件名只是inode号码便于识别的别称

inode的号码
用户通过文件名打开文件时，系统内部的过程
1.系统找到这个文件名对应的inode号码
2.通过inode号码，获取inode信息
3.根据inode信息，找到文件数据所在的block，读出数据

查看inode号码的方法

ls -i命令:查看文件名对应的inode号码

[root@localhost opt]# ls -i aa.txt
33567187 aa.txt
[root@localhost opt]# stat aa.txt
  文件："aa.txt"
  大小：0         	块：0          IO 块：4096   普通空文件
设备：fd00h/64768d	Inode：33567187    硬链接：1
权限：(0644/-rw-r--r--)  Uid：(    0/    root)   Gid：(    0/    root)
环境：unconfined_u:object_r:usr_t:s0
最近访问：2020-07-02 03:01:28.719405830 +0800
最近更改：2020-07-02 03:01:28.719405830 +0800
最近改动：2020-07-02 03:01:28.719405830 +0800
创建时间：-

硬盘分区后的结构

inode的大小

inode也会消耗硬盘空间
每个inode的大小
一般是128字节或256字节

格式化文件系统时确定inode的总数
使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

inode的特殊作用
由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象
当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
移动或重命名文件时，之改变文件名，不影响inode号码
打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名

链接文件

为文件或目录建立链接文件
链接文件分类

	软链接（又称符号链接）	硬链接
删除原始文件后	失效	仍旧可用
使用范围	适用于文件或目录	只可用于文件
保存位置	与原始文件可以位于不同的文件系统中	必须与原始文件在同一个文件系统（如一个Linux分区）内

硬链接

一般情况下，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。
但是Linux系统允许，多个文件名指向同一个inode号码。这表示可以用不同的文件名来访问同样的内容
ln命令可以创建硬链接，命令基本格式
ln 源文件 目标
不能对目录做硬链接
运行此命令后，源文件和目标文件的inode号码相同，都指向同一个inode。
inode信息中的“链接数”此时就会增加1
当一个文件拥有多个硬链接时，对文件内容修改，会影响到所有文件名，但删除一个文件名，不会影响另一个文件名的访问，删除一个文件名，就会使得inode信息中的“链接数”减少1

软链接

软链接就是再创建一个独立的文件，而这个文件会让数据的读取指向它连接的那个文件的文件名
软链接的创建命令的基本格式为：
ln [-s] 源文件或目录… 链接文件或目标位置

恢复误删除的文件

恢复XFS类型的文件

xfsdump命令格式
xfsdump -f 备份存放位置 要备份的路径或者设备文件

xfsdump备份级别（默认为0）
0：完全备份
1-9：增量备份

xfsdump常用选项：-f，-L，-M，-s

xfsrestore -f 恢复文件的位置 存放恢复后文件的位置

xfsdump使用限制
只能备份已挂载的文件系统
必须使用root的权限才能操作
只能备份XFS文件系统
备份后的数据只能让xfsrestore解析
不能备份两个具有相同UUID的文件系统

恢复EXT类型的文件

安装extundelete软件包

[root@localhost ~]# yum -y install e2fsprogs*
[root@localhost ~]# yum -y install wget
[root@localhost ~]# cd /opt
[root@localhost opt]# wget http://nchc.dl.sourceforge.net/project/extundel/extundelete-0.2.4.tar.bz2
[root@localhost opt]# ls
data  extundelete-0.2.4.tar.bz2

把一块磁盘格式化成ext4格式

[root@localhost ~]# mkfs.ext3  /dev/sdb1 
mke2fs 1.42.9 (28-Dec-2013)
文件系统标签=
OS type: Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
1310720 inodes, 5242624 blocks
262131 blocks (5.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=4294967296
160 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks: 
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
	4096000

Allocating group tables: 完成                            
正在写入inode表: 完成                            
Creating journal (32768 blocks): 完成
Writing superblocks and filesystem accounting information: 完成   

[root@localhost opt]# mkdir data   
[root@localhost opt]# mount /dev/sdb1 /opt/data

[root@localhost opt]# cd data/
[root@localhost data]# ls
lost+found
[root@localhost data]# touch aa bb cc dd 
[root@localhost data]# ls
aa  bb  cc  dd  lost+found

[root@localhost data]# rm -rf aa bb
[root@localhost data]# ls
cc  dd  lost+found

[root@localhost data]# cd ~
[root@localhost ~]# umount /opt/data/

[root@localhost ~]# extundelete /dev/sdb1 --restore-all	
NOTICE: Extended attributes are not restored.
Loading filesystem metadata ... 160 groups loaded.
Loading journal descriptors ... 28 descriptors loaded.
Searching for recoverable inodes in directory / ... 
0 recoverable inodes found.		
Looking through the directory structure for deleted files ... 
0 recoverable inodes still lost.
No files were undeleted.
[root@localhost opt]# mount /dev/sdb1 /opt/data
[root@localhost ~]# cd RECOVERED_FILES/	
[root@localhost RECOVERED_FILES]# ls		
aa  cc
[root@localhost RECOVERED_FILES]# cp a /opt 		
[root@localhost RECOVERED_FILES]# ls /opt
aa  bb  cc  dd  lost+found

日志文件

日志的功能

用于记录系统、程序运行中发生的各种事件
通过阅读日志，有助于诊断和解决系统故障
日志文件的分类
内核及系统的分类

• 内核及系统日志
  由系统服务rsyslog统一进行管理，日志格式基本相似
• 用户日志
  记录系统用户登录退出系统的相关信息
• 程序日志
  由各种应用程序独立管理的日志文件，记录格式不统一

日志文件保存位置
默认位于：/var/log目录下

主要日志文件介绍

内核及公共消息日志	/var/log/messages
计划任务日志	/var/log/cron
系统引导日志	/var/log/dmesg
邮件系统日志	/var/log/maillog
用户登录日志	/var/log/lastlog、/var/log/secure、/var/log/wtmp、/var/log/btmp

内核及系统日志
由系统服务rsyslogd统一管理
软件包：rsyslog-7.4.7-16.el7.x86_64
主要程序：/sbin/rsyslogd
配置文件：/etc/rsyslog.conf

日志消息的级别

受rsyslogd服务管理的日志文件都是Linux系统中最重要的日志文件，它们记录了Linux系统中内核，用户认证，邮件，计划任务等最基本的系统消息
在Linux内核中，根据日志消息的重要程度不同，将其分为不同的优先级（数字等级越小，优先级越高，消息越重要）

级别	解释
0 EMERG（紧急）	会导致主机系统不可用的情况
1 ALERT（警告）	必须马上采取措施解决的问题
2 CRIT（严重）	比较严重的情况（某些功能不可用）
3 ERR（错误）	运行出现错误
4 WARNING（提醒）	可能会影响系统功能的事件
5 NOTICE（注意）	不会影响系统但值得注意
6 INFO（信息）	一般信息
7 DEBUG（调试）	程序或系统调试信息等（做维护的时候可能会用到）

内核及大多数系统消息都被记录到公共日志文件/var/log/messages中，而其他一些程序消息被记录到各自独立的日志文件中
日志消息还可以记录到特定的存储设备中，或者直接发送给指定用户

用户日志

保存目录
保存了用户登录，退出系统等相关信息

/var/log/lastlog：最近的用户登录事件

/var/log/wtmp：用户登录，注销及系统开，关机事件

/var/log/utmp：当前登录的每个用户的详细信息

/var/log/secure：与用户验证相关的安全性事件

程序日志分析

由相应的程序独立进行管理
web服务：/var/log/httpd/

• access_log、error_log
  代理服务：/var/log/squid/
• access.log 、cache.log
  FTP服务：/var/log/xferlog

分析工具

• 文本查看、grep过滤检索、webmin管理套件中查看
• awk、sed等文本过滤，格式化编辑工具
• webalizer、awstats等专用日志分析工具

日志管理策略

及时做好备份和归档
延长日志保存期限
控制日志访问权限

• 日志中可能会包含各类敏感信息，如账户、口令等
  集中管理日志
• 将服务器的日志文件发到统一的日志文件服务器
• 便于日志信息的统一收集，整理和分析
• 杜绝日志信息的意外丢失、恶意篡改或删除