linux--积累--分析清理服务器大文件--分析清理磁盘空间

Linux系统中如果发现/目录剩余空间不足，又不新增磁盘挂载，可以使用du和df命令来对找到 不用的大文件，对它们进行删除，从而腾出足够的空间。

详细的操作步骤记录如下:

df判断占空间多的目录

使用df命令输出如下:

[root@VM_0_9_centos /]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        50G   15G   32G  32% /
devtmpfs        911M     0  911M   0% /dev
tmpfs           920M   24K  920M   1% /dev/shm
tmpfs           920M  388K  920M   1% /run
tmpfs           920M     0  920M   0% /sys/fs/cgroup
tmpfs           184M     0  184M   0% /run/user/0
[root@VM_0_9_centos /]# df 
Filesystem     1K-blocks     Used Available Use% Mounted on
/dev/vda1       51474044 15601312  33251368  32% /
devtmpfs          932296        0    932296   0% /dev
tmpfs             941920       24    941896   1% /dev/shm
tmpfs             941920      388    941532   1% /run
tmpfs             941920        0    941920   0% /sys/fs/cgroup
tmpfs             188388        0    188388   0% /run/user/0

-h表示 用human方便理解的单位进行显示，如果不加-h则显示的为千字节Kilobytes(KB).

占空间比较多的是根目录 /, 对它进行详细分析

du命令分析详细目录大小

使用命令如下:

[root@VM_0_9_centos /]# du -h --max-depth=1 / |sort -nr
du: cannot access ‘/proc/11318/task/11318/fd/4’: No such file or directory
du: cannot access ‘/proc/11318/task/11318/fdinfo/4’: No such file or directory
du: cannot access ‘/proc/11318/fd/4’: No such file or directory
du: cannot access ‘/proc/11318/fdinfo/4’: No such file or directory
416K	/run
136M	/boot
60K	/tmp
34M	/etc
28K	/home
16K	/lost+found
15G	/
8.0K	/opt
7.8G	/var
4.0K	/srv
4.0K	/mnt
4.0K	/media
3.3G	/usr
2.6G	/root
1.2G	/data
0	/sys
0	/proc
0	/dev

-h 表示 用human方便理解的单位进行显示，如果不加-h则显示的为千字节Kilobytes(KB).
–max-depth=1 仅列出该目录下面所有的一级目录文件大小
|sort -nr 根据数字大小进行排序

我们注意到 这里虽然进行了排序，但是因为 使用的单位不同，导致不是很好判断哪个目录 最大，所以 最好统一单位，使用参数

-hm 统一使用M兆作为单位显示，输出如下:

[root@VM_0_9_centos /]# du -hm --max-depth=1 / |sort -nr
du: cannot access ‘/proc/11770/task/11770/fd/4’: No such file or directory
du: cannot access ‘/proc/11770/task/11770/fdinfo/4’: No such file or directory
du: cannot access ‘/proc/11770/fd/4’: No such file or directory
du: cannot access ‘/proc/11770/fdinfo/4’: No such file or directory
15203	/
7943	/var
3287	/usr
2622	/root
1183	/data
136	/boot
34	/etc
1	/tmp
1	/srv
1	/run
1	/opt
1	/mnt
1	/media
1	/lost+found
1	/home
0	/sys
0	/proc
0	/dev
[root@VM_0_9_centos /]# 

所以 最大的目录是/var

继续用这种方式循环分析

[root@VM_0_9_centos /]# du -hm --max-depth=1 /var |sort -nr
7943	/var
4632	/var/log
2993	/var/mysql
189	/var/lib
129	/var/cache
1	/var/yp
1	/var/tmp
1	/var/spool
1	/var/preserve
1	/var/opt
1	/var/nis
1	/var/local
1	/var/kerberos
1	/var/gopher
1	/var/games
1	/var/empty
1	/var/db
1	/var/crash
1	/var/adm

/var/mysql是mysql的数据保存，不可以删除

ll或者ls命令查看目录下的文件是否可删除

log目录可以删除，循环分析后发现 /var/log目录下的文件都可以删除

[root@VM_0_9_centos /]# ll /var/log/
total 441256
drwxr-xr-x. 2 root   root                 4096 Apr 21  2016 anaconda
drwxr-x---. 2 root   root                 4096 Jun 16 15:50 audit
-rw-r--r--  1 root   root                    0 Jun 19  2019 auth.log
-rw-r--r--  1 root   root                 8668 Mar  7  2018 boot.log
-rw-------  1 root   utmp             78690432 Jun 16 16:17 btmp
-rw-------  1 root   utmp            173324160 Jun  1 03:47 btmp-20200601
drwxr-xr-x. 2 chrony chrony               4096 Nov 24  2015 chrony

rm删除不保留的文件

重要提示，在执行删除前 最后先全部备份都 另一个目录中，以防操作失误。 在确保删除正确之后 再把备份目录删除即可。

linux下删除指定文件、文件夹：rm

Linux下删除文件和文件夹常用命令如下：

　　删除文件： rm file1  file2  
　　删除文件夹： rm -rf dir

删除指定文件（夹）之外的所有文件

需要在当前文件夹中进行:

删除指定目录之外的 文件

#删除folder目录之外的所有文件
rm -rf !(folder)

#删除folder1和folder2文件之外的所有文件
rm -rf !(folder1 | folder2) 

当前文件夹中结合使用grep和xargs来处理文件名：

使用grep 删除keep文件之外的所有文件

ls | grep -v keep | xargs rm 

说明： ls先得到当前的所有文件和文件夹的名字， grep -v keep，进行grep正则匹配查找keep，-v参数决定了结果为匹配之外的结果，也就是的到了keep之外的所有文件名，然后 xargs用于从 标准输入获得参数 并且传递给后面的命令，这里使用的命令是 rm，然后由rm删除前面选择的文件。

好处：使用了grep来正则表达式来匹配文件名字，可以一次保留多个文件，从而进行更加准确的处理。

使用find命令代替ls，改进方法3从而能够处理制定文件夹的文件：

# 删除当前test文件夹中keep文件之外的所有文件
find ./test/ | grep -v keep | xargs rm

说明，用grep而不用find -name选取名字，因为find选取名字时比较麻烦，对正则表达式支持不够，无法排除指定文件名。

直接使用find命令删除其他文件：

# 删除keep以外的其他文件。

find ./ -name '[^k][^e][^e][^p]*' -exec rm -rf {} \;

# 删除keep以外的其他文件。推荐！

find ./ -name '[^k][^e][^e][^p]*' | xargs rm -rf 

说明：上面使用-exec的代码效率高些，原因在于删除多个文件时 -exec会启动多个进程来处理，而xargs会启动一个rm进程来处理。

例子 删除debug.log 和sys.out 文件外的所有文件。

#建立查找规则
 vi test.txt 

^debug.log$
^sys.out$

#尝试查找：
ls | grep -f test.txt 
debug.log
sys.out

#删除要保留文件外的其它文件：
ls | grep -vf test.txt |xargs rm
#记得加v，保留要保留的文件，不要删错了

删除超过一个月时间的日志文件：

#删除，文件名中带有数字，超过30天的日志：
cd /var/log
find -mtime +30 -name "*[0-9]*" -exec rm {} \;

#删除，文件名中带有gz，超过30天的日志：
cd /var/log
find -mtime +30 -name "*gz*" -exec rm {} \;


#删除，文件名中带有log，超过30天的日志：
cd /var/log
find -mtime +30 -name "*log*" -exec rm {}  \;