数据库所在服务器磁盘满了怎么办？

大家好，我是G探险者。
给大家拜个晚年哈，节后上班第一天，打开电脑，发现数据库服务器连不上了。

幸亏，节后第一天上班的人不太多，领导还没来，我一番鼓捣解决了这个问题。
所以做个总结，记录一下。

故障现象

使用mysql提供的客户端工具在命令行连接mysql数据库时，报错如下：
ERROR 2002 (HY000) Can't connect to local MySQL server through socket 'tmp/mysql.sock'

故障分析

这个错误通常表示MySQL客户端无法通过指定的socket连接到本地MySQL服务器。可能的原因和解决方法如下：

1. MySQL服务器未运行： 确保MySQL服务器正在运行。你可以通过在终端中运行以下命令检查MySQL服务器的状态：

   systemctl status mysql
   

   如果MySQL服务器未运行，则需要启动它：

   sudo systemctl start mysql
   

2. MySQL配置错误： 检查MySQL的配置文件（通常是/etc/mysql/my.cnf或/etc/my.cnf），确认socket参数的设置是否正确。确保socket参数指向正确的MySQL socket文件路径。

3. MySQL socket文件丢失或损坏： 检查MySQL服务器的数据目录，确认mysql.sock文件是否存在。如果不存在，可能需要重建MySQL socket文件。

4. 权限问题： 确保MySQL客户端有足够的权限访问MySQL socket文件以连接到MySQL服务器。你可以尝试使用sudo命令以超级用户权限运行MySQL客户端。

5. MySQL服务器正在监听TCP连接而非socket连接： 在某些情况下，MySQL服务器可能配置为仅监听TCP连接而不是socket连接。你可以尝试在连接时指定MySQL服务器的主机地址和端口。

故障定位

根据以往的经验，大概率是磁盘满了导致宕机。
那么如何确定是磁盘满了导致数据库宕机？

1. 通过df -h 命令查看磁盘占用情况。分析下是哪个路径下的磁盘满了。
2. 通过ps aux|grep mysql 命令查看启动mysql的命令。分析出mysql的部署位置,以及mysql的错误日志文件的位置。
3. 通过查看mysql的错误日志，来确认。
   
   通过以上几步交叉确认，确实是数据库磁盘满了导致连接不上了。

那接下来怎么办呢？

解决办法

1. 释放磁盘空间：

   • 删除不必要的文件或目录：

     rm -rf /path/to/unneeded_files_or_directories
     

   • 清理临时文件：

     sudo rm -rf /tmp/*
     

2. 清理 MySQL 日志文件：

   • 删除旧的错误日志文件：

     sudo rm /var/log/mysql/error.log
     

   • 清理慢查询日志文件：

     sudo rm /var/log/mysql/slow.log
     

   • 调整二进制日志文件的大小和轮转策略：

     # 编辑 MySQL 配置文件
     sudo nano /etc/mysql/mysql.conf.d/mysqld.cnf
     # 设置二进制日志文件大小
     binlog_size = 100M
     # 设置二进制日志文件轮转策略
     expire_logs_days = 7
     

3. 优化数据库：

   • 删除不必要的数据：

     DELETE FROM table_name WHERE condition;
     

   • 重新组织表格和索引：

     OPTIMIZE TABLE table_name;
     

   • 压缩表格：

     ALTER TABLE table_name ENGINE=InnoDB;
     

4. 增加磁盘空间：

   • 添加新的磁盘分区并挂载到 MySQL 数据目录下，例如：

     # 创建新的分区
     sudo fdisk /dev/sdb
     # 格式化分区
     sudo mkfs.ext4 /dev/sdb1
     # 创建挂载点
     sudo mkdir /mnt/mysql_data
     # 挂载新的分区
     sudo mount /dev/sdb1 /mnt/mysql_data
     

5. 重新启动 MySQL 服务：

   sudo systemctl restart mysql
   

以上解决办法，能顶得了一时，顶不了一世，如何系统的解决这类问题呢？

对头，通过shell脚本来实现自动化，解放咱们的双手。

自动化解决

1. 定期备份和归档数据：

   • 使用 mysqldump 命令定期备份数据库，并将备份数据归档到其他存储位置，例如：

     mysqldump -u username -p database_name > /path/to/backup/db_backup_$(date +'%Y-%m-%d_%H-%M-%S').sql
     

   • 将备份数据上传到云存储服务或网络共享目录，确保数据安全可靠。
   • 定期备份的自动化脚本。

     #!/bin/bash
     
     # MySQL 连接参数
     DB_USER="your_username"
     DB_PASSWORD="your_password"
     DB_NAME="your_database_name"
     
     # 备份目录和文件名
     BACKUP_DIR="/path/to/backup"
     BACKUP_FILE="${BACKUP_DIR}/db_backup_$(date +'%Y-%m-%d_%H-%M-%S').sql"
     
     # 执行备份
     mysqldump -u"${DB_USER}" -p"${DB_PASSWORD}" "${DB_NAME}" > "${BACKUP_FILE}"
     
     # 检查备份是否成功
     if [ $? -eq 0 ]; then
         echo "数据库备份成功：${BACKUP_FILE}"
     else
         echo "数据库备份失败"
     fi
     

2. 监控磁盘空间：

   • 设置监控系统，定期检查数据库服务器的磁盘空间使用情况，例如使用 df -h 命令：

     df -h /path/to/mysql_data_directory
     

   • 使用监控工具（如 Nagios、Zabbix 等）来监控磁盘空间，并设置警报规则，当磁盘空间即将满时发送警报通知管理员。

3. 定期清理历史数据：

   • 使用定期的数据清理任务来清理数据库中的历史数据，例如删除一周前的日志记录：

     DELETE FROM log_table WHERE timestamp_column < NOW() - INTERVAL 7 DAY;
     

   • 定期清理的自动化脚本。

      #!/bin/bash
      # MySQL 连接参数
      DB_USER="your_username"
      DB_PASSWORD="your_password"
      DB_NAME="your_database_name"
        
      # 清理历史数据的 SQL 语句
      CLEANUP_SQL="DELETE FROM log_table WHERE timestamp_column < NOW() - INTERVAL 7 DAY;"
      
      # 执行清理操作
      mysql -u"${DB_USER}" -p"${DB_PASSWORD}" -e"${CLEANUP_SQL}" "${DB_NAME}"
     

4. 优化数据库：

   • 使用 EXPLAIN 命令分析查询语句的执行计划，并优化查询语句、索引和表结构，以减少数据库的存储空间使用量。

5. 增加磁盘空间：

   • 添加额外的磁盘并将其挂载到数据库目录下，例如：

     # 创建新的分区
     sudo fdisk /dev/sdb
     # 格式化分区
     sudo mkfs.ext4 /dev/sdb1
     # 创建挂载点
     sudo mkdir /mnt/mysql_data
     # 挂载新的分区
     sudo mount /dev/sdb1 /mnt/mysql_data
     

通过以上示例，你可以系统性的解决数据库服务器因为磁盘满了导致连接不上的问题，并确保数据库服务器的稳定运行。请根据你的具体情况和需求调整示例中的路径和参数。