Postgresql wal 归档文件处理

数据库采用主从备份方式进行搭建，未及时清理归档，归档文件夹目录不断增大，撑爆整个磁盘。

所谓WAL日志归档，其实就是把在线的WAL日志备份出来。

wal_level='replica'

# - Archiving -

archive_mode = on               # enables archiving; off, on, or always
                                # (change requires restart)
archive_command = 'test ! -f /mnt/backup/%f && cp %p /mnt/backup/%f'
                                # command to use to archive a logfile segment
                                # placeholders: %p = path of file to archive
                                #               %f = file name only
                                # e.g. 'test ! -f /mnt/server/archivedir/%f && cp %p /mnt/server/archivedir/%f'
#archive_timeout = 0            # force a logfile segment switch after this
                                # number of seconds; 0 disables
                                
#wal_level archive 或更高级别
#archive_mode on 开启归档模式，always 主从模式时，从库也开启归档模式。需要重启数据库
#archive_command 归档时触发的命令或脚本， 不需要重新启动数据库。 systemctl reload postgresql-10 即可。
#archive_timeout 可以理解为超过指定时间强制执行 select pg_switch_wal(); 场景， 数据库不是很活跃，数据库wal日志产生的过慢时。

归档触发条件说明：

1. 手动执行 select pg_switch_wal();
2. WAL 日志写满后触发归档 WAL 日志文件默认为 16MB，这个值可以在编译 PostgreSQL 时通过参数 “–with-wal-segsize” 更改，编译后不能修改。
3. 如果设置 archive_timeout， 超时触发。

实际应用

目标：按日期存放wal日志到/mnt/archdir/

编写归档脚本 archive.sh ，设置权限 chmod 700 archive.sh

#!/bin/bash    
    
export LANG=en_US.utf8    
export DATE=`date +"%Y%m%d"`    
    
BASEDIR="/mnt/archdir"    
    
if [ ! -d $BASEDIR/$DATE ]; then    
  mkdir -p $BASEDIR/$DATE    
  if [ ! -d $BASEDIR/$DATE ]; then    
    echo "error mkdir -p $BASEDIR/$DATE"    
    exit 1    
  fi    
fi    
    
cp $1 $BASEDIR/$DATE/$2    
if [ $? -eq 0 ]; then    
  exit 0    
else    
  echo -e "cp $1 $BASEDIR/$DATE/$2 error"    
  exit 1    
fi
echo -e "backup failed"    
exit 1    

配置postgres.conf 中的archive_command命令:

archive_command = 'archive.sh %p %f' 

重新加载生效

systemctl reload postgresql-10

定时清空归档文件

可以查看到归档目录下的wal 文件。

清空脚本

编辑脚本pg_wal_clean.sh，使用pg_controldata 查看最后归档点，配合pg_archivecleanup命令清除最新归档点之前的wal。

#!/bin/bash
LASTWAL=`sudo /usr/lib/postgresql/9.5/bin/pg_controldata  -D /home/user3/pg/data |grep "Latest checkpoint's REDO WAL file" |awk '{print $6}'`
echo $LASTWAL 
sudo /usr/lib/postgresql/9.5/bin/pg_archivecleanup -d /home/user3/pg/pg_archive $LASTWAL

sudo /usr/lib/postgresql/9.5/bin/pg_archivecleanup -d /home/user3/pg/pg_archive $LASTWAL

定时任务启动清空wal脚本

crontab -e这样可以已编辑模式打开个人的crontab配置文件，然后加入一下这行：

0 0 * * * /home/user3/pg_wal_clean.sh

这将会在每天凌晨运行指定的.sh文件

注意：
执行脚本要拥有可进入目录，和执行pg_controldata等命令的权限。

引用：
Archive wal 归档