PostgreSQL基础备份_增量备份与任意点恢复

PostgreSQL基础备份_增量备份与任意点恢复

 

背景

备份是恢复的前提。不发生故障时，世界很太平，但发生故障时，如果不能顺利进行恢复，那将是一场噩梦！甚至可能对于企业是致命打击，这绝对不是危言耸听！

日常的备份有效性的检查就显得尤其重要，一个无效的备份集和没有备份是一样的，例如备份文件无法解压，或者存储备份的介质损坏等等。除了制定备份恢复策略，还应该制定一套定期、定时的恢复测试方案。我们在恢复测试中，应该考量恢复需要花费的时间，日常测试时，也应该记录和统计恢复花费的时间，如果恢复时间太长，还应该优化恢复方案，消除恢复瓶颈实现业务SLA要求等级

 

1. 操作错误,删除数据,进行恢复
2. 数据库崩溃进行恢复
3. 在某一时间点进行一次全量的基础备份,恢复只能基于这个基础备份
4. 设置增量日志，不断的进行日志备份。这种日志是预写入日志(WAL)，可以根据这个日志恢复到基础备份以来的任意事务点(时间点或者是设置的恢复点)

开发环境

1. windows 7
2. PostgreSQL 9.4
3. 压缩文件gzip

一、备份要求：

1、每天进行一起全备，保留7天
2、每个月进行一次全备，保留一个月
3、开启归档模式
4、要定期删除无效的归档日志

二、具体操作：Windows/pg9.4 备份步骤

1. 备份与恢复都是需要在安装数据库的机器进行，建议使用的客户端为自带的pgadmin或者是命令行
2. 下载windows版本的 gzip压缩软件，并安装。譬如:安装目录为:C:/gzip
3. 找到数据库的数据目录。可以通过的命令行,show data_directory得到。如下:

postgres=# show data_directory; data_directory ----------------- D:/pg_data/data (1 row) SHOW

1. 在data的上级目录建立基础备份目录和增量日志目录。按照上面的路径例子:D:/pg_data/data,会得到如下的目录

D:/pg_data/data D:/pg_data/data_bak #直接拷贝data目录，预防失败情况 D:/pg_data/pg_archive #用于增量备份的日志 D:/pg_data/pg_base #用于基础备份

1. 修改配置文件： D:/pg_data/data/postgres.conf
   1. 打开归档

archive_mode = on

1. 1. 设置归档指令

archive_command = 'C:/gzip/bin/gzip -c %p > D:/pg_data/pg_archive/%f.gz' #注释:%p：表示日志路径，%f：表示日志文件名,使用gzip进行压缩，否则日志非常大。大概有几百倍的压缩率。

1. 1. 设置日志级别，至少为archive

wal_level = archive #注释： minimal为最小的日志，这个不能用于日志的备份.至少是hot_standby才能做主从复制

1. 1. 打开归档日志进程

max_wal_senders = 2 #表示开个新的进程把日志负责日志的传送。设置大于0即可

1. 1. 可选，打开日志收集，主要是为了出现问题的时候查看日志，定位问题

logging_collector = on

1. 1. 视情况而定，设置wal日志的保留数目，有时候基础备份太大，导致wal被复写，导致备份失败

wal_keep_segments= 200 # 200 * 16MB = 3200MB 的wal备份

1. 修改复制流权限配置文件 data/pg_hba.conf,否则基础备份会失败

# replication privilege. host replication postgres 127.0.0.1/32 trust

1. 重启数据库服务
2. 配置PostgreSQL的各种工具文件到环境变量Path中去, 主要是利用备份工具等，如

C:\Program Files\PostgreSQL\9.4\bin

1. 进入windows命令行(cmd) ，执行如下命令，进行基础备份pg_basebackup -h 127.0.0.1 -U postgres -p 5432 -Ft -Pv -Xf -z -Z5 -D E:/odsoft/psql/data_base pg_basebackup -h 127.0.0.1 -U shiyan -p 5430 -Ft -Pv -Xf -z -Z5 -D E:/odsoft/psql/data_base

 

注意端口号错了

pg_basebackup -h 127.0.0.1 -U postgres -p 5432 -Ft -Pv -Xf -z -Z5 -D E:/odsoft/psql/data_base

#命令的参数用途，参考 pg_basebackup --help

进行基础备份后，在目录D:/pg_data/pg_base/下面有文件：base.tar.gz，到这一步，必须成功，否则检测前面步骤出问题的地方。

1. 一般此时会在 D:/pg_data/pg_archive目录下面生成日志备份文件，如果没有，尝试强制日志归档命令：

select pg_switch_xlog(); # 在pg10中为：select pg_switch_wal();

此时，在日志归档目录中D:/pg_data/pg_archive中会出现归档日志，到这一步，也必须成功，否则检测前面步骤出现问题的地方。

1. 若上面没有正常完成，查看base/pg_log/目录下面的最新日志，定位问题。

windows/pg9.4恢复步骤

假设恢复到某一个指定的时间：如：2018-10-19 10:00:00 (业务场景，在10:30错误的操作删除了某些数据，想恢复到：2018-10-10 10:00:00)

1. 关闭数据库服务。备份data的数据为data_bak，防止恢复失败，导致更大的数据丢失。
2. 删除data里面的所有内容，并解基础备份的数据D:/pg_data/pg_base/base.tar.gz到data目录中去。
3. 在PostgreSQL的安装目录，C:\Program Files\PostgreSQL\9.4\share下，拷贝recovery.conf.sample文件到data目录下面，并修改名字为:recovery.conf
4. 修改recovery.conf文件的内容
   1. 修改恢复命令

restore_command = 'C:/gzip/bin/gzip -c -d D:/pg_data/pg_archive/%f.gz > %p'

1.修改恢复得到的时间点

recovery_target_time = '2018-10-19 10:00:00 +08' # +08表示东八区

1. 启动数据库，即可恢复到指定的时间。

 

备份方案

1. 建议后台程序/或者人工1个月执行一次基础备份。否则还原的时间太长，或者归档日志的丢失造成的损失
2. 基础备份建议只是保留1年或者是半年。时间太长意义不大

自动定时增量备份，准备用windows的定时任务进行，请看下篇笔记