PostgreSQL备份至OSS 工具集镜像制作

PostgreSQL备份至OSS 工具集镜像制作

alpine版本:3.9 目前最新
PostgreSQL版本: 11.2

本文档只针对 备份工具以及OSS工具的镜像制作，不涉及具体的备份部署，请参考PostgreSQL备份文档

这里提供已经制作好的镜像，各位新手可以直接使用

为了镜像的安全，各位公司开发还是基于dockerfile自行构建

docker pull liyx/postgres_backup_to_oss:1.0

原理

使用PostgerSQL的官方 alpine dockerfile文件，删除该文件的PostgreSQL启动部分，达到构建Postgres客户端的目的。
需要注意的是:在国内官方dockerfile中部分apk的安装会异常慢，可以使用国外服务器制作，上传至docker hub。

问题1： 为什么不直接 使用apk add postgresql-client

postgresql-client安装后只能执行 psql命令，无法执行pg_dump命令，
我采用的解决方法是：使用PostgreSQL的安装文件构建一个带有PostgreSQL服务器的服务，只不过不开启服务，只是用其中的命令工具

一、 编辑dockerfile文件

文件内容见附录

二、 构建容器镜像

docker build -t oss:2.1 . -f dockerfile

三、 测试构建的镜像

# 测试容器
docker run -it --rm oss:1.1
$ psql --help
$ pg_dump --help
$ ossutil --help

四 测试PostgreSQL数据库连接

docker run -it --rm oss:1.1
psql -U admin -h 192.168.0.69 -p5432
# 输入密码

五、测试备份

测试备份，并将备份文件挂载到磁盘中

docker run -it --rm -v /home/lyx/backup:/var/backup oss:1.1
# 使用gzip压缩文件，以减小存储体积
pg_dump "host=192.168.0.69 port=5432 user=admin password=密码 dbname=备份的数据库" | gzip > back.sql.gz

六、测试还原备份

docker run -it --rm -v /home/lyx/backup:/var/backup oss:1.1
# 解压文件
gzip -d daily_20190416_120004.sql.gz
psql -U admin -h 192.168.0.69 -p5432 -d 备份到的数据库名 < /var/backup/daily_20190416_120004.sql
# 输入密码登录

上传镜像

1. 上传至阿里云镜像仓库

# 登录 阿里云镜像仓库
docker login --username=登录名 registry.cn-qingdao.aliyuncs.com
# 重命名镜像的名称和版本
docker tag 【IMAGE ID】 registry.cn-qingdao.aliyuncs.com/【仓库名】/postgres_backup_to_oss:1.0
# 上传镜像
docker push registry.cn-qingdao.aliyuncs.com/【仓库名】/postgres_backup_to_oss:1.0

# 拉取镜像
docker  pull registry.cn-qingdao.aliyuncs.com/【仓库名】/postgres_backup_to_oss:1.0
# 最后记住要退出登录，因为docker会自动以base64的方式（明文）记录 login的内容，包括密码，logout后会自动删除
docker logout registry.cn-qingdao.aliyuncs.com

2.上传至docker hub 仓库

# 上传镜像
docker login
输入 用户名和密码登录至 docker hub仓库
docker tag 【IMAGE ID】【仓库名】/postgres_backup_to_oss:1.0
docker push 【仓库名】/postgres_backup_to_oss:1.0
# 拉取镜像
docker pull 【仓库名】/postgres_backup_to_oss:1.0

# 退出登录 因为docker会自动以base64的方式（明文）记录 login的内容，包括密码，logout后会自动删除
docker logout

踩坑之旅

为什么我构建下面的镜像一直卡住

由于是使用官方的dockerfile，有部分是从 国外下载的文件，导致异常慢。我试过换成国内的镜像源（清华大学的），发现 有部分apk的安装会报错 找不到包，其他国内镜像源没试过。我是直接使用亚马逊的国外服务器，在其中构建的。

镜像最后有多大

安装了PostgreSQL和Ossutil之后有109MB，只安装PostgreSQL有70MB左右。

PostgreSQL是怎么构建的

首先下载官方的源码文件 官方源码地址，然后编译执行，最后将源码文件删除，保证镜像的大小

附录

dockerfile内容

FROM alpine:3.9
MAINTAINER "lyx"

### ----------  设置时区为北京时区 ---------- 
ENV  TIME_ZONE Asia/Shanghai

#Alpine目录并无timezone及locatime配置,所以需要先安装
#dockerfile增加命令
RUN \
#安装tzdata安装包
apk add --no-cache tzdata \
#设置时区
&& echo "${TIME_ZONE}" > /etc/timezone \ 
&& ln -sf /usr/share/zoneinfo/${TIME_ZONE} /etc/localtime 

###---------- 安装postgres 使用官方的dockerfile -----------
# alpine includes "postgres" user/group in base install
#   /etc/passwd:22:postgres:x:70:70::/var/lib/postgresql:/bin/sh
#   /etc/group:34:postgres:x:70:
# the home directory for the postgres user, however, is not created by default
# see https://github.com/docker-library/postgres/issues/274

RUN apk --no-cache add ca-certificates wget

RUN set -ex; \
	postgresHome="$(getent passwd postgres)"; \
	postgresHome="$(echo "$postgresHome" | cut -d: -f6)"; \
	[ "$postgresHome" = '/var/lib/postgresql' ]; \
	mkdir -p "$postgresHome"; \
	chown -R postgres:postgres "$postgresHome"

# su-exec (gosu-compatible) is installed further down

# make the "en_US.UTF-8" locale so postgres will be utf-8 enabled by default
# alpine doesn't require explicit locale-file generation
ENV LANG en_US.utf8

RUN mkdir /docker-entrypoint-initdb.d

ENV PG_MAJOR 11
ENV PG_VERSION 11.2
ENV PG_SHA256 2676b9ce09c21978032070b6794696e0aa5a476e3d21d60afc036dc0a9c09405

RUN set -ex \
	\
	&& apk add --no-cache --virtual .fetch-deps \
		ca-certificates \
		openssl \
		tar \
	\
	&& wget -O postgresql.tar.bz2 "https://ftp.postgresql.org/pub/source/v$PG_VERSION/postgresql-$PG_VERSION.tar.bz2" \
	&& echo "$PG_SHA256 *postgresql.tar.bz2" | sha256sum -c - \
	&& mkdir -p /usr/src/postgresql \
	&& tar \
		--extract \
		--file postgresql.tar.bz2 \
		--directory /usr/src/postgresql \
		--strip-components 1 \
	&& rm postgresql.tar.bz2 \
	\
	&& apk add --no-cache --virtual .build-deps \
		bison \
		coreutils \
		dpkg-dev dpkg \
		flex \
		gcc \
#		krb5-dev \
		libc-dev \
		libedit-dev \
		libxml2-dev \
		libxslt-dev \
		make \
#		openldap-dev \
		openssl-dev \
# configure: error: prove not found
		perl-utils \
# configure: error: Perl module IPC::Run is required to run TAP tests
		perl-ipc-run \
#		perl-dev \
#		python-dev \
#		python3-dev \
#		tcl-dev \
		util-linux-dev \
		zlib-dev \
		icu-dev \
	\
	&& cd /usr/src/postgresql \
# update "DEFAULT_PGSOCKET_DIR" to "/var/run/postgresql" (matching Debian)
# see https://anonscm.debian.org/git/pkg-postgresql/postgresql.git/tree/debian/patches/51-default-sockets-in-var.patch?id=8b539fcb3e093a521c095e70bdfa76887217b89f
	&& awk '$1 == "#define" && $2 == "DEFAULT_PGSOCKET_DIR" && $3 == "\"/tmp\"" { $3 = "\"/var/run/postgresql\""; print; next } { print }' src/include/pg_config_manual.h > src/include/pg_config_manual.h.new \
	&& grep '/var/run/postgresql' src/include/pg_config_manual.h.new \
	&& mv src/include/pg_config_manual.h.new src/include/pg_config_manual.h \
	&& gnuArch="$(dpkg-architecture --query DEB_BUILD_GNU_TYPE)" \
# explicitly update autoconf config.guess and config.sub so they support more arches/libcs
	&& wget -O config/config.guess 'https://git.savannah.gnu.org/cgit/config.git/plain/config.guess?id=7d3d27baf8107b630586c962c057e22149653deb' \
	&& wget -O config/config.sub 'https://git.savannah.gnu.org/cgit/config.git/plain/config.sub?id=7d3d27baf8107b630586c962c057e22149653deb' \
# configure options taken from:
# https://anonscm.debian.org/cgit/pkg-postgresql/postgresql.git/tree/debian/rules?h=9.5
	&& ./configure \
		--build="$gnuArch" \
# "/usr/src/postgresql/src/backend/access/common/tupconvert.c:105: undefined reference to `libintl_gettext'"
#		--enable-nls \
		--enable-integer-datetimes \
		--enable-thread-safety \
		--enable-tap-tests \
# skip debugging info -- we want tiny size instead
#		--enable-debug \
		--disable-rpath \
		--with-uuid=e2fs \
		--with-gnu-ld \
		--with-pgport=7852 \
		--with-system-tzdata=/usr/share/zoneinfo \
		--prefix=/usr/local \
		--with-includes=/usr/local/include \
		--with-libraries=/usr/local/lib \
		\
# these make our image abnormally large (at least 100MB larger), which seems uncouth for an "Alpine" (ie, "small") variant :)
#		--with-krb5 \
#		--with-gssapi \
#		--with-ldap \
#		--with-tcl \
#		--with-perl \
#		--with-python \
#		--with-pam \
		--with-openssl \
		--with-libxml \
		--with-libxslt \
		--with-icu \
	&& make -j "$(nproc)" world \
	&& make install-world \
	&& make -C contrib install \
	\
	&& runDeps="$( \
		scanelf --needed --nobanner --format '%n#p' --recursive /usr/local \
			| tr ',' '\n' \
			| sort -u \
			| awk 'system("[ -e /usr/local/lib/" $1 " ]") == 0 { next } { print "so:" $1 }' \
	)" \
	&& apk add --no-cache --virtual .postgresql-rundeps \
		$runDeps \
		bash \
		su-exec \
# tzdata is optional, but only adds around 1Mb to image size and is recommended by Django documentation:
# https://docs.djangoproject.com/en/1.10/ref/databases/#optimizing-postgresql-s-configuration
		tzdata \
	&& apk del .fetch-deps .build-deps \
	&& cd / \
	&& rm -rf \
		/usr/src/postgresql \
		/usr/local/share/doc \
		/usr/local/share/man \
	&& find /usr/local -name '*.a' -delete

# make the sample config easier to munge (and "correct by default")
RUN sed -ri "s!^#?(listen_addresses)\s*=\s*\S+.*!\1 = '*'!" /usr/local/share/postgresql/postgresql.conf.sample

RUN mkdir -p /var/run/postgresql && chown -R postgres:postgres /var/run/postgresql && chmod 2777 /var/run/postgresql

ENV PGDATA /var/lib/postgresql/data
RUN mkdir -p "$PGDATA" && chown -R postgres:postgres "$PGDATA" && chmod 777 "$PGDATA" # this 777 will be replaced by 700 at runtime (allows semi-arbitrary "--user" values)
VOLUME /var/lib/postgresql/data
## 此处省略启动程序
# ----------- 仅安装postgres 程序，但是不启动，因为只是用其客户端，不使用服务端 ------#

### -------------安装 ossutils 工具---------------- ###

#******************Alpine安装 Glibc(依赖库) https://github.com/sgerrand/alpine-pkg-glibc *****************
RUN apk --no-cache add ca-certificates wget
RUN wget -q -O /etc/apk/keys/sgerrand.rsa.pub https://alpine-pkgs.sgerrand.com/sgerrand.rsa.pub
RUN wget https://github.com/sgerrand/alpine-pkg-glibc/releases/download/2.29-r0/glibc-2.29-r0.apk
RUN apk add glibc-2.29-r0.apk

RUN rm -rf /etc/apk/keys/sgerrand.rsa.pub
RUN rm -rf /glibc-2.29-r0.apk

# 安装 grep 原装不支持 正则判断 -P
RUN apk add grep

# 下载 oss命令行工具 ossutil
RUN wget -O ossutil http://gosspublic.alicdn.com/ossutil/1.5.0/ossutil64
RUN mv ossutil /usr/local/bin/

RUN chmod +x /usr/local/bin/ossutil 

# 创建挂载执行脚本的目录
RUN mkdir /usr/local/shell

# 创建备份文件夹
RUN mkdir /var/backup

# 设置默认工作空间
WORKDIR /usr/local/shell