Postgresql学习笔记

概述

postgresql是一个开源的关系型数据库，可以作为mysql的替代品。
本篇意在让读者快速的了解postgresql的基本概念，使用的版本是postgresql9.6本，如有错误欢迎指正。

参考书籍

《PostgreSQL 9 Administration Cookbook》第二版。

本篇省略的东西

有些内容比较冗长，或者使用场景较少，或者过于复杂，建议参考具体的手册，本篇将会省略。

• 选择postgresql的理由。
• 常用的用于操作的语法、语句。
• 数据库函数的编写与执行。
• 不同数据库、模式、表空间之间的数据移动。
• 访问其他postgres数据库或者其他类型的数据库。
• 自动数据库维护的定制化配置。
• 数据库的复制配置。
• 数据库的升级操作。

postgres服务使用

发音

post-gres-q-l。

下载、安装、启动

基本上主流unix操作系统的库里都有制作好的安装包，直接安装即可，然后用相应的系统服务启动。
也可以使用命令行工具启动或者停止。
-m参数可以指定关闭方式，fast会等待所有操作完毕后再关闭，immediate则会强行关闭。

pg_ctl -D Datadir start
pg_ctl -D Datadir -m fast stop
pg_ctl -D Datadir -m immediate stop

每个服务在初始化的时候都会被分配一个系统标识符，很多系统操作需要使用到，可以通过如下命令获得。

pg_controldata Datadir | grep “system identifier”

版本号

postgreql的版本号组成为：主版本号.次版本号.维护版本号，它的特性和兼容性是由主版本号和次版本号共同决定的。

psql --version

连接

初始管理员用户：postgres，密码：postgres，数据库：postgres。

psql postgres://user:password@host:port/db
psql -U user -W password -h host -p port -d db

变量	默认值
user	当前用户
password	空
host	localhost
port	5432
db	postgres

每个连接在同一时刻只允许有一个活跃的事务，并且在任何时刻只允许有一个完全活跃的语句。

数据库

psql -l

template0和template1是两个数据库模板，template1是可以修改的，用来自定义。

命令行执行语句和脚本

psql -c "SELECT current_time"
psql -f test.sql

postgres客户端

帮助

postgres=# help
postgres=# ?
postgres=# \h

注释

-- 单行注释
/*
* 多行注释
*/

退出

postgres=# \q

开关一行显示一列数据

postgres=# \x

运行操作系统的命令

postgres=# \! cat test.sql

命令从文件中定向输入

postgres=# \i test.sql

临时数据库配置，LOCAL表示仅对当前事务生效

postgres=# SET work_mem = '16MB';
postgres=# SET LOCAL work_mem = '16MB';
postgres=# RESET work_mem;
postgres=# SHOW work_mem;

管理数据库插件

postgres=# CREATE EXTENSION myext;
postgres=# ALTER EXTENSION myext UPDATE;
postgres=# DROP EXTENSION myext;

更新所有表大小和数据分布的统计信息

postgres=# ANALYZE;

垃圾回收

postgres=# VACUUM;

postgres数据管理

服务（server）

• 一个操作系统中可以启动多个postgres服务。
• 每个服务由多个进程组成，为首的进程名为postmaster。
• 每个服务要占用一个端口，多个服务不能共享端口。
• 每个服务都有一个data目录用于存放数据，目录不允许修改，否则会破坏数据库，并且无法修复。
• 服务使用4字节长的内部事务标识符，即时发生重叠后仍然继续使用，这会导致问题，所以需要定期进行VACUUM操作。

数据库（database）

• 一个服务中可以拥有多个数据库。
• 数据库默认是任何用户可连接的，创建好后需要修改相应的权限。
• 数据库之间的数据是隔离的，不能进行联表。
• 数据库默认的数据块大小为8192。

模式（schema）

• 一个数据库中可以有多个模式，模式相当于表的命名空间，类似于mysql中的database，可以使用带模式的完整名称来访问或者创建对象。
• 不同模式之间的表是可以联表查询的。
• 可以通过对用户设置search_path参数来指定默认搜索的模式。

表（table）

• 一个模式中可以有多张表。
• 表是由多个关系元素组成的，大字段数据放在另一个名为TOAST的表中，每张表都有一个TOAST表和TOAST索引。
• 用双引号括起来的表和没用双引号括起来的表是不一样的，即使名字一样。
• 双引号括起来的表区分大小写，没用双引号括起来的表不区分大小写。

列（column）

• 每张表都由许多列组成，每一列有一个列名、类型、默认值等属性，用来存储每一条记录中的各种值。
• 文本类型统一由一种数据类型存储，支持长度从1B到1G，经过优化，存储少的时候很高效，存储多的时候会自动管理和压缩。
• 自增类型serial本质上就是整数，通过创建并关联到一个SEQUENCE类型的对象来记录自增值。

表空间（tablespace）

• 默认情况下，所有的数据都会放在postgres指定的data目录下，通过定义表空间，可以让postgres将数据存放在不同的设备上。
• 表空间是通过软链接来实现的。
• 建议为每个数据库设立一个单独的表空间，尤其是不同数据库中有同名的模式或者表的时候。

postgres=# CREATE TABLESPACE tbs LOCATION '/usr/local/tbs';

视图（view）

• 视图本质上是预定义好的一个sql查询，以一张表的形式给出，在每次调用时都会执行相应的sql查询。

postgres=# CREATE VIEW view AS SELECT * FROM tb;

• 当视图足够简单的时候，postgres是支持视图更新的，相应的更新会传递到相应的表中。
  还可以使用INSTEAD OF触发器或者规则来实现视图更新，请参考具体的操作手册。
• 物化视图可以预先将数据查询出来，这样调用的时候就不必反复查询了，更新需要手动更新。

postgres=# CREATE MATERIALIZED VIEW view AS SELECT * FROM tb;
postgres=# REFRESH MATERIALIZED VIEW view;

行（row）

• 行即表中的一条数据。
• postgres中每个行都有一个行版本，而且还有两个系统列xmin和xmax，分别标示这个行被创建和删除的事务。
  删除时，设置xmax为删除事务号，不会实际执行删除。
• UPDATE操作被认为是紧跟INSERT操作后的DELETE操作。

索引（index）

• 索引可以用来给表添加约束或者提高查询速度。
• 在涉及高比例插入\删除的表中，会造成索引膨胀，这时候可以重建索引。

reindexdb

• 创建CONCURRENTLY索引时不会持有全表锁，这条指令分成两个步骤，第一部分创建索引并标记为不可用，这时候INSERT、UPDATE、DELETE操作已经开始维护索引了，但是查询不能使用索引。建立完毕后才会被标记为可用。

postgres=# CREATE CONCURRENTLY INDEX index ON tb(id);

• 可以手工设置索引的可用性。

UPDATE pg_index SET indisvalid = false WHERE indexrelid = index::regclass;

postgres目录结构

子目录	用途
base	主数据目录。此目录中每个数据库都有自己的目录，以oid号命名，其中包含用于每张表和索引的文件
global	数据库中的系统表，在所有的数据库中共享
pg_clog	事务状态文件
pg_dynshmem	动态共享内存信息
pg_multixact	行锁状态文件
pg_notify	监听和通知的状态文件
pg_replslot	复制槽位的信息
pg_serial	已提交的序列化事务信息
pg_snapshot	输出的快照文件
pg_stat	服务活动统计以及持久文件
pg_stat_tmp	服务活动统计以及临时文件
pg_subtrans	子事务状态文件
pg_tblspc	连接到外部的表空间
pg_twophase	“两阶段提交”事务状态
pg_xlog	事务日志WAL

postgres权限控制

连接权限

首先要修改数据目录下的postgresql.conf文件来允许它监听所有地址。修改完后需要重启服务。

listen_addresses = '*'

postgres连接的权限在数据目录下的pg_hba.conf文件中按照指定格式进行定义，每次连接会按照顺序检查每条规则，直到匹配到通过策略或者拒绝策略。

#TYPE DATABASE USER ADDRESS METHOD
host all all 127.0.0.1/32 password

每条策略的参数如下：

• type：连接类型，local表示允许本地socket连接、host表示允许ip连接、hostssl表示允许ssl连接。
• database：连接的数据库，all表示所有、sameuser表示用户名和数据库名相同、其他表示数据库名称。
• user：连接的用户，all表示所有用户、其他表示连接的数据库用户。
• address：允许连接的子网和子网掩码。
• method：认证方式，trust表示允许、password表示密码、md5表示加密密码、cert表示证书、ldap表示ldap认证，对于证书认证之后还会有一个参数来配置证书。

权限模型

• postgres采用角色（ROLE）-权限（PRIVILEGE）模型。
• 权限主要有USAGE、SELECT、INSERT、UPDATE、DELETE五种。
• 角色分两种，可以登录的用户（USER）与不可以登录的组（GROUP）。
• 角色可以继承。

postgres=# CREATE USER user;
postgres=# CREATE ROLE role NOLOGIN;
postgres=# GRANT role1 TO role2;

特殊权限

• postgres中有一些特殊权限，不能被授予，也不会被继承，分别是SUPERUSER、CREATEDB和CREATEUSER;
• 特殊权限单独对用户进行授予或者回收。

角色切换与权限继承

• 用户可以切换到自己拥有的角色。

postgres=# SET ROLE TO role;

• 可以通过NOINHERIT参数来创建不会继承角色的用户，这样用户只有切换角色才能获得相应的权限。

postgres=# CREATE USER user NOINGERIT;

postgres支持的数据类型

数

• 整数：smallint、integer、bigint
• 实数：real、double
• 自增数：smallserial、serial、bigserial
• 高精度：decimal、numeric

串

• 有限不定长字符串：varchar
• 有限定长字符串：char
• 无限不定长字符串：text
• 位串：bit
• UUID

几何

• 点：point
• 线：line、lseg
• 矩形：box
• 圆：circle
• 路径：path
• 多边形：polygon

其他

• 布尔：boolean
• 枚举：enum
• 二进制：bytea
• 时间：date、time、timestamp、interval
• 货币：money
• 网络地址：cidr、inet、macaddr
• 数据格式：json、xml
• 复合类型：table、type

postgres中一些系统变量、系统函数和系统视图

变量名	含义
current_user	当前用户
current_time	当前时间
current_timestamp	当前时间戳
current_schema	当前所在模式
current_user	当前登录的用户
session_user	当前会话的用户

函数名	功能
current_database0	当前连接的数据库
inet_server_addr()	当前服务的地址
inet_server_port()	当前服务的端口
version()	当前数据库的版本
pg_postmaster_start_time()	服务启动时间
pg_database_size()	当前数据库的大小
pg_size_pretty()	格式化尺寸数字
pg_relation_size(table)	某张表的表大小
pg_total_relation_size(table)	某张表的总大小
pg_reload_conf()	重新加载配置文件
generate_series(a, b)	从a到b顺序生成整数
random()	随机一个0到1之间的数
:: type	强制类型转换
pg_cancel_backend(pid)	取消当前查询
pg_terminate_backend(pid)	杀死后端进程
pg_stat_reset()	重置表的统计信息
pg_stat_statements_reset()	重置查询的统计信息

视图名	内容
pg_database	服务中的数据库信息
pg_catalog	系统信息
pg_extension	扩展插件信息
pg_available_extensions	可用扩展插件信息
pg_constraint	表之间的约束信息
pg_settings	数据库的配置
pg_stat_activity	后台进程的信息
pg_stat_user_tables	当前使用情况统计信息
pg_stat_database	数据库的统计信息
pg_stat_statements	被执行的查询的执行状态
pg_locks	锁信息
pg_prepared_xacts	准备事务的信息
pg_index	索引的信息
pg_class	实体的信息
pg_stat_replication	复制的状态

postgres脚本执行

postgres会按照顺序执行脚本中的每条指令，遇到错误会报错并继续执行接下来的指令。

事务

事务的功能是让一批指令要么同时执行成功，要么同时执行失败。本质上postgres会按照顺序执行指令，一旦遇到错误，就回滚之前的指令。
事务是不能够嵌套的，否则后续的BEGIN会被忽略。

postgres=# BEGIN;
postgres=# command1;
postgres=# command2;
postgres=# COMMIT;

因为事务的特性，使得事务中不能包含以下命令。

• CREATE/DROP DATABASE/TABLESPACE
• CREATE INDEX CONCURRENTCY
• VACUUM
• REINDEX DATABASE / REINDEX SYSTEM
• CLUSTER

遇错退出

通过设置开关来实现遇到错误就停止脚本。

psql -f test.sql -v ON_ERROR_STOP=on
postgres=# \set ON_ERROR_STOP

数据导入与导出

postgres提供两个工具来进行数据导入和导出，pg_dump和pg_dumpall。

• pg_dump工具产生一个默认轻量压缩的自定义格式归档文件，通过pg_restore恢复；pg_dumpall工具产生一个脚本文件，通过psql执行。
• pg_dump不会导出角色和表空间；pg_dumpall可以导出全局对象，也可以只导出全局对象。
• pg_dump和gp_restore可以并行，pg_dumpall和psql只能串行。
• pg_dump也可以通过选项-F p来生成脚本文件。
  postgres还可以进行热物理备份，需要遵循步骤来处理备份中的增量数据，详细信息请参考手册。

复制

postgres提供两种复制方法，物理流复制和逻辑流复制。
之前还有一种基于日志文件传送的复制，主节点将数据库更改记录到事务日志，然后将日志文件从主节点传动到备节点，之后备节点再重演日志。现在它已经被流复制取代了，不推荐使用。

• 物理流复制获取事务日志WAL并将数据传送到远程节点，WAL包含数据块中发生的改变的精确物理备份，因此远程节点是主节点的精确副本，也无法执行写入到数据库的事务。
• 逻辑流复制允许远程节点复制数据而不需要保持数据库的完整副本，复制中所有形式的身份验证和安全工作都和普通的连接相同。逻辑流复制可以实现多主复制。
• 复制槽位功能允许明确定义复制架构，还允许即使在节点连接断开的情况下跟踪节点的细节。逻辑流复制以及任何其他使用逻辑解码功能的工具都需要复制槽位，但对于物理流是可选的。