PostgreSQL10基础（6）Analyze和Vacuum
参考文档
- https://www.postgresql.org/docs/10/sql-analyze.html
- https://www.postgresql.org/docs/10/routine-vacuuming.html
- https://www.postgresql.org/docs/10/sql-vacuum.html
- https://www.postgresql.org/docs/10/runtime-config-autovacuum.html
- https://www.postgresql.org/docs/10/runtime-config-resource.html#RUNTIME-CONFIG-RESOURCE-VACUUM-COST
Analyze
Analyze命令用于统计数据库表数据，统计结果存储到pg_statistic系统表中。数据库进行基于成本的优化（CBO）时通过统计数据优化SQL语句的解释计划。
命令
ANALYZE [ VERBOSE ] [ table_name [ ( column_name [, ...] ) ] ]
- VERBOSE：显示处理信息
- table_name：指定分析的表，如果未指定将分析当前数据库（逻辑库）中所有常规表、分区表、物化视图。分区表及其子表将被分析
- column_name：指定分析的列名，可以用逗号分割多列，默认对所有列分析
权限说明
- 表的所有者或者超级用户可以执行analyze命令
- 数据库所有者也可以分析库中的所有表
- 不具备权限的表将被跳过分析
影响
Analyze只需要获取一个read锁，不会影响表的正常读写。
统计量
analyze默认统计most_common_vals（最常见值）和histogram_bounds（区间内含有相似数据条数的值列表）100个
可以通过设置全局变量default_statistics_target修改统计信息量(默认值100)
可以通过alter table XX alter column XX set STATISTICS 来设置每个列的统计量，值在0-10000之间，-1表示使用default_statistics_target值
建议
大量读的数据库可以每天在低负载时运行Analyze（大量更新活动将不够频繁）
Vacuum
Vacuum用于清理死亡元组占用的存储空间，默认删除或因更新过期（为了MVVC）的元组不会被物理删除。因此需要周期性的进行Vacuum，尤其是频繁更新的表
命令
VACUUM [ ( { FULL | FREEZE | VERBOSE | ANALYZE | DISABLE_PAGE_SKIPPING } [, ...] ) ] [ table_name [ (column_name [, ...] ) ] ]
VACUUM [ FULL ] [ FREEZE ] [ VERBOSE ] [ table_name ]
VACUUM [ FULL ] [ FREEZE ] [ VERBOSE ] ANALYZE [ table_name [ (column_name [, ...] ) ] ]
- FULL:
- 不加full时，Vacuum标记过期磁盘空间为可用，用于该表以后重用，但磁盘不会释放给操作系统，执行Vacuum操作不会影响表的读写。
- 加full时，Vacuum将表数据复制到另外一块磁盘空间，负责完成后删除老的磁盘空间。老空间将被释放给操作系统，但需要足够的磁盘空间才能完成操作。且操作执行时添加exclusive lock在表上，表将无法正常读写。
- ANALYZE：同时执行Vacuum和analyze
- VERBOSE：显示处理信息
- table_name：如果未指定将清扫当前数据库（逻辑库）中所有常规表、分区表、物化视图。分区表及其子表将被清扫。
- column_name：指定分析的列名，可以用逗号分割多列，默认对所有列分析
- FREEZE和DISABLE_PAGE_SKIPPING在此不做详细介绍
权限说明
- 表的所有者或者超级用户可以执行vacuum命令
- 数据库所有者也可以清扫库中的所有表
- 不具备权限的表将被跳过清扫
影响
FULL会影响表的正常读写。
建议
- 生产数据库建议频繁Vacuum（至少每晚）以清理死亡行。
- 大量添加或删除行后建议进行VACUUM ANALYZE
- FULL不建议日常使用，因为会缩表，但可以降低磁盘占用
- Vacuum会消耗IO，可以使用基于消耗的Vacuum延迟功能
Cost-based Vacuum Delay
当执行Vacuum和analyze时，系统维护一个内部计数器记录消耗的IO。当消耗达到acuum_cost_limit时，将停止执行命令vacuum_cost_delay毫秒，然后重新计数。
此功能的目的是降低Vacuum和Analyze操作对系统的性能影响。默认功能关闭，可以设置vacuum_cost_delay大于0开启
- vacuum_cost_delay：单位毫秒，vacuum休眠时长，默认为0，将禁用此功能。设置为大于0值将开启功能。建议设置为10或20.
- vacuum_cost_page_hit：vacuum命中shared buffer缓存，并锁定缓存的成本，默认为1
- vacuum_cost_page_miss：当Vacuum必须读取磁盘时的成本，默认为10
- vacuum_cost_page_dirty: 当vacuum修改block的成本，默认20
- vacuum_cost_limit：vacuum触发休眠的成本，默认200。
自动清理和自动分析
参数
- autovacuum：布尔值，表示是否启用自动清扫进程，默认打开。但当track_count（默认开启）也被开启时才能启用
- log_autovacuum_min_duration: 整型，自动扫描被记录的最少耗时（毫秒），设置为0将记录所有自动清扫操作。默认为-1，禁用日志记录。
- autovacuum_max_workers:设置自动清扫进程的最大数量，默认为3.
- autovacuum_naptime：设置在一个数据库上执行两次自动清扫动作的最小间隔时间，单位为秒，默认60
- autovacuum_vacuum_threshold：设置在一张表上触发Vacuum操作的最小更新或删除元组数，默认50
- autovacuum_analyze_threshold：设置在一张表上触发analyze操作的最小更新或删除元组数，默认50
- autovacuum_vacuum_scale_factor：设置在一张表上触发Vacuum操作的最小变更百分比，默认0.2（表有20%的变动）,可以设置系统级参数，也可以为每张表设置独立值。
- autovacuum_analyze_scale_factor：设置在一张表上触发analyze操作的最小变更百分比，默认0.1（表有10%的变动）,可以设置系统级参数，也可以为每张表设置独立值。
- autovacuum_vacuum_cost_delay：设置基于成本的延迟，单位毫秒，如果值为-1，则使用vacuum_cost_delay值，默认为20。可以设置系统级参数，也可以为每张表设置独立值。
- autovacuum_vacuum_cost_limit：触发延迟的成本数，默认为-1，表示使用vacuum_cost_limit值。可以设置系统级参数，也可以为每张表设置独立值。
另外自动清理还将清理事务ID，防止其超过最大值。该清理无法被关闭。
触发条件
- autovacuum和track_count都被打开
- 清扫条件：元组增删改数量>autovacuum_analyze_threshold + autovacuum_vacuum_scale_factor * 总元祖数
- 自动分析条件： 元组增删改数量>autovacuum_analyze_threshold + autovacuum_analyze_scale_factor * 总元祖数
进程
数据库将自动每隔autovacuum_naptime秒在每一个逻辑库启动一个进程，但总数不能大于autovacuum_max_workers，如果有等待处理的数据库，进程将在处理完一个库后立即处理下一个。
每个进程都将检查数据库中每张表，判断是否需要执行vacuum和/或analyze
执行情况
历史执行视图pg_stat_all_tables
select relid,schemaname,relname,last_vacuum,vacuum_count,last_autovacuum,autovacuum_count,last_analyze,analyze_count,last_autoanalyze,autoanalyze_count from pg_stat_all_tables
每张表一条记录
- last_vacuum：上次手动vacuum时间
- vacuum_count：总计手动vacuum次数
- last_autovacuum：上次自动vacuum时间
- autovacuum_count：总计自动vacuum次数
- last_analyze：上次手动analyze时间
- analyze_count：总计手动analyze次数
- last_autoanalyze：上次自动analyze时间
- autoanalyze_count：总计自动analyze次数
该视图还有其他有助于性能分析的字段
- seq_scan：顺序扫描次数
- seq_tup_read：顺序扫描读取的存活行数
- idx_scan：索引扫描次数
- idx_tup_read：索引扫描读取的存活行数
- n_tup_ins：插入的行数
- n_tup_upd：更新的行数
- n_tup_del：删除的行数
- n_live_tup：存活行数
- n_dead_tup：死亡行数
- n_mod_since_analyze：上次分析以来修改的行数
执行过程视图pg_stat_progress_vacuum
9.6版本新增
字段说明：
- pid：进程ID
- datid：数据库OID
- datname: 数据库名称
- relid：当前Vacuum的表ID
- phrase：处理阶段，见下文
- heap_blks_total：表中总heap block数量
- heap_blks_scanned：被扫描的数量，可用性视图会协助跳过一部分block
- heap_blks_vacuumed：完成清扫的数量
- index_vacuum_count：完成索引清扫次数
- max_dead_tuples：执行一次索引清扫前遇到的最大死亡元组数量，基于maintenance_work_mem.
- num_dead_tuples：上次索引清扫后找到的死亡元组数量
阶段说明
- initializing：准备扫描heap
- scanning heap：扫描heap，会对每个页进行修剪和整理，可能执行冻结操作。heap_blks_scanned列可以观察执行进度。如果维护内存不足，可能执行多次
- vacuuming indexes：清扫索引。如果表有索引，将最少执行一次本动作。
- vacuuming heap：清扫heap，每次清扫索引后进行
- cleaning up indexes：清理索引。在所有heap扫描完成，所有索引和heap被vacuum完成后执行
- truncating heap：缩减heap以归还处于表最后位置的空页面到操作系统。磁盘空闲将增大，但只有空页面位于最后位置才会被归还
- performing final cleanup：执行最后的清理，此阶段将清理free space map，更新statistics视图
graph LR
初始化-->扫描堆
扫描堆-->清理索引
清理索引-->清理堆
清理堆-->扫描堆
清理堆-->最终清理索引
最终清理索引-->缩减堆
缩减堆-->清理完成
总结
通过pg_stat_all_tables视图发现默认设置下Vacuum和Analyze执行不够频繁，可以考虑定时每日清理+大量操作后清理，并通过延迟清理功能降低对生产系统性能影响