大数据-玩转数据-pg数据库释放表空间

一、查看表空间大小

select spcname from pg_tablespace;    //查看所有表空间

 select pg_size_pretty(pg_tablespace_size('pg_default'));  //查看表空间大小

二、查询出数据占用表空间大小

占用最大的前50张表

SELECT 
table_schema || '.' || table_name 
AS table_full_name, pg_size_pretty(pg_total_relation_size('"' ||table_schema || '"."' || table_name || '"')) AS size
FROM 
information_schema.tables
ORDER BY
    pg_total_relation_size('"' || table_schema || '"."' || table_name || '"')
DESC limit 50;

查询某一张表表空间

select pg_size_pretty(pg_tablespace_size(‘xxx_table’));

三、表空间释放

删除数据

delete from xxx_table where …

再查看占用大小，仍然是2G，空间并没有释放。查到一种说法是执行delete后，实际数据并没有被删除，只是对要删除的行做了标记
释放表空间

vacuum full table_name

四、TRUNCATE 与 DELETE 区别

删除时，如果要释放空间，需要使用TRUNCATE
TRUNCATE TABLE table_name;
TRUNCATE ：
1、TRUNCATE TABLE 在功能上与不带 WHERE 子句的 DELETE 语句相同：二者均删除表中的全部行。但 TRUNCATE TABLE 比 DELETE 速度快，且使用的系统和事务日志资源少。

2、DELETE 语句每次删除一行，并在事务日志中为所删除的每行记录一项。TRUNCATE TABLE 通过释放存储表数据所用的数据页来删除数据，并且只在事务日志中记录页的释放。

3、TRUNCATE TABLE 删除表中的所有行，但表结构及其列、约束、索引等保持不变。新行标识所用的计数值重置为该列的种子。如果想保留标识计数值，请改用 DELETE。如果要删除表定义及其数据，请使用 DROP TABLE 语句。

4、对于由 FOREIGN KEY 约束引用的表，不能使用 TRUNCATE TABLE，而应使用不带 WHERE 子句的 DELETE 语句。由于 TRUNCATE TABLE 不记录在日志中，所以它不能激活触发器。

5、TRUNCATE TABLE 不能用于参与了索引视图的表。

6、对用TRUNCATE TABLE删除数据的表上增加数据时，要使用UPDATE STATISTICS来维护索引信息。

7、如果有ROLLBACK语句，DELETE操作将被撤销，但TRUNCATE不会撤销。

五、vacuum full与vacuum的区别

1.vacuum只是将删除状态的空间释放掉，转换到能够重新使用的状态，但是对于系统来说该数据块的空闲空间并没有反应到系统的元数据中，并不进行空间合并。

而vacuum full实质上是重建了整个表，以达到空间合并的效果。
2.vacuum执行过程中对表加4级锁，不会影响表的增删改查，而vacuum full对表加8级锁，执行过程中表无法访问。
3.vacuum对列存表无效

六、磁盘维护：vacuum full执行慢

vacuum full的执行流程
1、建临时表

数据库会新建一个临时表，临时表继承老表所有属性。

这个阶段会对pg_class申请“RowExclusiveLock”锁，因为需要插入记录。

2、拷贝数据

将原来的数据copy到temp表中。

对临时表，老表以及索引都以“AccessExclusiveLock”模式打开。

另外对于toast，只是lock，不打开。

在这个过程中完成Dead Tuple的清理。

3、表交换

新表将老表替换掉。会对pg_class再次申请“RowExclusiveLock”锁。

4、重建索引

是在交换之后完成的，重建索引时，会更新一些统计信息。对表申请“ShareLock”锁。

5、删除临时表

索引重建完成后，将带有老物理文件的新临时表进行删除。

vacuum full执行慢的常见场景
1. 存在锁争抢

在cn上执行select * from pg_stat_activity where query like ‘%vacuum%’;找到vacuum full的pid

查看该线程的等待状态，如果等待状态是acquire lock，说明存在锁等待

select * from pg_thread_wait_status where tid = 139878309295872;

在pg_locks中查询vacuum full在等哪个锁

select * from pg_locks where pid = 139878309295872 and granted = ‘f’;

查看持有该锁的线程

select * from pg_locks where relation = 544793 and granted = ‘t’;

查看该线程对应的语句

select query from pg_stat_activity where pid = 139877539612416;
根据语句判断是否可以杀掉该语句继续做vacuum full，或者另外找时间窗做vacuum full

2. 存在IO/网络问题导致事务无法提交

执行一个简单的create table语句，如果create table语句执行也很慢，说明存在IO/网络问题，进一步排查IO和网络

3. 系统表过大导致vacuum full慢

vacuum full任意一张表时，都会扫描pg_class、pg_partition、pg_proc三张系统表，当这三个系统表过大时，也会导致vacuum full较慢

可以在排除IO/网络问题（即create table语句不慢）后，对空表做vacuum full，观察执行速度，如果空表做vacuum full也比较慢，则说明就是这三张系统表较大导致vacuum full任意表都慢

4. 排除以上场景之后，可以查看表定义中是否使用了PCK

当存在PCK时，表做vacuum full时会进行全排序，此时如果表较大或psort_work_mem设置较小，就会导致PCK排序时产生下盘，进行外排，效率急剧下降。

可以通过调大psort_work_mem进行规避