PostgreSQL中的Toast Pointer

1、分析背景

  在使用数据库的过程中(PG的版本为9.2),遇到了错误"missing chunk number 0 for toast value XX in pg_toast_2619"。根据错误描述,猜测原因可能是:主表字段还留存着Toast Pointer,但Toast表中已经没有对应的Chunk条目。证明这个猜测的关键,是根据主表字段的Toast Pointer,去找Toast Pointer所指向的Chunk条目是否存在。自然,读懂(解析)Toast Pointer就是分析的第一步,但我查阅了大量资料后却没有找到直接解析Toast Pointer的方法,只好自己尝试去分析。本文就是要探索Toast Pointer解析的方法,并对Toast Pointer的结构进行说明。

  在分析之前,先说明主表与Toast表的组织关系,如下图:

PostgreSQL中的Toast Pointer_第1张图片

2、分析方法

分析思想:通过对数据内容的分析,反向推演数据的结构。

分析方法:制造数据得到一个真实的Toast Pointer,通过对Toast Pointer二进制表达的分析,确定Toast Pointer由哪几部分组成以及各部分的含义,并加以证明。

3、分析过程

基于上述分析方法,分析过程如下:

1)安装pageinspect扩展

借助该扩展,可查看page中各结构体的数值,以及tuple(行)的Raw值(得到Toast Pointer必须查看RAW值,因为通过SQL来查询B字段,将得到Toast Pointer所指向的value,而不是B字段存储的Toast Pointer)。

2)制作测试数据

PostgreSQL中的Toast Pointer_第2张图片

    创建了测试表t,向表t的col字段插入了长度为3808的字符串。col字段的存储类型为"extended",说明会首先压缩,如果压缩后仍然超过TOAST_TUPLE_THRESHOLD(一般为2K),将使用Toast表。

3)检查Toast是否启用

PostgreSQL中的Toast Pointer_第3张图片

    表t对应的Toast表OID为27132,表名为pg_toast_27129。

    pg_toast_27129的大小不为0,说明在该例中启用了Toast表。

4)检查col字段是否启用了压缩

PostgreSQL中的Toast Pointer_第4张图片

    col字段的字符个数为3808,但存储仅占用了2763字节,说明col字段启用了压缩。该现象与col字段的存储类型"extend"一致。

5)查看pg_toast_27129表中的chunk条目

    col字段中的字符串被分成2个chunk,即在Toast表中有2个chunk条目。2个chunk条目长度合计值为2763,与上一步压缩后的存储字节数一致。

6)得到col字段的RAW值

PostgreSQL中的Toast Pointer_第5张图片

    使用pageinspect扩展的get_raw_page、heap_page_items函数,得到表t唯一一条记录的row value(即t_data)值,该row value也是唯一的一个字段col在内存中的二进制表达。

    在pg的官方文档中,对Toast有这样的一段描述:

    从上文选中部分可知,Toast Pointer的大小为18字节,包括变长标头、字段值实际长度、字段值逻辑长度、Toast表OID、Toast Chunk OID 共5个部分。OID一般占用4字节,我们从t_data的最右边分析起,先取4个字节0xfc690000。由于X86架构下,使用小端存储,因此内存中的0xfc690000,实际的字节序为0x000069fc,将其转换为10进制数值

PostgreSQL中的Toast Pointer_第6张图片

    而27132,正是Toast表的OID:

    因此,最右边4个字节代表Toast表的OID。

 继续取下一个4字节0xff690000,转换为10进制数值:

PostgreSQL中的Toast Pointer_第7张图片

    而27135,正是Chunk的OID:

PostgreSQL中的Toast Pointer_第8张图片

    因此靠右的5-8字节代表Chunk的OID。

    继续取下一个4字节0xcb0a0000,转换为10进制数值:

PostgreSQL中的Toast Pointer_第9张图片

    而2763,正是col字段的逻辑长度(压缩后的长度):

PostgreSQL中的Toast Pointer_第10张图片

    因此靠右的9-12字节代表字段值的逻辑长度。

    继续取下一个4字节0xe40e0000,转换为10进制数值:

PostgreSQL中的Toast Pointer_第11张图片

    而3812,正是col字段实际长度3808+4(表示实际长度所占用的4字节):

PostgreSQL中的Toast Pointer_第12张图片

 因此靠右的13-16字节代表字段值的实际长度(包括表示长度的4字节自身)。

    至于最后的2字节0x0112,以不同的值插入时,这两个字节的内容是不变的。暂时没有分析清楚这两个字节所代表的含义。

 4、分析结论

  综上分析,Toast Pointer的大小由18字节、5部分组成,分别是:

  字节流(从左往右)

含义

1-2

不详

3-6

字段值的实际长度

7-10

字段值的逻辑长度

11-14

Chunk号,即Chunk_id

15-16

Toast表的OID

  如果遇到了"missing chunk number 0 for toast value XX in pg_toast_2619 "错误,可通过如下方法进行验证:

  1)通过上文的方法得到某行某列值的Toast Pointer

  2)再从Toast Pointer中解析得到Toast表的OID(这个从pg_class中也可以得到)、Chunk号,

  3)去Toast表中查询是否存在该Chunk_id对应的条目。

 

你可能感兴趣的:(PostgreSQL中的Toast Pointer)