postgresql集群方案hot standby初级测试(五)——xlog详细解释record

上一篇文章讲了下xlog的头部，今天详细讲解下record部分，希望这两篇文章对研究postgresql的xlog的同学有所帮助：

本文来自：http://blog.csdn.net/lengzijian/article/details/7840332

首先看下XLOG日志记录结构：

XLogRecord记录了XLOG的相关控制信息，数据结构如下：

typedef struct XLogRecord {         pg_crc32        xl_crc;                 /* 本条记录的CRC校验码 */                                                                                                                                                                XLogRecPtr      xl_prev;                /* 日志的前一条记录 */         TransactionId xl_xid;                     /* 事务ID */         uint32          xl_tot_len;             /* 整条记录的总长度*/         uint32          xl_len;                 /* 组员管理器的数据长度*/         uint8           xl_info;                /* 信息标志位 */         RmgrId          xl_rmid;         /* 资源管理器IDtypedef uint8 RmgrId;*/ } XLogRecord;

        其中，资源管理器ID主要用于日志系统中，数据库系统把各种需要记录日志的数据分类，分配给他们对应的资源管理号，系统在回复或者读取日志记录时，能够很方便地知道该日志记录的元数据属于哪一类，结合信息标志位(xl_info)信息，就能知道数据库对元数据做的是那种操作。共有16中资源(有几项还不清楚是做什么用的)：

#define RM_XLOG_ID         0       该条日志记录的是一个检查点信息。                                                                                                                                          #define RM_XACT_ID           1       该条日志记录的是一个事物的提交或者终止信息 #define RM_SMGR_ID          2       #define RM_CLOG_ID          3       CLOG中某一页的初始化 #define RM_DBASE_ID          4 #define RM_TBLSPC_ID          5 #define RM_MULTIXACT_ID       6 #define RM_RELMAP_ID         7 #define RM_STANDBY_ID        8 #define RM_HEAP2_ID          9 #define RM_HEAP_ID         10       该条日志记录的是对队中元组进行修改的信息 #define RM_BTREE_ID        11       该条日志记录的是对BTree进行修改 #define RM_HASH_ID        12 #define RM_GIN_ID          13 #define RM_GIST_ID         14 #define RM_SEQ_ID          15

        信息标志位(xl_info)的高四位由资源管理器使用，表示该日志是哪种类型的日志，低四位表示对应的块是否需要备份，对于高四位，信息有如下几种：

/* include/access/xact.h  * XLOG allows to store some information in high 4 bits of log  * record xl_info field  */ #define XLOG_XACT_COMMIT               0x00          //事务提交 #define XLOG_XACT_PREPARE               0x10         //预备 #define XLOG_XACT_ABORT                 0x20         //事务取消 #define XLOG_XACT_COMMIT_PREPARED      0x30         //准备提交事务 #define XLOG_XACT_ABORT_PREPARED        0x40         //准备取消事务 #define XLOG_XACT_ASSIGNMENT            0x50        //不详。。。(之后补充)     /*include/access/htup.h  * WAL record definitions for heapam.c's WAL operations  * XLOG allows to store some information in high 4 bitsof log  * record xl_info field.  We use 3 for opcode and one for init bit.  */ #define XLOG_HEAP_INSERT        0x00            //插入元组日志 #define XLOG_HEAP_DELETE       0x10            //删除元组日志 #define XLOG_HEAP_UPDATE       0x20            //更新元组日志   细心的同学会发现，下面的元组操作和上面的事务操作的编码(0x00)重复了，不要忘记之前我们说过，要通过xl_rmid字段来判断属于何种操作:先判断属于那种操作，在做具体的操作内容。

低四位中只用了三位，具体如下(可以看到最后一位没有用到)：

/*include/access/xlog.h  * If we backed up any disk blocks with the XLOG record, we use flag bits in                                                                                                                                                                           * xl_info to signal it.  We support backup of up to 3 disk blocks per XLOG  * record.  */ #define XLR_BKP_BLOCK_MASK              0x0E    /* all info bits used for bkp blocks */ #define XLR_MAX_BKP_BLOCKS              3 #define XLR_SET_BKP_BLOCK(iblk) (0x08 >> (iblk)) #define XLR_BKP_BLOCK_1                 XLR_SET_BKP_BLOCK(0)    /* 0x08 */ #define XLR_BKP_BLOCK_2                 XLR_SET_BKP_BLOCK(1)    /* 0x04 */ #define XLR_BKP_BLOCK_3                 XLR_SET_BKP_BLOCK(2)    /* 0x02 */

 

日志记录数据信息：

        rmgr data 数据被XLogInsert()函数写入，有一个或多个XlogRecData数据结构组成，当有多个XLogRecData结构体时有两种情况：1.源数据没有在内存上物理相邻；2.数据在多个缓冲区中被指定。

 

       如果buffer有效，那么XLOG将会检查buffer是否必须备份(即，是否该buffer自最后一次checkpoint以来，第一次被更改)。如果是这样，那么整个页面内容会被附加到XLOG日志中，同时，XLOG在标志位xl_info中设置XLR_BKP_BLOCK_X位。注：当buffer备份后，我们不能够通过XLogRecData结构体插入数据到XLOG记录中，因为我们假定他已经在buffer中了，因此rmgr的redo操作必须注意XLR_BKP_BLOCK_X的值，以便指导XLOG记录中到底存的是什么。

 

如果buffer有效，调用者必须设置buffer_std(缓冲区存储标准)，来表明页面是否用标准pd_lower/pd_upper头字段。

 

日志记录中的数据信息存储在结构XlogRecData中(结构体如下)：

typedef struct XLogRecData {         char       *data;                       /* 资源管理器数据 */         uint32          len;                    /* 资源管理器数据的长度 */                                                                                                                                                                      Buffer          buffer;                 /* 该数据涉及的缓冲区*/         bool            buffer_std;             /* 缓冲区存储标准 */         struct XLogRecData *next;                /* 下一个节点指针 */ } XLogRecData;

        这里保存了所有操作信息，在阅读了xlogdump源码之后发现，读取xlog记录不需要XLogRecData结构体，例如读取插入操作时，只需要调用xl_heap_insert结构体就可以取出数据。

 

        例如执行了一次insert，用xlogdump可以读出下面的代码(同样的updata、delete以及事务操作commit和abort都在改数据内)：

INSERT: 2 row(s) found in the table `t_user'.           //有两个字段在表“t_user”中 INSERT: column 0, name userid, type 1043, value '14541'//包括字段名，字段类型，字段的值都会在数据中取出，如果想了解具体细节可以看xlogdump的源码。 INSERT: column 1, name name, type 1043, value 'lengzijian'

 

XLOG记录中的备份数据块的头部信息保存在BkpBlock中，数据结构如下：

typedef struct BkpBlock {         RelFileNode node;                       /* 表节点*/                                                                                                                                                                                                          ForkNumber      fork;                   /* 关系分支*/         BlockNumber block;                      /* 块数 */         uint16          hole_offset;             /* "hole"偏移值 */         uint16          hole_length;             /* "hole"长度 */         /* 实际的块数据在结构体之后 */ } BkpBlock;

 

在用xlogdump工具时，发现一个问题，就是更新或插入时，有时不能够打印出statements，例如：

lengzijian-----------record->xl_len[21]/SizeOfHeapUpdate:[28]/SizeOfHeapHeader:[5] //这里我打印出他的判断信息，由于（21 – 28 – 5）的无符号型大于MaxHeapTupleSize //所以退出，没有打印出statements. [cur:0/4C6F0960, xid:5215584, rmid:10(Heap), len/tot_len:21/2781, info:9, prev:0/4C6F0910] insert: s/d/r:pg_default/lengzijian/t_user blk/off:758/61 header: none   [cur:0/4C6F0960, xid:5215584, rmid:10(Heap), len/tot_len:21/2781, info:9, prev:0/4C6F0910] bkpblock[1]: s/d/r:pg_default/lengzijian/t_user blk:758 hole_off/len:268/5484 //根据如上分析：是由于已经把数据备份到bkpblock[1]中，通过观察日志也可以看到，在之后，xlogdump把bkpblock也打印出来，说明xl_info的后低四位被设置了。

 

下一篇讲解xlogdump工具的使用和部分源码分析。