PostgreSQL启动过程中的那些事七:初始化共享内存和信号九:shmem中初始化Predicate锁

这一节pg初始化predicate锁,支持可序列化事务隔离。通过InitPredicateLocks例程实现,主要是干了下面这么几件事:

A创建了哈希表"PREDICATELOCKTARGET hash"。

B在上面的哈希表里增加了ScratchTargetTag结构的索引

C创建了哈希表"PREDICATELOCK hash"。

D初始化了"PredXactList"相关结构

E创建了哈希表"SERIALIZABLEXID hash"。

F初始化了RWConflictPool相关结构

H初始化了"FinishedSerializableTransactions"相关结构

I初始化了"OldSerXid SLRU Ctl"相关结构

J初始化了"OldSerXidControlData"相关结构

1先上个图,看一下函数调用过程梗概,中间略过部分细节

PostgreSQL启动过程中的那些事七:初始化共享内存和信号九:shmem中初始化Predicate锁_第1张图片

初始化PredicateLocks方法调用流程图

2初始化PredicateLocks相关结构

话说main()->…->PostmasterMain()->…->reset_shared() ->CreateSharedMemoryAndSemaphores()>…->InitPredicateLocks(),做了下面相关结构的内存分配和初始化:

A创建了哈希表"PREDICATELOCKTARGEThash"。

B在上面的哈希表里增加了ScratchTargetTag结构的索引

C创建了哈希表"PREDICATELOCKhash"。

D初始化了"PredXactList"相关结构

E创建了哈希表"SERIALIZABLEXID hash"。

F初始化了RWConflictPool相关结构,用于处理读写冲突

H初始化了"FinishedSerializableTransactions"相关结构

I初始化了"OldSerXid SLRU Ctl"相关结构

J初始化了"OldSerXidControlData"相关结构

初始化上面这些结构都会在共享内存/shmem哈希表索引shmemIndex中增加索引项,下面把初始化这些结构后的shmemIndex图放到下边,就不加一个索引一个图了,减小篇幅。不过这样就看不出先后顺序了,好在这些消失的信息对理解这些过程没什么影响。图中黄色的索引项就是本节新增加的索引项。


PostgreSQL启动过程中的那些事七:初始化共享内存和信号九:shmem中初始化Predicate锁_第2张图片

初始化完PredicateLocks相关结构的共享内存结构图

为了精简上图,把创建shmem的哈希表索引"ShmemIndex"时创建的HCTL结构删掉了,这个结构的作用是记录创建可扩展哈希表的相关信息,不过这个结构在"ShmemIndex"创建完成后也会由于出了对象作用域而消失。增加了左边灰色底的部分,描述共享内存/shmem里各变量物理布局概览,由下往上,由低地址到高地址。图中黄色的索引项就是本节新增加的索引项。

A创建了哈希表"PREDICATELOCKTARGEThash"。

InitPredicateLocks()->ShmemInitHash()->ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"PREDICATELOCKTARGET hash",如果没有,就在shmemIndex中给"PREDICATELOCKTARGET hash"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"PREDICATELOCKTARGEThash"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"PREDICATELOCKTARGEThash"相关结构(见下面"PREDICATELOCKTARGET hash"相关结构图)分配空间,设置entry(在这儿即ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,然后返回ShmemInitHash(),调用hash_create(),创建哈希表"PREDICATELOCKTARGET hash",最后返回ShmemInitHash(),让HTAB *类型静态全局变量PredicateLockTargetHash指向哈希表"PREDICATELOCKTARGET hash"。

相关结构定义见下面:

typedef struct PREDICATELOCKTARGETTAG

{

uint32 locktag_field1; /* a 32-bit ID field */

uint32 locktag_field2; /* a 32-bit ID field */

uint32 locktag_field3; /* a 32-bit ID field */

uint32 locktag_field4; /* a 32-bit ID field */

uint32 locktag_field5; /* a 32-bit ID field */

} PREDICATELOCKTARGETTAG;

typedef struct PREDICATELOCKTARGET

{

/* hash key */

PREDICATELOCKTARGETTAG tag; /* unique identifierof lockable object */

/* data */

SHM_QUEUE predicateLocks; /* list of PREDICATELOCK objects assoc. with

*predicate lock target */

} PREDICATELOCKTARGET;


PostgreSQL启动过程中的那些事七:初始化共享内存和信号九:shmem中初始化Predicate锁_第3张图片

"PREDICATELOCKTARGET hash"相关结构图

B在上面的哈希表里增加了ScratchTargetTag结构的索引

InitPredicateLocks()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"PREDICATELOCKTARGEThash"中查找ScratchTargetTag(是PREDICATELOCKTARGET类型全局静态变量),如果没有,就把ScratchTargetTag作为哈希表"PREDICATELOCKTARGEThash"(该哈希表索引的类型是PREDICATELOCKTARGET)的第一个索引项(参见"PREDICATELOCKTARGET hash"相关结构图)。

C创建了哈希表"PREDICATELOCK hash"。

接着InitPredicateLocks()->ShmemInitHash()->ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"PREDICATELOCK hash",如果没有,就在shmemIndex中给"PREDICATELOCK hash"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"PREDICATELOCKhash"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"PREDICATELOCKhash"相关结构(见下面"PREDICATELOCK hash"相关结构图)分配空间,设置entry(在这儿即ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,然后返回ShmemInitHash(),调用hash_create(),创建哈希表"PREDICATELOCK hash",最后返回ShmemInitHash(),让HTAB *类型静态全局变量PredicateLockHash指向哈希表"PREDICATELOCK hash"。

相关结构定义见下面:

typedef struct PREDICATELOCKTAG

{

PREDICATELOCKTARGET *myTarget;

SERIALIZABLEXACT *myXact;

} PREDICATELOCKTAG;

typedef struct PREDICATELOCK

{

/* hash key */

PREDICATELOCKTAG tag; /* unique identifier of lock */

/* data */

SHM_QUEUE targetLink; /* list link inPREDICATELOCKTARGET's list of

*predicate locks */

SHM_QUEUE xactLink; /* list link in SERIALIZABLEXACT's list of

* predicate locks */

SerCommitSeqNo commitSeqNo; /* only used for summarized predicate locks*/

} PREDICATELOCK;


PostgreSQL启动过程中的那些事七:初始化共享内存和信号九:shmem中初始化Predicate锁_第4张图片

"PREDICATELOCK hash"相关结构图

D初始化了"PredXactList"相关结构

InitPredicateLocks()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"PredXactList",如果没有,就在shmemIndex中给"PredXactList"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"PredXactList"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"PredXactList"相关结构(见下面“PredXactList相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回InitPredicateLocks(),让PredXactList *类型全局变量PredXact指向所分配内存,设置PredXactList结构类型的成员值。

相关结构定义见下面:

typedef struct PredXactListData

{

SHM_QUEUE availableList;

SHM_QUEUE activeList;

/*

* These global variablesare maintained when registering and cleaning up

* serializabletransactions. They must be global acrossall backends,

* but are not neededoutside the predicate.c source file. Protected by

*SerializableXactHashLock.

*/

TransactionId SxactGlobalXmin; /* global xmin for active serializable

* transactions */

int SxactGlobalXminCount; /* how many active serializable

* transactions have this xmin */

int WritableSxactCount; /* how many non-read-only serializable

* transactions are active */

SerCommitSeqNo LastSxactCommitSeqNo; /* a strictly monotonically

* increasing number for

* commits of serializable

* transactions */

/* Protected by SerializableXactHashLock.*/

SerCommitSeqNo CanPartialClearThrough; /* can clear predicate locks

* and inConflicts for

* committed transactions

* through this seq no */

/* Protected bySerializableFinishedListLock. */

SerCommitSeqNo HavePartialClearedThrough; /* have cleared through this

* seq no */

SERIALIZABLEXACT *OldCommittedSxact; /* shared copy of dummy sxact */

PredXactListElement element;

} PredXactListData;

typedef struct PredXactListData*PredXactList;

typedef struct SERIALIZABLEXACT

{

VirtualTransactionId vxid; /* The executing process always has one of

*these. */

/*

* We use two numbers totrack the order that transactions commit. Before

* commit, a transaction ismarked as prepared, and prepareSeqNo is set.

* Shortly after commit,it's marked as committed, and commitSeqNo is set.

* This doesn't give astrict commit order, but these two values together

* are good enough for us, aswe can always err on the safe side and

* assume that there's aconflict, if we can't be sure of the exact

* ordering of two commits.

*

* Note that a transactionis marked as prepared for a short period during

* commit processing, evenif two-phase commit is not used. But with

* two-phase commit, atransaction can stay in prepared state for some

* time.

*/

SerCommitSeqNo prepareSeqNo;

SerCommitSeqNo commitSeqNo;

/* these values are not both interesting atthe same time */

union

{

SerCommitSeqNo earliestOutConflictCommit; /* when committed with

* conflict out */

SerCommitSeqNo lastCommitBeforeSnapshot; /* when not committed or

* no conflict out */

} SeqNo;

SHM_QUEUE outConflicts; /* list of write transactions whose data we

*couldn't read. */

SHM_QUEUE inConflicts; /* list of read transactions which couldn't

*see our write. */

SHM_QUEUE predicateLocks; /* list of associated PREDICATELOCK objects */

SHM_QUEUE finishedLink; /* list link in

*FinishedSerializableTransactions */

/*

* for r/o transactions:list of concurrent r/w transactions that we could

* potentially haveconflicts with, and vice versa for r/w transactions

*/

SHM_QUEUE possibleUnsafeConflicts;

TransactionId topXid; /* top level xid for the transaction, if one

*exists; else invalid */

TransactionId finishedBefore; /* invalid means still running; else

* the struct expires when no

* serializable xids are before this.*/

TransactionId xmin; /* the transaction's snapshot xmin */

uint32 flags; /* OR'd combination of values defined below */

int pid; /* pid of associated process */

} SERIALIZABLEXACT;


PostgreSQL启动过程中的那些事七:初始化共享内存和信号九:shmem中初始化Predicate锁_第5张图片

PredXactList相关结构图

E创建了哈希表"SERIALIZABLEXIDhash"。

接着InitPredicateLocks()调用ShmemInitHash ()->ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"SERIALIZABLEXID hash",如果没有,就在shmemIndex中给"SERIALIZABLEXID hash"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"SERIALIZABLEXIDhash"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"SERIALIZABLEXIDhash"相关结构(见下面"SERIALIZABLEXID hash"相关结构图)分配空间,设置entry(在这儿即ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,然后返回ShmemInitHash(),调用hash_create(),创建哈希表"SERIALIZABLEXID hash",最后返回ShmemInitHash(),让HTAB *类型静态全局变量SerializableXidHash指向哈希表"SERIALIZABLEXID hash"。

相关结构定义见下面:

typedef struct SERIALIZABLEXIDTAG

{

TransactionId xid;

} SERIALIZABLEXIDTAG;

typedef struct SERIALIZABLEXID

{

/* hash key */

SERIALIZABLEXIDTAG tag;

/* data */

SERIALIZABLEXACT *myXact; /* pointer to the top level transaction data */

} SERIALIZABLEXID;


PostgreSQL启动过程中的那些事七:初始化共享内存和信号九:shmem中初始化Predicate锁_第6张图片

"SERIALIZABLEXID hash"相关结构图

F初始化了RWConflictPool相关结构,用于处理读写冲突

InitPredicateLocks()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"RWConflictPool",如果没有,就在shmemIndex中给"RWConflictPool"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"RWConflictPool"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"RWConflictPool"相关结构(见下面“RWConflictPool和FinishedSerializableTransactions相关结构图相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回InitPredicateLocks(),让RWConflictPoolHeaderData*类型全局变量RWConflictPool指向所分内存,设置其中RWConflictPoolHeaderData结构类型的成员值。

相关结构定义见下面:

typedef struct RWConflictData

{

SHM_QUEUE outLink; /* link for list of conflicts out from a sxact */

SHM_QUEUE inLink; /* link for list of conflicts in to a sxact */

SERIALIZABLEXACT *sxactOut;

SERIALIZABLEXACT *sxactIn;

} RWConflictData;

typedef struct RWConflictPoolHeaderData

{

SHM_QUEUE availableList;

RWConflict element;

} RWConflictPoolHeaderData;


PostgreSQL启动过程中的那些事七:初始化共享内存和信号九:shmem中初始化Predicate锁_第7张图片

RWConflictPool和FinishedSerializableTransactions相关结构图

H初始化了"FinishedSerializableTransactions"相关结构

InitPredicateLocks()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"FinishedSerializableTransactions",如果没有,就在shmemIndex中给"FinishedSerializableTransactions"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"FinishedSerializableTransactions"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"FinishedSerializableTransactions"相关结构(见下面“RWConflictPool和FinishedSerializableTransactions相关结构图相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回InitPredicateLocks(),让SHM_QUEUE*类型全局变量FinishedSerializableTransactions指向所分内存,设置其中SubTransCtlData结构类型的成员值。

I初始化了"OldSerXid SLRUCtl"相关结构

InitPredicateLocks()->OldSerXidInit()->SimpleLruInit()->ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"OldSerXidSLRU Ctl",如果没有,就在shmemIndex中给"OldSerXid SLRU Ctl"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"OldSerXid SLRU Ctl"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"OldSerXid SLRU Ctl"相关结构(见下面“OldSerXid SLRU Ctl和OldSerXidControlData相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回SimpleLruInit(),让SlruCtlData *类型全局变量OldSerXidSlruCtl指向给"OldSerXid SLRU Ctl"相关结构分配的内存起始地址,设置其中SlruCtlData结构类型的成员值。

J初始化了"OldSerXidControlData"相关结构

InitPredicateLocks()->OldSerXidInit()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"OldSerXidControlData",如果没有,就在shmemIndex中给"OldSerXidControlData"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"OldSerXidControlData"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"OldSerXidControlData"相关结构(见下面“OldSerXid SLRU Ctl和OldSerXidControlData相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回OldSerXidInit(),让OldSerXidControlData*类型全局变量oldSerXidControl指向给"OldSerXidControlData"相关结构分配的内存地址,设置其中OldSerXidControlDat结构类型的成员值。

相关结构定义见下面:

typedef struct OldSerXidControlData

{

int headPage; /* newestinitialized page */

TransactionId headXid; /* newest valid Xid in the SLRU */

TransactionId tailXid; /* oldest xmin we might be interested in */

bool warningIssued; /* have we issued SLRU wrap-around warning?*/

} OldSerXidControlData;


PostgreSQL启动过程中的那些事七:初始化共享内存和信号九:shmem中初始化Predicate锁_第8张图片

OldSerXid SLRU Ctl和OldSerXidControlData相关结构图



你可能感兴趣的:(PostgreSQL)