10g Data block Structure(Dump+BBED)

Environment:

Oracle 10.0.2.1.0

Linux kernal 2.6.18-92.el5PAE

 ASSM Tablespace

Block type: 0x06=trans data

 

上边这幅图虽然是Concept上的但是实际上并不完整，但是还是有一定的参考价值所以就放上来了

首先复习下数据块的结构,一个0x06的block包含4个layer

---------------------

1- Cache Layer       - kcbh 20byte 该层主要包含block format, type(index, table or cluster and so on)在block中使用kcbh struct来描述

---------------------

2- Transaction Layer - ktbbh 48byte(包含ktbbh，ktbit就是一个ITL的容器，单个ITL结构为ktbbhitl大小为24byte)

--------------------- ---------------------

3- Data Layer  包含  - - Data Header         - kdbh

--------------------- ---------------------

                          - Table Directory    - 包含：offset

                          ---------------------

                          - Row Directory      -

                          ---------------------

                          - Free Space          -

                          ---------------------

                          - Row Data            -

                          ---------------------

---------------------

4- Tailchk            -

---------------------

在BBED中查看Data Block的结构

node1-> bbed parfile=bbed.par

BBED> map

 File: /u02/oradata/ETMCDB.dbf (6)

 Block: 71                                    Dba:0x01800047

------------------------------------------------------------

 KTB Data Block (Table/Cluster)

 struct kcbh, 20 bytes             @0     1 Cache Layer(kcbh) 20bytes: block format, type(index, table or cluster and so on)

struct ktbbh, 72 bytes            @20   2 Transaction Layer(ktbbh+ ktbit) 72bytes: ITL(each ITL is 24byte),including 2 strcs (ktbbh 24bytes & ktbit 48bytes)

struct kdbh, 14 bytes             @100  3 Data Header 

 struct kdbt[1], 4 bytes           @114  4 Table Directory

 sb2 kdbr[733]                      @118   5 Row Directory

 ub1 freespace[1579]               @1584  6 Free Space

 ub1 rowdata[5025]                 @3163  7 Row Data

 ub4 tailchk                        @8188  8 Tailchk

kc~kernel cache, kt~kernel transaction, kd~kernel data

 

 

BBED> map /v

File: /u02/oradata/ETMCDB.dbf (6)

 Block: 71                                    Dba:0x01800047

------------------------------------------------------------

 KTB Data Block (Table/Cluster)

 struct kcbh, 20 bytes                      @0  1 Block Header Structure(kcbh) Cache Layer 20bytes: block format, type(index, table or cluster and so on)

    ub1 type_kcbh                           @0

    ub1 frmt_kcbh                           @1

    ub1 spare1_kcbh                         @2

    ub1 spare2_kcbh                         @3

    ub4 rdba_kcbh                           @4

    ub4 bas_kcbh                            @8 

    ub2 wrp_kcbh                            @12

    ub1 seq_kcbh                            @14

    ub1 flg_kcbh                            @15

    ub2 chkval_kcbh                         @16

    ub2 spare3_kcbh                         @18

 

 struct ktbbh, 72 bytes                     @20 2 Transaction Layer 72bytes: 包含两个struct (ktbbh_ 24bytes & ktbit_ 48bytes(每个ITL占用24bytes)) 之所以是这两个struct是因为ktbbh里边的结构都是以这两个strct开头的

 

10201 struct ktbbh block header

    ub1 ktbbhtyp                            @20 --block type

    union ktbbhsid, 4 bytes                 @24

    struct ktbbhcsc, 8 bytes                @28 --effective time of last cleanout

    b2 ktbbhict                             @36 --number of itl entries mask 0x00ff

    ub1 ktbbhflg                            @38 --flags

    ub1 ktbbhfsl                            @39 --free space lock

    ub4 ktbbhfnx                            @40 --next block in free list

    struct ktbbhitl[2], 48 bytes            @44

 

 struct kdbh, 14 bytes                      @100 3 Data Header   

    ub1 kdbhflag                            @100 --flags

    b1 kdbhntab                             @101 --Number of TABles in the table index

    b2 kdbhnrow                             @102 --Number of ROWs in the row index

    sb2 kdbhfrre                            @104 --first FRee Row index Entry

    sb2 kdbhfsbo                            @106 --Free Space Beginning Offset

    sb2 kdbhfseo                            @108 --Free Space Ending Offset

    b2 kdbhavsp                             @110 --AVailable SPace in the block

    b2 kdbhtosp                             @112 --TOtal Space that will be available

 

 struct kdbt[1], 4 bytes                    @114 4 Table Directory

    b2 kdbtoffs                             @114 --OFFSet in the block from kdbpri

    b2 kdbtnrow                             @116 --Number of Rows in the table

 

 sb2 kdbr[15]                               @118 5 Row Directory

 ub1 freespace[7064]                        @148 6 Free Space

 ub1 rowdata[976]                           @7212 7 Row Data

 ub4 tailchk                                @8188 8 Tailchk

使用BBED 方法查看Data Block 的内部信息

 

BBED> set dba 6,71

BBED> dump

使用Dump 方法查看Data Block 的逻辑信息

 

SQL> alter system dump datafile 6 block 71;

System altered.

Start dump data blocks tsn: 7 file#: 6 minblk 71 maxblk 71

1 Cache Layer

 

buffer tsn: 7 rdba: 0×01800047 (6/71)

scn: 0×0000.0032cd71 seq: 0×01 flg: 0×02 tail: 0xcd710601

frmt: 0×02 chkval: 0×0000 type: 0×06=trans data

Hex dump of block: st=0, typ_found=1

<—-more—->

 

Block header dump:  0×01800047

Object id on Block? Y

seg/obj: 0xda30  csc: 0×00.32cd5a  itc: 2  flg: E  typ: 1 – DATA

brn: 0  bdba: 0×1800041 ver: 0×01 opc: 0

inc: 0  exflg: 0

Itl           Xid                  Uba            Flag  Lck        Scn/Fsc

0×01   0x000a.019.000005b4  0×00800226.0347.1a  –U-  733  fsc 0×0000.0032cd71

0×02   0×0000.000.00000000  0×00000000.0000.00   —-    0  fsc 0×0000.00000000

 

 

data_block_dump,data header at 0xd071464

===============

tsiz: 0x1f98

hsiz: 0x5cc

pbl: 0x0d071464

bdba: 0×01800047

76543210

flag=——–

ntab=1   -- One table, if it’s a Cluster this num will be > 1;

nrow=733 –- Num of Rows in Table

frre=-1

fsbo=0x5cc –-free space start block: 44+NO_OF_ITLS*24+0x5cc)

fseo=0xbf7 –-free space end block: 44+NO_OF_ITLS*24+0x5cc)

 ?why the free space of current block is that much?0xbf7-0x5cc= 3063-1484 , therefore the PCTFREE is 0?

avsp=0×7

tosp=0×7

0xe:pti[0]      nrow=733        offs=0

0×12:pri[0]     offs=0x1f92 –- first row address 0x1f92 + (44+NO_OF_ITLS*24)

0×14:pri[1]     offs=0x1f8c -- second row address 0x1f8c + (44+NO_OF_ITLS*24)

0×16:pri[2]     offs=0x1f86

<—-more—->

 

0x5c8:pri[731]  offs=0xbfe

0x5ca:pri[732]  offs=0xbf7

block_row_dump:

 

tab 0, row 0, @0x1f92 –- first row

tl: 6 fb: –H-FL– lb: 0×1  cc: 1

col  0: [ 2]  c1 02

tab 0, row 1, @0x1f8c -- second row

tl: 6 fb: –H-FL– lb: 0×1  cc: 1

col  0: [ 2]  c1 03

tab 0, row 2, @0x1f86

tl: 6 fb: –H-FL– lb: 0×1  cc: 1

<—-more—->

 

tl: 7 fb: –H-FL– lb: 0×1  cc: 1

col  0: [ 3]  c2 08 21

tab 0, row 732, @0xbf7

tl: 7 fb: –H-FL– lb: 0×1  cc: 1

col  0: [ 3]  c2 08 22

end_of_block_dump

End dump data blocks tsn: 7 file#: 6 minblk 71 maxblk 71

在随后的内容里将会一一对比这4个layer在BBED和Dump中的结果，进而更深一步的了解Data Block

---------------------------------1 Block Header / Cache Layer [struct kcbh]-----------------------------------

 

Let’s have a look on the first section [struct kcbh] which is 20 bytes:
typedef struct kcbh_ {
ub1 type_kcbh;
ub1 frmt_kcbh;
ub1 spare1_kcbh;
ub1 spare2_kcbh;
krdba rdba_kcbh;
ub4 bas_kcbh; /* base of SCN */
ub2 wrp_kcbh; /* wrap of SCN */
ub1 seq_kcbh; /* seq# of changes at same scn, KCBH_NLCSEQ */
ub1 flg_kcbh; /* see KCBHFNEW etc below */
ub2 chkval_kcbh;
ub2 spare3_kcbh;
} kcbh;

使用print 来更清晰地看出每个字节对应的意义：
BBED> p kcbh

struct kcbh, 20 bytes                       @0       
   ub1 type_kcbh                            @0        0x06
   ub1 frmt_kcbh                            @1        0xa2
   ub1 spare1_kcbh                          @2        0x00
   ub1 spare2_kcbh                          @3        0x00
   ub4 rdba_kcbh                            @4        0x004000aa
   ub4 bas_kcbh                             @8        0x001bf37e //base scn
   ub2 wrp_kcbh                             @12       0x0000
   ub1 seq_kcbh                             @14       0x01
   ub1 flg_kcbh                             @15       0x06 (KCBHFDLC, KCBHFCKV)
   ub2 chkval_kcbh                          @16       0xb42a
   ub2 spare3_kcbh                          @18       0x0000

File: /u02/oradata/ETMCDB.dbf (6)

 Block: 71               Offsets:    0 to  511           Dba:0x01800047

------------------------------------------------------------------------

 0ba20000 47008001 a3d23200 00000100 00000000 01000000 30da0000 a1d03200

 00000000 02003200 41008001 0a001900 b4050000 26028000 47031a00 00800000

 71cd3200 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 0001dd02 ffffcc05 f70b0700 07000000 dd02921f 8c1f861f 801f7a1f

 ……………

 <32 bytes per line>

0 byte is type：06 means data block
1 byte is FRMT：commonly it’s 0X02
4-7 byte is RDBA：47 00 80 01 =  0X01800047(6/71)  ①
8-13 byte is SCN(First 4 byte is BASE the 2 byte left is WRAP）：a3 d2 32 00 00 00 : 0×0000.0032cd71
14 byte is SEQ：01 , SEQ=0x01
15 byte is FLAG: 02, FLAG=0x02 BBED结果是0
16-17 byte is CHECKSUM:00 00 :0x0000  -- when db_block_checksum = FALSE, CheckSum=00 00

① select dbms_utility.DATA_BLOCK_ADDRESS_FILE(to_number('01800047','xxxxxxxxxx')) file#,
         dbms_utility.DATA_BLOCK_ADDRESS_BLOCK(to_number('01800047','xxxxxxxxxx')) block# from dual;
     FILE#     BLOCK#
---------- ----------
         6         71

---------------------------------2 Transaction Layer [struct ktbbh]---------------------------------------

记录数据块身份信息包含:ITL事务表,这个是行锁和读一致性的基础,记录本数据块中参与到某个事物的一条记录包括UBA,Transaction ID,SCN. oracle对每一次用户查询都要记录查询开始时当前的SCN并和数据块中的SCN对比,如果当前SCN>数据块中的SCN说明这个数据块被修改过,Oracle就会利用UNDO内容制造一个新版本的数据块叫CR数据块(Constant Block)它是利用ITL中的记录UBA信息完成的,CR构造完再继续对比SCN直到数据块的SCN<=查询SCN这个构造才结束,如果无法获得符合要求的CR块就会抛出ORA-0155

 

分成两部分:

 

第一部分为固定长度从20字节开始是24字节长度的ktbbh,包含事务相关的一些基本信息

typedef struct ktbbh_ { /* 10201 struct ktbbh block header */

ub1 ktbbhtyp; /* block type */

ub4 ktbbhsid;

kscn ktbbhcsc; /* effective time of last cleanout */

b2 ktbbhict; /* number of itl entries mask 0x00ff*/

 

ub1 ktbbhflg; /* flags */

 

ub1 ktbbhfsl; /* free space lock */

 

krdba ktbbhfnx; /* next block in free list */

}

使用print 来更清晰地看出每个字节对应的意义：
BBED> p ktbbh

 

 File: /u02/oradata/ETMCDB.dbf (6)

 Block: 71               Offsets:    0 to  511           Dba:0x01800047

------------------------------------------------------------------------

 0ba20000 47008001 a3d23200 00000100 00000000 01000000 30da0000 a1d03200

 00000000 02003200 41008001 0a001900 b4050000 26028000 47031a00 00800000

 71cd3200 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 0001dd02 ffffcc05 f70b0700 07000000 dd02921f 8c1f861f 801f7a1f  

 ……………

 <32 bytes per line>

 

seg/obj: 0xda30  csc: 0x00.32d0a1  itc: 2  flg: E  typ: 1 - DATA

     brn: 0  bdba: 0x1800041 ver: 0x01 opc: 0

     inc: 0  exflg: 0

 

20 byte：01 ：typ=01
24-27 byte is OBJECT ID: 30 da 00 00 :0xda30(注意，这里有UB4的字节对齐问题，所以中间空了3个字节） a3 d2 32 00 00 00 : 0×0000.0032cd71
28-35 byte is SCN: a1 d0 32 00 00 00,SCN:
36-37 byte is Num of ITL：用0x00ff掩码：02 00 ：有2个ITL槽
38 byte is FLAG: 32
39 byte is FSL:00
40-43 KDBA is the address of the next free block：41 00 80 01, 0x1800041

第二部分为可变长度从44开始是ITL表，每个ITL记录的长度为24，从1可以看到这个块有2个ITL槽，因此ITL占48字节,ITL内部结构名ktbbhitl.这里共占用了48bytes 的空间

 

struct ktbit {

kxid ktbitxid; /* transaction id */

kuba ktbituba; /* undo address for last change */

b2 ktbitflg;   /* num of locks in block */

ktbitun_t _ktbitun;

ub4 ktbitbas;  /* sys commit num base */

}

File: /u02/oradata/ETMCDB.dbf (6)

 Block: 71               Offsets:    0 to  511           Dba:0x01800047

------------------------------------------------------------------------

 0ba20000 47008001 a3d23200 00000100 00000000 01000000 30da0000 a1d03200

 00000000 02003200 41008001 0a001900 b4050000 26028000 47031a00 00800000

 71cd3200 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 0001dd02 ffffcc05 f70b0700 07000000 dd02921f 8c1f861f 801f7a1f

 ……………

 <32 bytes per line>

 

Itl           Xid                  Uba                Flag  Lck        Scn/Fsc

0x01   0x000a.019.000005b4  0x00800226.0347.1a  C---    0  scn 0x0000.0032cd71

0x02   0x0000.000.00000000  0x00000000.0000.00  ----    0  fsc 0x0000.00000000

KXID： UB2 ：UNDO SEGMENT NUMBER
UB2 ：SLOT NUMBER
UB4 ：WRAP
44-51 byte is XID(8)：0a 00 19 00 b4 05 00 00 ：0x0a00.1900.b4050000
52-59 byte is UBA(8)：26 02 80 00 47 03 1a 00 ：0x00800226.0347.1a 那么最后这个00哪?
60-61 byte is FLAG(2):00 80,0X0800, c--- LOCK 0
62-67 byte is SCN(6): 00 00 71 cd 32 00,0x0000.71cd3200
原文中 62-67(6):scn:00 00 6D 48 25 00 ,0x00254864.00这里是如何换算的

data_block_dump,data header at 0xd071464

===============

tsiz: 0x1f98 total data area size 除了上面的部分和block尾部的个字节剩下的空间0x1fb8就是字节

hsiz: 0x5cc  data header size 数据块头个字节+数据块尾个字节=24字节(0x14)

pbl: 0x0d071464 point to buffer holding the block   

bdba: 0×01800047 rdba，与 Header 中的 rdba 相同

76543210

--------------3 Data Layer包括Data Header，Table Directory，Row Directory，Free Space和Row Data ---------
包含5部分

 

3.1 Data Header：长度14字节，内部数据结构名kdbh

 

这个块有2个ITL槽，今后计算所有的位置都要根据这个来计算。下面一个重要的结构就是KDBH
struct kdbh {
ub1 kdbhflag;  /* FLAGs */
ktno kdbhntab; /* Number of TABles in the table index */
ub2 kdbhnrow;  /* Number of ROWs in the row index */
sb2 kdbhfrre;  /* first FRee Row index Entry */
sb2 kdbhfsbo;  /* Free Space Beginning Offset */
sb2 kdbhfseo;  /* Free Space Ending Offset */
b2 kdbhavsp;   /* AVailable SPace in the block */
b2 kdbhtosp;   /* TOtal Space that will be available */
}

使用print 来更清晰地看出每个字节对应的意义：

BBED> p kdbh

struct kdbh, 14 bytes                       @124    

   ub1 kdbhflag                             @124      0x00 (NONE)

   b1 kdbhntab                              @125      1

   b2 kdbhnrow                              @126      733 <--有733行数据

   sb2 kdbhfrre                             @128     -1

   sb2 kdbhfsbo                             @130      1484

   sb2 kdbhfseo                             @132      2943

   b2 kdbhavsp                              @134      7

   b2 kdbhtosp                              @136      7

File: /u02/oradata/ETMCDB.dbf (6)

 Block: 71               Offsets:    0 to  511           Dba:0x01800047

------------------------------------------------------------------------

 0ba20000 47008001 a3d23200 00000100 00000000 01000000 30da0000 a1d03200

 00000000 02003200 41008001 0a001900 b4050000 26028000 47031a00 00800000

 71cd3200 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 0001dd02 ffffcc05 f70b0700 07000000 dd02921f 8c1f861f 801f7a1f

 ……………

 <32 bytes per line>

 

flag=——–  N=pctfree hit(clusters), F=don't put on free list K=flushable cluster keys. 当然还有别的标记: A ...

ntab=1    1 byte     表示这个block中有几个table的数据  cluster这个就可能大于1

nrow=733  2 bytes    block 中有多少行数据

frre=-1   2 bytes    First free row index entry. -1=you have to add one.

fsbo=0x5cc  2 bytes    Free Space Begin offset 空闲空间从哪里开始

fseo=0xbf7 ?why the free space of current block is that much?0xbf7-0x5cc= 3063-1484 , therefore the PCTFREE is 0? 2 bytes    Free Space End offset 空闲空间到哪里结束

avsp=0×7    2 bytes    Available space in the block  

tosp=0×7     2 bytes    Total available space when all TXs commit 所有事物都提交后，可使用的空间

0xe:pti[0]      nrow=733        offs=0

0×12:pri[0]     offs=0x1f92

100 byte is: FLAG 0(--------------)
101 byte is: NTAB 1
102-103 byte is: NROW dd 02, 0x2dd (nrow=733) select to_number('2dd','xxxxxxxx') from dual; = 733
104-105 byte is: free ff ff, (free space=-1)
106-107 byte is: fsbo cc 05, 0x5cc = 1484
108-109 byte is: fseo f7 0b, 0xb7f = 2943
110-111 byte is: avsp 07 00, 0x007 = 7
112-113 byte is: tosp 07 00, 0x007 = 7

KDBH的位置的计算方法如下：
对于ASSM：76+（itls-1)*24
对于MSSM：68+（itls-1)*24
本例是使用ASSM的，并且有2个ITL槽，因此是76+24=100
offset 可使用 p kdbr[n] 获得
itl       可通过p ktbbh.ktbbhitc 获得

3.2 Table Directory: 一般table只有一个条目，cluster则有一个或多个条目。每个条目长4字节，内部数据结构名kdbt。

 

struct kdbt {

b2 kdbtoffs; /* OFFSet in the block from kdbpri */

b2 kdbtnrow; /* Number of Rows in the table */

}

 

BBED> p kdbt

struct kdbt[0], 4 bytes                     @138    

   b2 kdbtoffs                              @138      0

b2 kdbtnrow                              @140      733

114-115: 00 00:0x0000
116-117: dd 02, 0x2dd (这个块有733行数据）

下面紧接着是KDBR结构，KDBR结构是一个数组，是sb2类型的，指向每一行的头,这里只有1行，指向0x1f92，

 

3.3 Row Directory：数目由块中数据的行数决定，每个条目长2字节，内部数据结构名kdbr

BBED> p kdbr 从这里，我们可以观察到这个块一共有733行数据，每一行指针需要2个bytes，说明row# 为1 的行的offset的十进制值为7856他们从偏移量142开始到1606存储在这个数据块中

sb2 kdbr[0]                                 @142      8082

sb2 kdbr[1]                                 @144      8076

..................

sb2 kdbr[731]                                @1604      1240

sb2 kdbr[732]                                @1606      1035

BBED>  p kdbr[0]

sb2 kdbr[0]                                 @142      8082

BBED>  p *kdbr[0]

rowdata[529]

------------

ub1 rowdata[529]                            @8182     0x2c

我们从以上的个结果可以看出第0行的offset在8082，对于ASSM需要+76+24就得到了8182，对照一下dump结果0x1f92这个值也是8082，就一致了。select to_number('1f92','xxxxxxxx') from dual;

block_row_dump:

tab 0, row 0, @0x1f92

tl: 6 fb: –H-FL– lb: 0×1  cc: 1

col  0: [ 2]  c1 02

<----more---->

end_of_block_dump

End dump data blocks tsn: 7 file#: 6 minblk 71 maxblk 71

2c 00 01 02 c1 02 01 06 a3 d2

2c是记录头的flag
00:ITL曹的索引（锁所在的）
01：这个记录有1个字段
后面是第一个字段的数据 02 c1 02
02表示字段长度，后面c1 02就是字符串' '
最后四个字节是
01: SEQ
06: TYPE
最后两个字节是 scn base的低4个字节：0xd2a3 这个块的SCN是：0x????d2a3
注意的是：这个例子是最简单的，如果有字段的长度超过253字节，那么8位是表示不了的，这个时候，会使用前导字符FE
比如FE 03 06表示该字段的长度是0x603,就是1539字节
要注意的是在数据块里面是没有字段类型的，因此如果SYSTEM表空间损坏，需要导出数据，就必须了解表的结构，否则需要根据扫描的结果进行猜测

3.4 Free Space：表示数据块中可用空间，内部数据结构名freespace

BBED> p freespace[4]

ub1 freespace[4]                            @1588      0x00

所有的freespace'n' 的值都是0x00

3.5 Row Data：表示实际的数据，内部数据结构名rowdata

BBED> p rowdata[5019]

ub1 rowdata[5019]                           @8182     0x2c

表示放置第5019个数据的字节的位置为8182，值为0x2c

4 Tailchk: 保存在块结尾用于校验的数据，长度4个字节，内部结构名tailchk。

BBED>p tailchk

ub4 tailchk                                 @8188     0xd37a0602

注意到tailchk=bas_kcbh低2字节(d37a)+type_kcbh(06)+seq_kcbh(02)

tailchk 的值为last 2 bytes of base scn +type+ seq

--EOF--