Z-STACK之OSAL_Nv非易失性存储解读上

      本章解读Z-STACK中关于Nv操作的源码，以及z-stack中Nv的使用！

      在Z-STACK中Nv存储器主要用于保存网络的配置参数，如网络地址，使 系统在掉电重启仍然能读取一些参数，自动加入到原来的网络中，这样其网络地址没有变化！

     在z-stack中，每一个参数的配置对应的是一个Nv条目(item),每一个item都有自己的ID，z-stack中使用的条目ID范围如下：

    0x0000                              保留

    0x0001~0x0020              操作系统抽象层（OSAL）

    0x0021~0x0040              网络层（NWK）

    0x0041~0x0060              应用程序支持子层（APS）

    0x0061~0x0080              安全（Security）

    0x0081~0x00A0             Zigbee设备对象（ZDO）

    0x00A1~0x0200             保留

    0x0201~0x0FFF              应用程序

    0x1000~0xFFFF              保留

  如果是我们自己的应用程序中需要使用Nv，则定义其ID在0x0201~0x0FFF 范围内！

Z-STACK真正提供给用户使用的是五个函数：(在OSAL_Nv.h中声明)

1    void osal_nv_init( void *p );

2    uint8 osal_nv_item_init( uint16 id, uint16 len, void *buf );

3    uint8 osal_nv_read( uint16 id, uint16 offset, uint16 len, void *buf );

4    uint8 osal_nv_write( uint16 id, uint16 offset, uint16 len, void *buf );

5    uint16 osal_nv_item_len( uint16 id );

第1个函数在系统初始化的时候被调用，我们在应用程序中不用管！

第2个函数是我们在使用Nv时，初始化某个条目，如osal_nv_item_init(TEST_NV,1,NULL);

第3个函数是Nv读取某一个条目的数据，将其存储在buf中

第4个函数创建一个Nv条目（如果条目的ID不存在，如果存在，就将原来的item数据部分覆盖），并向其中写入数据

第5个函数是查询某一个item的数据长度。

 真正我们使用的是第2~4个函数。使用如下：

unsigned char value_read;

unsigned char value = 0x18;

osal_nv_item_init(TEST_NV,1,NULL);//NULL表示初始化的时候，item数据部分为空

osal_nv_item_write(TEST_NV,0,1,&value);

osal_nv_item_read(TEST_NV,0,1,&value_read);

value_read的值便是0x18，记住在write之前必须要初始化item，即调用osal_nv_item_init函数

 

下面我们打开OSAL_Nv.c源文件，通过分析源代码，就知道Z-STACK是如何抽象的封装出以上几个API，这对我们以后写程序还是很有帮助的！

 

在解读源码之前，必须要知道存储Nv条目的6个page如何存储Nv的，即其item在page中的结构和布局！

首先每一个page都有一个osalNvPgHdr_t结构体的头

typedef struct
{
  uint16 active;
  uint16 inUse;
  uint16 xfer;
  uint16 spare;
} osalNvPgHdr_t;     其中的几个成员稍后在做解释！

在这8个字节的page头部之后才是item的存储位置。而每一个item都有一个8字节的头部

typedef struct
{
  uint16 id;
  uint16 len;   // Enforce Flash-WORD size on len.
  uint16 chk;   // Byte-wise checksum of the 'len' data bytes of the item.
  uint16 stat;  // Item status.
} osalNvHdr_t;    从后面注释就知道了每一个成员变量的含义

 

然后我们还必须得知道几个全局变量和数组的含义：OSAL_NV_PAGES_USED值为6，即6个page

uint16 pgOff[OSAL_NV_PAGES_USED];

Offset into the page of the first available erased space.  每一个page的可用数据的偏移量

uint16 pgLost[OSAL_NV_PAGES_USED];

 Count of the bytes lost for the zeroed-out items.  为0数据的item的字节

uint8 pgRes;

Page reserved for item compacting transfer.     item 压缩传输的 保留page

uint8 findPg;

Saving ~100 code bytes to move a uint8* parameter/return value from findItem() to a global.

用一个全局变量能节省100字节的空间，指示某一个item对应的page

uint8 failF;  这个变量最用最后再解释!

 

 

在系统初始的时候调用osal_nv_init函数，它有调用initNV()函数，这个函数的作用就是初始化NV flash page，那在初始化中都做了什么呢？

 for ( pg = OSAL_NV_PAGE_BEG; pg <= OSAL_NV_PAGE_END; pg++ )
  {
    HalFlashRead(pg, OSAL_NV_PAGE_HDR_OFFSET, (uint8 *)(&pgHdr), OSAL_NV_HDR_SIZE);

    if ( pgHdr.active == OSAL_NV_ERASED_ID )
    {
      if ( pgRes == OSAL_NV_PAGE_NULL )
      {
        pgRes = pg;
      }
      else
      {
        setPageUse( pg, TRUE );
      }
    }
    else  // Page is active.
    {
      // If the page is not yet in use, it is the tgt of items from an xfer.
      if ( pgHdr.inUse == OSAL_NV_ERASED_ID )
      {
        newPg = pg;
      }
      // An Xfer from this page was in progress.
      else if ( pgHdr.xfer != OSAL_NV_ERASED_ID )
      {
        oldPg = pg;
      }
    }

    // Calculate page offset and lost bytes - any "old" item triggers an N^2 re-scan from start.
    if ( initPage( pg, OSAL_NV_ITEM_NULL, findDups ) != OSAL_NV_ITEM_NULL )
    {
      findDups = TRUE;
      pg = OSAL_NV_PAGE_BEG-1;
      continue;
    }

}

先看看这个for循环，循环每一个page，然后读取其page头部存储在pgHdr中，①如果其active成员为
OSAL_NV_ERASED_ID（0xFFFF），表示此page还没有被激活（想想我们的flash中没写的数据每一位为1，一字节就为0xFF，active占2个字节）。如果此页没有激活，且此时pgRes为OSAL_NV_PAGE_NULL（0）,则我们不激活此page，而是将此页作为后面压缩的保留页，如果pgRes不为0，即已经有了保留页，则将此page激活，且使此页投入以后使用中，调用setPageUse( pg, TRUE );我们看看这个函数

osalNvPgHdr_t pgHdr;

  pgHdr.active = OSAL_NV_ZEROED_ID;

  if ( inUse )
  {
    pgHdr.inUse = OSAL_NV_ZEROED_ID;
  }
  else
  {
    pgHdr.inUse = OSAL_NV_ERASED_ID;
  }

  writeWord( pg, OSAL_NV_PAGE_HDR_OFFSET, (uint8*)(&pgHdr) );

调用此函数激活page，即使active为OSAL_NV_ZEROED_ID为0x0000，如果inUse为TRUE，则置其inUse为OSAL_NV_ZEROED_ID（0x0000），表示此页投入使用中！否则置为OSAL_NV_ERASED_ID（0xFFFF），表示弃用该页！最后调用writeWord，将pgHdr头写进page的头部位置！

 

①（与上面的①对应，表示if和else）

如果该page 的active为OSAL_NV_ZEROED_ID（0x0000），此page 为激活状态，此时检查此page是否投入使用中，如果其inUse为OSAL_NV_ERASED_ID（0xFFFF），即没有投入到使用中，那么If the page is not yet in use, it is the tgt of items from an xfer.//将其作为后面压缩传输的目标，即使newPg = pg;

 

如果此页的xfer不为OSAL_NV_ERASED_ID（0xFFFF），表明其处于Xfer的过程中，（有时候机器意外断电，而此时刚好有page在Xfer过程，那么page的xfer位就为非0xFFFF，即0x0000）。这个时候 我们使 oldPg = pg;

 

然后调用了initPage( pg, OSAL_NV_ITEM_NULL, findDups )，这个函数有什么用呢？我们先看其代码：

static uint16 initPage( uint8 pg, uint16 id, uint8 findDups )
{
  uint16 offset = OSAL_NV_PAGE_HDR_SIZE;
  uint16 sz, lost = 0;
  osalNvHdr_t hdr;

  do
  {
    HalFlashRead(pg, offset, (uint8 *)(&hdr), OSAL_NV_HDR_SIZE);

    if ( hdr.id == OSAL_NV_ERASED_ID )
    {
      break;
    }
    offset += OSAL_NV_HDR_SIZE;
    sz = OSAL_NV_DATA_SIZE( hdr.len );

      if ( (offset + sz) > OSAL_NV_PAGE_FREE )
    {
      lost += (OSAL_NV_PAGE_FREE - offset + OSAL_NV_HDR_SIZE);
      offset = OSAL_NV_PAGE_FREE;
      break;
    }

    if ( hdr.id != OSAL_NV_ZEROED_ID )
    {
      if ( id != OSAL_NV_ITEM_NULL )
      {
         if ( (id & 0x7fff) == hdr.id )
        {
          if ( (((id & OSAL_NV_SOURCE_ID) == 0) && (hdr.stat == OSAL_NV_ERASED_ID)) ||
               (((id & OSAL_NV_SOURCE_ID) != 0) && (hdr.stat != OSAL_NV_ERASED_ID)) )
          {
            return offset;
          }
        }
      }
      else
      {
        if ( hdr.chk == calcChkF( pg, offset, hdr.len ) )
        {
          if ( findDups )
          {
            if ( hdr.stat == OSAL_NV_ERASED_ID )
            {
               uint16 off = findItem( (hdr.id | OSAL_NV_SOURCE_ID) );

              if ( off != OSAL_NV_ITEM_NULL )
              {
                setItem( findPg, off, eNvZero );  // Mark old duplicate as invalid.
              }
            }
          }
          else if ( hdr.stat != OSAL_NV_ERASED_ID )
          {
            return OSAL_NV_ERASED_ID;
          }
        }
        else
        {
          setItem( pg, offset, eNvZero );  // Mark bad checksum as invalid.
          lost += (OSAL_NV_HDR_SIZE + sz);
        }
      }
    }
    else
    {
      lost += (OSAL_NV_HDR_SIZE + sz);
    }
    offset += sz;

  } while ( TRUE );

  pgOff[pg - OSAL_NV_PAGE_BEG] = offset;
  pgLost[pg - OSAL_NV_PAGE_BEG] = lost;

  return OSAL_NV_ITEM_NULL;
}

代码有点长！其实这个函数的最用通过注释就知道了，Walk the page items; calculate checksums, lost bytes & page offset. 对于某个page，逐个item地计算其checksums，lost bytes，然后计算page offset！再看下其返回值

If 'id' is non-NULL and good checksums are found, return the offset   of the data corresponding to item Id; else OSAL_NV_ITEM_NULL.  如果id值不为0，且校验和正确就返回和此item的数据的偏移量，否则返回OSAL_NV_ITEM_NULL（0）

那么在initNV的for循环中

 if ( initPage( pg, OSAL_NV_ITEM_NULL, findDups ) != OSAL_NV_ITEM_NULL )
    {
      findDups = TRUE;
      pg = OSAL_NV_PAGE_BEG-1;
      continue;
    }

这个if语句干什么的呢？知道了initPage的返回值，不难理解其用途！如果if为真，即initPage返回的值为OSAL_NV_ERASED_ID（0xFFFF）

initPage执行到下面一句

else if ( hdr.stat != OSAL_NV_ERASED_ID )
{
            return OSAL_NV_ERASED_ID;
}

此时Any "old" item immediately exits and triggers the N^2 exhaustive initialization.为什么呢？因为如果是id为0，那么该处的hdr.stat值应该为0xFFFF，如果某种意外情况导致其不为0xFFFF，则说明出了问题，得重新去初始化所有的item（即检查他们的头部）

 

回归到上面，如果initPage返回值为OSAL_NV_ERASED_ID（0xFFFF），则

      findDups = TRUE;
      pg = OSAL_NV_PAGE_BEG-1;
      continue;

置findDups为TRUE，那么在下次调用initPage的时候就会去初始化所有item，然后pg =OSAL_NV_PAGE_BEG-1

for循环从开头执行！ 这就是for循环中的代码，重要的是记住newPg 和oldPg ；

 

接下来

if ( newPg != OSAL_NV_PAGE_NULL )
  {
     if ( pgRes != OSAL_NV_PAGE_NULL )
    {
      setPageUse( newPg, TRUE );
    }
    else if ( oldPg != OSAL_NV_PAGE_NULL )
    {
      pgRes = newPg;
    }

     if ( oldPg != OSAL_NV_PAGE_NULL )
    {
      compactPage( oldPg );
    }

}

newPage保存的是inUse为OSAL_NV_ERASED_ID（0xFFFF）即还没有投入使用中的页，如果有这样的page，我们再进行下一步判断pgRes，如果其值不为OSAL_NV_PAGE_NULL，即保留了某一个page为compact xfer page。

这个时候调用setPageUse( newPg, TRUE );即使其inUse为OSAL_NV_ZEROED_ID（0x0000），此页将投入使用中。如果pgReg为OSAL_NV_PAGE_NULL(此时所有的page均激活了)，且某一页其xfer为OSAL_NV_ZEROED_ID，其保存在oldPg中，此时们将newPg 赋值给pgRes，即将newPg作为compact的保留page（此时newPg没有投入使用中），接下来如果oldPg中保存了xfer被打断了的page，则调用compactPage( oldPg )，将其进行压缩！

有这段注释：

/* If a page compaction was interrupted and the page being compacted is not
     * yet erased, then there may be items remaining to xfer before erasing.
     */

 

看下这个函数代码：

static void compactPage( uint8 srcPg )
{
  uint16 dstOff = pgOff[pgRes-OSAL_NV_PAGE_BEG];
  uint16 srcOff = OSAL_NV_ZEROED_ID;
  osalNvHdr_t hdr;
  writeWordH( srcPg, OSAL_NV_PG_XFER, (uint8*)(&srcOff) );

  srcOff = OSAL_NV_PAGE_HDR_SIZE;

  do
  {
    uint16 sz;
    HalFlashRead(srcPg, srcOff, (uint8 *)(&hdr), OSAL_NV_HDR_SIZE);

    if ( hdr.id == OSAL_NV_ERASED_ID )
    {
      break;
    }

    srcOff += OSAL_NV_HDR_SIZE;

    if ( (srcOff + hdr.len) > OSAL_NV_PAGE_FREE )
    {
      break;
    }

    sz = OSAL_NV_DATA_SIZE( hdr.len );

    if ( hdr.id != OSAL_NV_ZEROED_ID )
    {
      if ( hdr.chk == calcChkF( srcPg, srcOff, hdr.len ) )
      {
        setItem( srcPg, srcOff, eNvXfer );
        writeBuf( pgRes, dstOff, OSAL_NV_HDR_SIZE, (byte *)(&hdr) );
        dstOff += OSAL_NV_HDR_SIZE;
        xferBuf( srcPg, srcOff, pgRes, dstOff, sz );
        dstOff += sz;
      }

      setItem( srcPg, srcOff, eNvZero );  // Mark old location as invalid.
    }

    srcOff += sz;

  } while ( TRUE );

  pgOff[pgRes-OSAL_NV_PAGE_BEG] = dstOff;
  erasePage( srcPg );

  setPageUse( pgRes, TRUE );
  pgRes = srcPg;
}

首先 Mark page as being in process of compaction. 标志该页正在压缩处理中！

然后依次读取srcPg中的每一个item，然后对每一个item进行处理，处理过程如下：

1，如果item的id不为OSAL_NV_ZEROED_ID（0x0000），如果id为0x0000，则直接跳到步骤4

对其进行和校验，如果正确的话转下一步，如果不正确转到步骤3

2，调用setItem( srcPg, srcOff, eNvXfer );设置item 的状态位为激活状态，即使其stat位为OSAL_NV_ACTIVE（0x00），然后调用writeBuf( pgRes, dstOff, OSAL_NV_HDR_SIZE, (byte *)(&hdr) );将该item头部八字节写进pgRes页的dstOff处，此页为保留页，记住此时我们已经从前面的步骤中划分出了一个page为pgRes。最后调用xferBuf( srcPg, srcOff, pgRes, dstOff, sz );将该item的数据部分从srcPg中转移到pgRes中，其中sz为item的数据长度。转下一步

3，调用setItem( srcPg, srcOff, eNvZero );标记srcPg中这些被转移的item为invalid，即将他们的id全部置0，函数中最后调整了pgLost数组中该page的lost bytes，即为该item的数据长度！

4，调整srcOff, srcOff += sz;即指向下一个srcPg的item。

经过上述步骤，就处理完了srcPg中的所有item，将他们都转移到pgRes中，其实就是压缩的是其中那些id为0x0000的item。

 

 pgOff[pgRes-OSAL_NV_PAGE_BEG] = dstOff；调整pgRes的pgOff；

 

erasePage( srcPg );擦出被compact的page，

 

setPageUse( pgRes, TRUE );   // Mark the reserve page as being in use. 

 

 pgRes = srcPg;  // Set the reserve page to be the newly erased page.

 

这样compactPage就完成了，还记得它前后完成的工作吧！

 

 

继续回到initNV函数最后一个if语句：

if ( pgRes == OSAL_NV_PAGE_NULL )
  {
    for ( pg = OSAL_NV_PAGE_BEG; pg <= OSAL_NV_PAGE_END; pg++ )
    {
      erasePage( pg );
    }
    initNV();
  } 

/* If no page met the criteria to be the reserve page:
   *  - A compactPage() failed or board reset before doing so.
   *  - Perhaps the user changed which Flash pages are dedicated to NV and downloaded the code
   *    without erasing Flash?
   */

如果没有一个page满足“标准”称为the reserve page 那么将所有Nv page擦出掉，然后重新初始化NV。

至此initNV()函数完成！