达梦数据库-内存体系结构

达梦数据库-线程体系介绍

达梦数据库体内存系结构下图示：

实例

• 实例一般是由一个正在运行的DM后台进程（包含多个线程）以及一个大型的共享内存组成的。简单来说，实例就是操作达梦数据库的一种手段，是用来访问数据库的内存结构以及后台进程的集合。
  达梦数据库存储在服务器的磁盘上，而DM实例存储于服务器的内存中。通过运行DM实例，可以操作达梦数据库中的内容。在任何时候，一个实例只能与一个数据库进行关联（装载、打开或者挂起数据库）。在大多数情况下，一个数据库也只有一个实例对其进行操作。但是在即将提供的DM共享磁盘高性能集群中，多个实例可以同时装载并打开一个数据库（位于一组由多台服务器共享的物理磁盘上）。此时，可以同时从多台不同的计算机访问这个数据库。

DM内存

数据库管理系统是一种对内存申请和释放操作频率很高的软件，如果每次对内存的使用都使用操作系统函数来申请和释放，效率会比较低，加入自己的内存管理是DBMS所必需的。通常内存管理系统会带来以下好处。
（1）申请、释放内存效率更高。
（2）能够有效地了解内存的使用情况。
（3）易于发现内存泄露和内存写越界的问题。
达梦数据库管理系统的内存结构主要包括内存池、缓冲区、排序区、哈希区等。根据系统中子模块的不同功能，对内存进行了上述划分，并采用了不同的管理模式。

内存池
DM Server的内存池指的是共享内存池，根据内存使用情况的不同，对共享内存池的使用采用了两种工作方式：HEAP和VPOOL。共享内存池用于解决DM Server对于小片内存的申请与释放问题。系统在运行过程中，经常会申请与释放小片内存，而向操作系统申请和释放内存时需要发出系统调用，此时可能会引起线程切换，降低系统运行效率。采用共享内存池可一次向操作系统申请一片较大内存，即为内存池，当系统在运行过程中需要申请内存时，在共享内存池内进行申请，当用完该内存后再释放，即归还给共享内存池。当系统采用较好的策略管理共享内存池时，小片内存的申请与释放不会对系统影响太大。这种方式还有一个优点，可以比较容易地检测系统是否存在内存泄漏。DM系统管理员可以通过DM Server的配置文件（dm.ini）来对共享内存池的大小进行设置，共享池的参数为MEMORY_POOL，该配置默认为40MB。而HEAP与VPOOL使用的是共享内存池中的内存，所以一般情况下，HEAP与VPOOL两种方式对内存申请的大小不会超过MEMORY_POOL值。
（1）HEAP：HEAP工作方式采用了堆的思想。每次申请内存时，都是从堆顶上申请的，如果不够，则继续向共享内存池中申请内存页，然后加入到HEAP中，继续供系统的申请使用，这样HEAP的长度可以无限增长下去；释放HEAP时，可以释放堆顶上的内存页，也可以释放整个HEAP。使用内存堆来管理小片内存的申请有一个特点，每次申请小片内存以后，不能单独对这片内存进行释放，也就是不用关心这片内存何时释放，它在堆释放时统一释放，能有效防止内存泄露的发生。
（2）VPOOL：VPOOL的工作方式主要采用了“伙伴系统”的思想进行管理。申请的VPOOL内存分为私有和公有两种。私有VPOOL只提供给某个单独功能模块使用，公有VPOOL则提供给那些需要共享同一资源而申请的模块，所以对公有VPOOL需要进行保护，而私有VPOOL则不需要。VPOOL和HEAP的区别在于，VPOOL申请出去的每片内存都可以单独地进行释放。

缓冲区
（1）数据缓冲区：数据缓冲区是DM Server在将数据页写入磁盘之前以及从磁盘上读取数据页之后，数据页所存储的地方。这是DM Server至关重要的内存区域之一，将其设定得太小，会导致缓冲页命中率低，磁盘IO频繁；将其设定得太大，又会导致操作系统内存本身不够用。系统启动时，首先根据配置的数据缓冲区大小向操作系统申请一片连续内存并将其按数据页大小进行格式化，并置入“自由”链中。数据缓冲区存在三条链来管理被缓冲的数据页；一条是“自由”链，用于存放目前尚未使用的内存数据页；一条是“LRU”链，用于存放已被使用的内存数据页（包括未修改和已修改的）；还有一条即为“脏”链，用于存放已被修改过的内存数据页。LRU链对系统当前使用的页按其最近是否被使用的顺序进行了排序。这样当数据缓冲区中的自由链被用完时，从LRU链中淘汰部分最近未使用的数据页，能够较大程度地保证被淘汰的数据页在最近不会被用到，减少IO。在系统运行过程中，通常存在一部分“非常热”（反复被访问）的数据页，将它们一直留在缓冲区中，对系统性能会有好处。对于这部分数据页，数据缓冲区开辟了一个特定的区域用于存放它们，以保证这些页不参与一般的淘汰机制，可以一直留在数据缓冲区中。
①类别：DM Server中有四种类型的数据缓冲区，分别是NORMAL、KEEP、FAST和RECYCLE。其中，用户可以在创建表空间或修改表空间时，指定表空间属于NORMAL或KEEP缓冲区。RECYCLE缓冲区供临时表空间使用，FAST缓冲区根据用户指定的FAST_POOL_PAGES和FAST_ROLL_PAGES大小由系统自动进行管理，用户不能指定使用RECYCLE和FAST缓冲区的表或表空间。NORMAL缓冲区主要是提供给系统处理的一些数据页，没有特定指定缓冲区的情况下，默认缓冲区为NORMAL；KEEP的特性是对缓冲区中的数据页很少或几乎不怎么淘汰，主要针对用户的应用是否需要经常处在内存当中，如果是，则可以指定缓冲区为KEEP。DM Server提供了可以更改这些缓冲区大小的参数，用户可以根据自己应用需求情况，指定dm.ini文件中BUFFER（80MB）、KEEP（8MB）、RECYCLE（64MB）、FAST_POOL_PAGES（0）和FAST_ROLL_PAGES（0）值（括号中为默认值），这些值分别对应NORMAL缓冲区大小、KEEP缓冲区大小、RECYCLE缓冲区大小、FAST缓冲区页面数和FAST缓冲区回滚页面数。
②读多页：在需要进行大量I/O的应用当中，DM之前版本的策略是每次只读取一页。如果知道用户需要读取表的大量数据，当读取到第一页时，可以猜测用户可能需要读取这页的下一页，在这种情况下，一次性读取多页就可以减少I/O次数，从而提高了数据的查询、修改效率。DM Server提供了可以读取多页的参数，用户可以指定这些参数来调整数据库运行效率的最佳状态。在DM配置文件dm.ini中，可以指定参数MULTI_PAGE_GET_NUM大小（默认值为16页），以控制每次读取的页数。
如果用户没有设置较适合的参数MULTI_PAGE_GET_NUM值大小，有时可能会给用户带来更差的效果。如果MULTI_PAGE_GET_NUM太大，每次读取的页可能大多不是以后所用到的数据页，这样不仅会增加I/O的读取，而且每次都会做一些无用的I/O，所以系统管理员需要衡量好自己的应用需求，给出最佳方案。
（2）日志缓冲区：
日志缓冲区是用于存放重做日志的内存缓冲区。为了避免由于直接的磁盘IO而使系统性能受到影响，系统在运行过程中产生的日志并不会立即被写入磁盘，而是和数据页一样，先将其放置到日志缓冲区中。那么为何不在数据缓冲区中缓存重做日志而要单独设立日志缓冲区呢？其主要基于以下原因。
重做日志的格式同数据页完全不一样，无法进行统一管理；
重做日志具备连续写的特点；
在逻辑上，写重做日志比数据页IO优先级更高。
DM Server提供了参数LOG_BUF_SIZE对日志缓冲区大小进行控制，日志缓冲区所占用的内存是从共享内存池中申请的，单位为页数量，且大小必须为2的N次方，否则采用系统默认大小256页。
（3）字典缓冲区：
字典缓冲区主要存储一些数据字典信息，如模式信息、表信息、列信息、触发器信息等。每次对数据库的操作都会涉及数据字典信息，访问数据字典信息的效率直接影响到相应的操作效率，如进行查询语句，就需要相应的表信息、列信息等，这些字典信息如果都在缓冲区里，则直接从缓冲区中获取即可，否则需要I/O才能读取到这些信息。DM 7采用的是将部分数据字典信息加载到缓冲区中，并采用LRU算法进行字典信息的控制。缓冲区大小，如果设置的太大，会浪费宝贵的内存空间；如果太小，可能会频繁地进行淘汰，该缓冲区配置参数为DICT_BUF_SIZE，默认的配置大小为5MB。DM 7采用缓冲部分字典对象，这会影响效率吗？数据字典信息访问存在热点现象，并不是所有的字典信息都会被频繁的访问，所以按需加载字典信息并不会影响到实际的运行效率。但是如果在实际应用中涉及对分区数较多的水平分区表访问，如上千个分区，那么就需要适当调大DICT_BUF_SIZE参数值。
（4）SQL缓冲区：
SQL缓冲区提供在执行SQL语句过程中所需要的内存，包括计划、SQL语句和结果集缓存。很多应用当中都存在反复执行相同SQL语句的情况，此时可以使用缓冲区保存这些语句和它们的执行计划，这就是计划重用。这样带来的好处是加快了SQL语句执行效率，但同时给内存增加了压力。DM Server在配置文件dm.ini中提供了参数来支持是否需要计划重用，参数为USE_PLN_POOL，当指定为1时，启动计划重用；否则禁止计划重用。DM还提供了参数CACHE_POOL_SIZE（单位为　MB）来改变SQL缓冲区大小，系统管理员可以设置该值以满足应用需求，默认值为10MB。
（5）排序区
排序区提供数据排序所需要的内存缓冲空间。当用户执行SQL语句时，常常需要进行排序，所使用的内存就是排序缓冲区提供的。在每次排序过程中，都先申请内存，排序结束后再释放内存。DM Server提供了参数来指定排序缓冲区的大小，参数SORT_BUF_SIZE在DM配置文件dm.ini中，系统管理员可以设置其大小以满足需求，由于该值是由系统内部排序算法和排序数据结构决定的，建议使用默认值2MB。
（6）哈希区
DM 7提供了为哈希连接而设定的缓冲区，不过该缓冲区是虚拟缓冲区。之所以说是虚拟缓冲，是因为系统没有真正创建特定属于哈希缓冲区的内存，而在进行哈希连接时，对排序的数据量进行了计算。如果计算出的数据量大小超过了哈希缓冲区的大小，则使用DM 7创新外存哈希方式；如果没有超过哈希缓冲区的大小，实际上使用的还是VPOOL内存池进行的哈希操作。DM Server在dm.ini中提供了参数HJ_BUF_SIZE来进行控制，由于该值的大小可能会限制哈希连接的效率，所以建议保持默认值，或设置为更大的值。
除了提供HJ_BUF_SIZE参数外，DM Server还提供了创建哈希表个数的初始化参数，其中，HAGR_HASH_SIZE表示处理聚集函数时创建哈希表的个数，建议保持默认值100000。
（7）SSD缓冲区
固态硬盘采用闪存作为存储介质，因没有机械磁头的寻道时间，在读写效率上比机械磁盘具有优势。在内存、SSD磁盘、机械磁盘之间，符合存储分级的条件。为提高系统执行效率，DM Server将SSD文件作为内存缓存与普通磁盘之间的缓冲层，称为“SSD缓存”。DM Server在dm.ini中提供参数SSD_BUF_SIZE和SSD_FILE_PATH来配置SSD缓冲，SSD_BUF_SIZE指定缓冲区的大小，单位是MB，DM Server根据该参数创建相应大小的文件作为缓冲区使用；SSD_FILE_PATH指定该文件所在的文件夹路径，管理员需要保证设置的路径是位于固态磁盘上的。