DEM搭建及应用

一、达梦企业管理器 DEM

数据库运维监控系统可以为数据库稳定运行提供重要保障。如果可以建立起可靠的运维监控系统,对可能发生的灾难加以预警,就能迅速启动应急响应机制,排除系统故障,这对于保障系统稳定运行具有极大的实用价值。

达梦企业管理器(DM Enterprise Manager,简称为 DEM )提供一个通过 Web 界面来监控、管理并维护 DM 数据库的集中式管理平台。数据库管理员可通过任意 Web 应用登录 DEM,从而对 DM 数据库进行管理和监控。 DEM 主要有集群部署、自动巡检、监控和告警等功能。DEM 由以下几个部分组成:

DEM 服务器:指 DEM 应用服务器,负责处理客户端工具功能逻辑并存储 dmagent 收集到的数据到 DEM 存储数据库,同时向客户端展示监控数据。

DEM 存储数据库:存储 DEM 的元数据和 dmagent 收集到的监控数据。

数据库实例:需要被管理监控的数据库实例。

数据库代理服务(dmagent):部署在远程机器上的代理,DEM 通过 dmagent 访问远程主机,同时 dmagent 收集监控信息发送给 DEM。

DEM 系统架构图如下所示:

DEM搭建及应用_第1张图片

DEM 工具主要提供如下功能:

客户端工具。用户能够通过 DEM 工具来进行 DM 数据库的对象管理、状态监控、SQL 查询与调试。

监控与告警。本功能是 DEM 工具的核心功能。通过远程主机部署代理,能够实现对远程主机状态和远程主机上 DM 数据库实例状态的监控。DEM 监控功能不仅仅局限于单个数据库实例,还能够对数据库集群(MPP、RAC、数据守护等)进行监控和管理。

系统管理。DEM 工具提供了工具本身的系统配置与权限管理,方便不同用户同时使用工具,也可限制非 admin 用户的权限。

适用范围:该工具适用于监控 DM7 数据库和 DM8 数据库。

二、DEM 部署

2.1环境准备

1、硬件环境

(1)服务器:实体机或虚拟机;

(2)操作系统:Windows 或 Linux 操作系统均可;

(3)内存:建议提供 2G 以上内存;

(4)其他:由于 DEM 会从被监视的数据库中获取信息到后台数据库,因此,建议生产环境中 DEM 数据的存储目录应不小于 100GB;其余的硬件要求与数据库单机部署一致。

2、软件环境

(1)DEM WAR 包:位于达梦安装目录下 “../web/dem.war”;

(2)Tomcat:自备,要求与部署的系统环境相匹配;

(3)JAVA 1.8:DEM 和 dmagent 所在机器需要配置 JAVA 环境,JAVA 版本必须为 JAVA 1.8。若系统中不带 jdk 环境可以在环境变量中指定数据库中的 jdk 目录即可,如下所示:

[root@localhost ~]# cat /etc/profile

export JAVA_HOME=/home/dmdba/dm/dmdbms/jdk

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

(4)达梦数据库:为 DEM 的后台数据库,需保证 DEM 所在机器能访问达梦数据库。

在部署 dmagent 之前,需设置 DEM 和 dmagent 所在服务器主机的时间同步。正式环境建议使用 ntp 配置时间同步。如下以 ”10.10.10.10“ 为 ntp 服务器为例,设置定时任务:

[root@localhost ~]# crontab -l

# Time sync

0,10,20,30,40,50 * * * * /root/sync_time.sh

[root@localhost ~]# cat /root/sync_time.sh

#!/bin/bash

. /etc/profile

. /root/.bash_profile

ntpdate 10.10.10.10 ; hwclock –w

2.2初始化后台数据库

1、创建后台数据库

创建一个DM数据库作为DEM后台数据库,初始化参数不做要求,默认即可,数据库dm.ini参数配置进行优化,推荐配置如下:

MEMORY_POOL          =  200

BUFFER                  =  1000

KEEP                    =  64

SORT_BUF_SIZE          =  50

2、执行初始化脚本

在创建的后台数据库中用SYSDBA(或管理员用户)执行SQL脚本dem_init.sql,脚本位于达梦安装目录下../web/dem_init.sql(此SQL脚本编码为UTF-8,若使用disql执行SQL脚本,请先设置set CHAR_CODE UTF8)。执行完脚本后,在后台数据库中会生成一个DEM的模式,存放DEM运行所需要的表和视图。

(3)备份策略

可根据实际项目需求确定是否有必要设置后台数据库的备份,以及决定备份策略。

2.3配置Tomcat

1、解压tomcat包。安装完tomcat之后,会生成以下目录:

 DEM搭建及应用_第2张图片

2、检查JAVA环境。启动之前需要确定配置JAVA 1.8及以上版本的运行环境,运行java –version查看JAVA版本。

3、修改tomcat配置

(1)在conf/server.xml配置文件中

               connectionTimeout="20000"

              redirectPort="8443" />

 DEM搭建及应用_第3张图片

(2)在bin/catalina.sh配置文件中,根据数据库的安装路径,修改/新增jvm启动参数:

Linux:bin/catalina.sh -> JAVA_OPTS="-server -Xms256m -Xmx1024m -Djava.library.path=/home/dmdba/dmdbms/bin"

Windows:bin/catalina.bat -> set java_opts= -server -Xms40m -Xmx1024m -Djava.library.path=c:\dmdbms\bin

DEM搭建及应用_第4张图片

2.4 DEM连接配置

1、解压dem.war包

将dem.war包放置在Tomcat的webapps目录下,启动Tomcat,会自动解压war包生成DEM目录。在bin目录下执行脚本启动Tomcat:

DEM搭建及应用_第5张图片

2、配置后台数据库连接

配置后台数据库的连接信息:ip、port、用户名、密码、连接池大小、SSL登录信息等,在文件dem/WEB-INF/db.xml配置;

 DEM搭建及应用_第6张图片

如果需要SSL安全方式连接后台数据库,要求配置SSLDir和SSLPassword:默认在WEB-INF/sslDir目录存有密钥对,WEB-INF/db.xml配置客户端连接使用的密钥文件(SSLDir)为WEB-INF/sslDir/client_ssl/SYSDBA,密码(SSLPassword)为空,对应WEB-INF/db.xml配置的登录用户SYSDBA,此时,只需拷贝WEB-INF/sslDir/server_ssl到后台数据库执行码目录。

db.xml中Password和SSLPassword支持设置自定义加解密引擎对密码进行加解密处理,通过属性engine指定加解密引擎类路径。自定义加解密引擎需要实现demsdk.jar中提供的com.dameng.dem.server.util.IEncryptEngine接口。将自定义加解密引擎打包成jar文件放入WEB-INF\lib目录下。

demsdk.jar提供了一个默认的加解密引擎:com.dameng.dem.server.util.DefaultEncryptEngine,使用默认加解密引擎配置如下:

通过DefaultEncryptEngine加密后的密码

3、配置DEM日志级别

在tomcat的webapps/dem/WEB-INF目录下,log4j.xml文件控制着日志级别。LOG_LEVEL参数控制日志的显示信息,LOG_MAX_SIZE,LOG_MAX_COUNT,LOG_PRESERVE_DURATION这3个参数动态组合控制日志量和日志保存的最大大小,超过这个最大大小的日志会被删除。

日志最大大小= LOG_MAX_SIZE × LOG_MAX_COUNT × LOG_PRESERVE_DURATION;

在DEM调试和查找问题时,LOG_LEVEL可以使用DEBUG或者ALL参数,生产环境平时建议使用ERROR级别。根据项目的实际需要和磁盘的可用大小,调整LOG_MAX_SIZE,LOG_MAX_COUNT,LOG_PRESERVE_DURATION这3个参数的大小,避免出现磁盘爆盘的现象。此配置文件重启Tomcat之后才能生效。

重启生效。重新启动Tomcat使配置生效。

DEM搭建及应用_第7张图片

三、部署dmagent

部署dmagent之前,需要确定服务器配置JAVA 1.8及以上版本的运行时环境,运行java –version查看JAVA版本,核对dmagent机器和dem运行机器的时间一致。

(1)获取dmagent。dmagent获取方式:

达梦数据库安装目录的 tool 下存有 dmagent;

(2)拷贝 dmagent 到要部署的机器上。

(3)修改dmagent配置。配置 dmagent 目录下的 agent.ini:

center_url  =  http://192.168.23.66:8080/dem    #dem所在机器的地址  

(4)配置dmagent日志级别。同样是修改dmagent 目录下的 log4j.xml文件,修改方法和配置与dem端一样。

(5)启动dmagent。

Linux:./start.sh –d  agent.ini

Windows:start.bat –d  agent.ini

(6)补充

客户端工具显示。若有些项目上要求不显示manager客户端工具,则在tomcat/bin/catalina.sh文件中追加属性字段JAVA_OPTS=”…… -Drun_mode=DMA”,则不会显示实例连接,如下图:

 DEM搭建及应用_第8张图片

四、WEB界面管理配置

本机ip为192.168.23.66,开启浏览器访问url(http://192.168.23.66:8080/dem),登录(admin/888888)

DEM搭建及应用_第9张图片

DEM搭建及应用_第10张图片

4.1、主机配置

当dmagent开启monitor参数之后(默认开启),自动会将主机信息添加到DEM主机监控界面,此时主机界面还是有个感叹号,点击智能运维--->资源监控--->更多--->配置网络,进入内网网络确认界面,若无问题,点击刷新和保存按钮,即确认信息,可消除感叹号。

将鼠标放在主机信息的IP上,可显示监控主机的基本信息,如下:

DEM搭建及应用_第11张图片

点击操作可以查看系统监控:

DEM搭建及应用_第12张图片 

DEM搭建及应用_第13张图片 

4.2、数据库配置

路径:资源监控--->数据库--->添加。

添加选项给出两个可选项:单实例和集群,选择集群之后,集群类型下拉框给出目前达梦拥有的所有集群类型。

DEM搭建及应用_第14张图片

DEM搭建及应用_第15张图片 

在连接数据库时,需要输入监控数据库的用户名和密码。生产环境中不要使用SYSDBA用户连接,建议创建独立的DEM用户,给予相应表和视图的查询权限,并限制最大会话数为50,会话空闲期为10分钟。监控用户不要配置any等过大权限。以test用户为例:

--授予DEM监控数据库最小连接权限:

create user "TEST" identified by "******" limit session_per_user 50, connect_idle_time 10;

grant "PUBLIC" to "TEST";

grant SELECT TABLE,SELECT VIEW,SELECT SEQUENCE to "TEST";

点击操作查看具体监控指标:

DEM搭建及应用_第16张图片

DEM搭建及应用_第17张图片 

4.3、DEM系统管理

1、用户管理

DEM配置有邮箱告警功能,当前默认设置为[email protected]邮箱,此邮箱为公司邮箱。若启用该功能,请务必修改邮箱地址。

DEM搭建及应用_第18张图片

2、系统配置

DEM系统配置常用板块为采集数据管理和参数配置,服务人员可根据现场实际需求对DEM监控设置进行调整。

采集数据管理:该功能可以查看DEM监控过程中收集到的数据库信息表,服务人员可根据现场需求,设置数据保留时间。需要对各类历史监控表设置数据保留时间,以防止占用数据空间过大。

DEM搭建及应用_第19张图片

DEM搭建及应用_第20张图片 

相关参数配置:为提高监控效率,可调整监控频率配置参数。

对于内容较为稳定的监控项,可适当增大信息收集频率,例如gather_mf_info_freq(主机基本信息收集频率)和gather_db_info_freq(数据库基本信息收集频率),建议可以设置为86400,即每天监控一次。

对生产系统影响较大的监控项,在确定生产库健康运行后,可适当调大监控频率或关闭,下表显示了可能会影响生产效率的监控参数,进行关闭:

参数名称

参数含义

建议

gather_db_sqlslow_freq

收集数据库慢SQL信息的频率

关闭

gather_db_sqlslow_time

监控中对于慢SQL的界定时间

关闭

gather_db_tablespace_freq

收集数据库表空间信息的频率

 关闭

 对于以上监控项,请实施人员务必根据实际项目情况进行调整,以免影响生产效率。例如对生产库慢SQL的监控,DEM提供了两个监控参数gather_db_sqlslow_freq和gather_db_sqlslow_time,可根据实际情况适当增大慢SQL界定时间或延长慢SQL信息收集频率。

五、注意事项

(1)dem连接生产库的用户必须要进行限定;

(2)告警邮箱地址必须进行修改;

(3)系统配置必须根据现场业务情况进行相应调整或关闭,若有参数经调整后仍对生产影响较大,建议直接关闭。

更多相关资料请参考达梦云适配技术社区

达梦数据库 - 新一代大型通用关系型数据库 | 达梦在线服务平台

你可能感兴趣的:(达梦,数据库,数据库,安全)