大数据之LibrA数据库系统告警处理（ALM-12012 NTP服务异常）

告警解释

当节点NTP服务无法与主OMS节点NTP服务正常同步时间时产生该告警。

当节点NTP服务与主OMS节点NTP服务正常同步时间时恢复该告警。

告警属性

告警ID	告警级别	可自动清除
12012	严重	是

告警参数

参数名称	参数含义
ServiceName	产生告警的服务名称。
RoleName	产生告警的角色名称。
HostName	产生告警的主机名。

对系统的影响

该节点的时间与集群其它节点的时间不同步，可能会导致该节点上的某些FusionInsight应用无法正常运行。

可能原因

• 该节点的NTP服务无法正常启动。
• 该节点与主OMS节点NTP服务不能正常同步时间。
• 该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。
• 该节点与主OMS节点NTP服务时间偏差太大。

处理步骤

检查该节点的NTP服务是否正常启动。

1. 检查ntpd进程是否运行在告警节点上。使用root用户登录告警节点，执行命令：ps -ef | grep ntpd | grep -v grep，检查命令是否输出ntpd进程的信息。
   • 是，执行步骤 4。
   • 否，执行步骤 2。

2. 执行service ntp start（RedHat系统执行service ntpd start）启动NTP服务。
3. 10分钟后，检查该告警是否恢复。
   • 是，处理完毕。
   • 否，执行步骤 4。

检查该节点与主OMS节点NTP服务是否正常同步时间。

1. 查看NTP告警的“附加信息”是否描述“与主OMS节点NTP服务无法同步时间”（“Can not synchronize time with active OMS server”）。
   • 是，执行步骤 5。
   • 否，执行步骤 14。

2. 排查与主OMS节点NTP服务的同步是否有问题。

   使用root用户登录告警节点，执行ntpq -np命令。

   如果显示结果的主OMS节点NTP服务IP地址前有“*”号，表示同步正常，如下：

   remote refid st t when poll reach delay offset jitter 
   ============================================================================== 
   *10.10.10.162 .LOCL. 1 u 1 16 377 0.270 -1.562 0.014

   如果显示结果的主OMS节点NTP服务IP前无“*”号，且“refid”项内容为“.INIT.”，表示同步不正常。

   remote refid st t when poll reach delay offset jitter 
   ============================================================================== 
   10.10.10.162 .INIT. 1 u 1 16 377 0.270 -1.562 0.014

   • 是，执行步骤 6。
   • 否，执行步骤 17。

3. NTP不能正常同步，通常与系统防火墙有关。如果能关闭防火墙，建议尝试关闭防火墙；如果不能关闭防火墙，请检查防火墙配置策略，确保UDP 123端口未禁用（具体遵循各系统下防火墙配置策略）。
4. 处理防火墙后等待10分钟，检查该告警是否恢复。
   • 是，处理完毕。
   • 否，执行步骤 8。

1. 使用root用户登录主OMS节点，执行下列命令，查看key值索引号为“1M”的认证码。

   SUSE系统执行：cat /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntp.keys

   RedHat系统执行：cat /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntpkeys

2. 执行下列命令，查看key值是否与步骤 8的查询值相同。

   SUSE系统执行：diff /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntp.keys /etc/ntp.keys

   RedHat系统执行：diff /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntpkeys /etc/ntp/ntpkeys

   • 是，执行步骤 10。
   • 否，执行步骤 17。

3. 执行cat ${BIGDATA_HOME}/om-server/om/packaged-distributables/ntpKeyFile，查看key值是否与步骤 8的查询值相同。（请与步骤 8查询值的认证秘钥索引为“1M”的key值进行对比）。
   • 是，执行步骤 17。
   • 否，执行步骤 11。

4. 使用root用户登录故障节点，SUSE系统执行cat /etc/ntp.keys（RedHat系统执行cat /etc/ntp/ntpkeys），查看key值是否与步骤 10的查询值相同（请使用查询出的认证秘钥索引为“1M”的key值进行对比）。
   • 是，执行步骤 17。
   • 否，执行步骤 12。

5. 使用root用户或omm用户执行以下命令，修改主OMS节点ntp的key值（RedHat系统请将ntp.keys改为ntpkeys）。

   cd ${BIGDATA_HOME}/om-server/OMSV100R001C00x8664/workspace/conf

   sed -i "`cat ntp.keys | grep -n '1 M'|awk -F ':' '{print $1}'`d" ntp.keys

   echo "1 M `cat ${BIGDATA_HOME}/om-server/om/packaged-distributables/ntpKeyFile`" >>ntp.keys

   查看“ntp.keys”中认证秘钥索引字段为1M的key值是否和ntpKeyFile的值相同

   • 是，执行步骤 13。
   • 否，请尝试手动将ntp.keys中认证秘钥索引字段为1M的key值修改为ntpKeyFile的key值。

6. 5分钟后，使用root用户执行以下命令，查看系统配置文件是否已经同步。

   RedHat系统执行：diff /etc/ntp/ntpkeys ${BIGDATA_HOME}/om-server/OMSV100R001C00x8664/workspace/conf/ntpkeys

   SUSE系统执行：diff /etc/ntp.keys ${BIGDATA_HOME}/om-server/OMSV100R001C00x8664/workspace/conf/ntp.keys

   执行命令无返回结果即为已经同步，同步成功后，执行命令service ntp restart，重启主OMS节点ntp服务，15分钟后查看告警是否消除。

   • 是，处理完毕。
   • 否，执行步骤 17。

检查该节点与主OMS节点NTP服务时间偏差是否太大。

1. NTP告警的“附加信息”是否描述“时间偏差太大”（time offset）。
   • 是，执行步骤 15。
   • 否，执行步骤 17。

2. 在“主机管理”页面，勾选告警节点的主机，选择“更多操作 > 停止所有角色”停止告警节点的所有服务。

   如果告警节点时间比主OMS节点NTP服务时间慢，校正告警节点的系统时间。校正告警节点的系统时间后，选择“更多操作 > 启动所有角色”启动告警节点的服务。

   如果告警节点时间比主OMS节点NTP服务时间快，等待相应时间差，校正告警节点的系统时间。校正完成后，选择“更多操作 > 启动所有角色”启动告警节点的服务。

   说明：

   如果不做相应等待，可能造成数据丢失风险。

3. 10分钟后，检查该告警是否恢复。
   • 是，处理完毕。
   • 否，执行步骤 17。

收集故障信息。

1. 在FusionInsight Manager界面，单击“系统设置 > 日志下载”。
2. 在“服务”下拉框中勾选“NodeAgent”、“OmmServer”，设置“主机”为告警所在节点和主OMS节点，单击“确定”。
3. 设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。