大数据-之LibrA数据库系统告警处理（ALM-12045 网络读包丢包率超过阈值）

告警解释

系统每30秒周期性检测网络读包丢包率，并把实际丢包率和阈值（系统默认阈值0.5%）进行比较，当检测到网络读包丢包率连续多次（默认值为5）超过阈值时产生该告警。

用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读包率信息 > 读包丢包率”修改阈值。

平滑次数为1，网络读包丢包率小于或等于阈值时，告警恢复；平滑次数大于1，网络读包丢包率小于或等于阈值的90%时，告警恢复。

该告警检测默认关闭。若需要开启，请根据“检查系统环境”步骤，确认该系统是否可以开启该告警发送。

告警属性

告警ID	告警级别	可自动清除
12045	严重	是

告警参数

参数名称	参数含义
ServiceName	产生告警的服务名称。
RoleName	产生告警的角色名称。
HostName	产生告警的主机名。
NetworkCardName	产生告警的网口名。
Trigger Condition	系统当前指标取值满足自定义的告警设置条件。

对系统的影响

业务性能下降或者个别业务出现超时问题。

风险提示:在SUSE内核版本3.0以上或RedHat 7.2版本，由于系统内核修改了网络读包丢包数的计数机制，在该系统下，即使网络正常运行，也可能会导致该告警出现，对业务无影响，建议优先按照“检查系统环境”进行排查。

可能原因

• 操作系统问题。
• 网卡配置了主备bond模式。
• 告警阈值配置不合理。
• 网络环境异常。

处理步骤

查看网络丢包率

1. 使用PuTTY工具，以omm用户登录集群中任意非告警节点，执行ping 告警节点IP地址 -c 100命令检查网络中是否存在丢包。
   说明：
   • 告警节点IP地址：根据告警定位信息中的HostName字段值，在FusionInsight Manager的“主机管理”界面查询对应的IP地址，管理平面和业务平面IP都需要检查。
   • -c参数：检查次数，默认100次。
   • 是，执行步骤 10。
   • 否，执行步骤 2。

检查系统环境

1. 使用PuTTY工具，以omm用户登录主OMS节点或者告警所在节点。
2. 执行cat /etc/*-release命令，确认操作系统的类型。
   • RedHat，执行步骤 4。

   • SuSE，执行步骤 5。

   • 其他，执行步骤 10。

3. 执行cat /etc/redhat-release命令，查询操作系统版本是否为RedHat 7.2。
   • 是，不能开启告警发送，执行步骤 6。
   • 否，执行步骤 10。

4. 执行cat /proc/version命令，查询SuSE内核版本是否为3.0及以上。

   # cat /proc/version
   Linux version 3.0.101-63-default (geeko@buildhost) (gcc version 4.3.4 [gcc-4_3-branch revision 152973] (SUSE Linux) ) #1 SMP Tue Jun 23 16:02:31 UTC 2015 (4b89d0c)

   • 是，不能开启告警发送，执行步骤 6。
   • 否，执行步骤 10。

5. 登录FusionInsight Manager，进入“系统设置 > 配置 > 阈值配置”页面。
6. 在“阈值配置”页面左侧树形结构中选择“网络读信息 > 网络读包率信息 > 读包丢包率”，在弹出的右侧信息中，查看“发送告警”是否已经勾选。

• 是，说明开启了告警发送，执行步骤 8。
• 否，已经关闭告警发送，执行步骤 9。

 7.在弹出的右侧信息中，去勾选“发送告警”，屏蔽对“网络读包丢包率超过阈值”的检测，操作后的结果如下图所示。

1. 

   8.在FusionInsight Manager的“告警管理”界面，搜索“12045”告警，将未自动清除的该告警全部手动清除，处理完毕。

检查网卡是否配置了主备bond模式。

1. 使用PuTTY工具，以omm用户登录告警所在节点，执行ls -l /proc/net/bonding命令，查看该节点是否存在“/proc/net/bonding”目录。
   • 是， 如下所示，则该节点配置了bond模式，执行步骤 11。

     # ls -l /proc/net/bonding/
     total 0
     -r--r--r-- 1 root root 0 Oct 11 17:35 bond0

   • 否，如下所示，则该节点未配置bond模式，执行步骤 13。

     # ls -l /proc/net/bonding/
     ls: cannot access /proc/net/bonding/: No such file or directory

2. 执行cat /proc/net/bonding/bond0命令，查看配置文件中Bonding Mode参数的值是否为fault-tolerance。
   说明：

   bond0为bond配置文件名称，请以步骤 10查询出的文件名称为准。

   # cat /proc/net/bonding/bond0 
   Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
   
   Bonding Mode: fault-tolerance (active-backup)
   Primary Slave: eth1 (primary_reselect always)
   Currently Active Slave: eth1
   MII Status: up
   MII Polling Interval (ms): 100
   Up Delay (ms): 0
   Down Delay (ms): 0
   
   Slave Interface: eth0
   MII Status: up
   Speed: 1000 Mbps
   Duplex: full
   Link Failure Count: 1
   Slave queue ID: 0
   
   Slave Interface: eth1
   MII Status: up
   Speed: 1000 Mbps
   Duplex: full
   Link Failure Count: 1
   Slave queue ID: 0

   • 是，该环境的网卡为主备bond模式，执行步骤 12。
   • 否，执行步骤 13。

3. 检查该告警详情中NetworkCardName参数对应的网卡是否为备网卡。
   • 是，备网卡的告警无法自动恢复，请在告警管理页面手动清除该告警，处理完毕。
   • 否，执行步骤 13。 

 说明：

备网卡判断方式：查看配置文件/proc/net/bonding/bond0，NetworkCardName参数对应的网卡名称等于其中一个Slave Interface，但是不等于Currently Active Slave（当前主网卡），则该网卡为备网卡

检查阈值设置是否合理。

1. 登录FusionInsight Manager，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调整）。
   • 是，执行步骤 16。
   • 否，执行步骤 14。

2. 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读包率信息 > 读包丢包率”中更改告警阈值。如图1所示。

   图1 设置告警阈值

   

3. 等待5分钟，检查该告警是否恢复。
   • 是，处理完毕。
   • 否，执行步骤 16。

检查网络是否异常。

1. 联系系统管理员，检查网络是否存在异常。
   • 是，恢复网络故障，执行步骤 17。
   • 否，执行步骤 18。

2. 等待5分钟，检查该告警是否恢复。
   • 是，处理完毕。
   • 否，执行步骤 18。

收集故障信息。

1. 在主集群的FusionInsight Manager界面，单击“系统设置 > 日志下载”。
2. 在“服务”下拉框中勾选“Manager”，单击“确定”。
3. 设置“主机”为告警所在节点和主OMS节点。
4. 设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。