网络监控主要包括网络链路监控和网络设备监控,通常系统运维人员会比较关注。
网络链路监控主要包含三个部分,网络连通性、网络质量、网络流量。
连通性和质量的监控手段非常简单,就是在链路一侧部署探针,去探测链路另一侧的目标,通过 ICMP、TCP、HTTP 等协议发送探测数据包,分析回包的结果。典型的指标有丢包率、延迟、回包是否匹配预期条件等。
网络流量监控,则关注流量大小以及流量内容。流量大小广泛应用于水位管理,比如机器网卡、交换机的接口、外网出口、专线带宽等,及时发现网络瓶颈。分析流量内容,则可以识别过度耗用带宽的用户和应用程序,验证网络 QoS 策略等。
Categraf 的 ICMP 探测使用 Ping 插件,相关配置在 conf/input.ping/ping.toml,主要是配置要探测的目标地址。
[[instances]]
targets = [ "10.4.5.6", "10.4.5.7" ]
labels = { region="cloud", product="n9e" }
[[instances]]
targets = [ "10.4.5.8" ]
labels = { region="cloud", product="zbx" }
Ping 插件可以采集到目标是否连通、延迟时间、丢包率等指标,可以据此做网络链路的监控。比如机房专线的探测,只需要在某个机房部署 Categraf,来探测另一个机房的设备。
很多时候机器是禁 Ping 的,此时 TCP 探测就派上用场了。TCP 探测用的是 Categraf 的 net_response 插件,配置文件在 conf/input.net_response/net_response.toml。实际这个插件既可以探测 TCP 的响应,也可以探测 UDP 的响应。
[[instances]]
targets = [
"10.2.3.4:22",
"localhost:6379",
":9090"
]
原理也很简单,就是 Categraf 向目标地址发起网络连接。如果能连通,就认为是正常的,指标值上报为 0,如果失败就是非 0 的值。监控指标名字是 net_response_result_code。
如果是 UDP 的端口,是无法发起连接探测的。此时采用内容匹配探测,即通过 UDP 发个字符串给探测目标,理论上探测目标很快就会给出回复。我们来检查回复内容,如果回复内容包含特定字符串,就表示探测目标活着。
HTTP 探测和 TCP 的探测逻辑几乎完全一致,只不过 HTTP 是七层协议,Categraf 可以解析到 Status code、Response body 这些更细粒度的信息。
[[instances]]
targets = [
"http://localhost",
"https://www.baidu.com"
]
很多公司都会在所有的机器上部署 Agent,Agent 会开一个 HTTP 端口,这样就可以通过探测这些 HTTP 端口,知道 Agent 是否存活,进而反推机器的存活性。
HTTP 插件可以对返回的 Response 做规则匹配,比如判断 Response body 中是否包含特定的字符串,或者 Status code 是否是指定的值等。
网络设备监控的典型手段有三个,一个是 Ping 监控,探测是否存活。另一个是通过 SNMP 获取指标,比如各个网口的状态、流量、包量等。最后一个是 SNMP Trap,一般网络设备有问题,都会发出 Trap 消息,这些 Trap 消息很有价值,分析这些 Trap 消息是常用且有效的监控手段。
要采集网络设备的监控指标,一定要了解 SNMP 协议。简单来讲,就是交换机上有个组件叫 SNMP agent(即 snmpd ),监听 UDP 161 端口,提供查询服务。SNMP manager,比如Categraf,可以向 SNMP agent 发起查询请求,传入的参数是 OID,SNMP agent 返回 OID 对应的监控数据。
Categraf 提供了 SNMP 插件,配置文件在 conf/input.snmp/snmp.toml,核心配置就是 SNMP agent 的连接地址以及要采集的 OID 列表。
与 SNMP 采集指标的方式不同,Trap 消息是由交换机里的 SNMP agent 发消息给 SNMP manager(也是走的 UDP 协议),与指标采集的数据流向相反。
用 Trap 机制做事件监控是比较便捷的方式,交换机出现关键问题的时候,都会立刻发出 Trap 消息。我们只要在 Trap Receiver 中配置消息匹配规则,指定什么样的消息应该产生告警即可。但是,匹配规则肯定是需要用人类易读的方式,这就需要借助 MIB 库,把 Trap 中的 OID 翻译成人类易读的字符串。
此文章为8月Day5学习笔记,内容来源于极客时间《运维监控系统实战笔记》,推荐该课程。