服务器网络故障处理——常见链路异常场景和测试报告
服务器网络故障处理——常见链路异常场景和测试报告
前言
常见的链路异常场景及测试报告实例如下所示：
目标主机网络配置不当
ICMP 限速
环路
链路中断
目标主机网络配置不当
示例数据：
@mycentos6 ~]# mtr --no-dns www.google.com
My traceroute [v0.75]
mycentos6.6 (0.0.0.0) Wed Jun 15 19:06:29 2016
Keys: Help Display mode Restart statistics Order of fields quit
Packets Pings
Host Loss% Snt Last Avg Best Wrst StDev
1. ???
2. ???
3. 111.1.20.41 0.0% 10 521.3 90.1 2.7 521.3 211.3
4. 111.1.34.209 0.0% 10 2.9 4.7 1.6 10.6 3.9
5. 211.138.126.29 80.0% 10 3.0 3.0 3.0 3.0 0.0
6. 221.183.14.85 0.0% 10 1.7 7.2 1.6 34.9 13.6
7. 221.183.10.5 0.0% 10 5.2 5.2 5.1 5.2 0.0
221.183.11.5
8. 221.183.23.26 0.0% 10 5.3 5.2 5.1 5.3 0.1
9. 173.194.200.105 100.0% 10 0.0 0.0 0.0 0.0 0.0在该示例中，数据包在目标地址出现了 100% 的丢包。乍一看是数据包没有到达，其实很有可能是目标服务器相关安全策略（比如防火墙、iptables 等）禁用了 ICMP 所致，导致目的主机无法发送任何应答。
所以，该场景需要排查目标服务器的安全策略配置。
ICMP 限速
示例数据：
[root@mycentos6 ~]# mtr --no-dns www.google.com
My traceroute [v0.75]
mycentos6.6 (0.0.0.0) Wed Jun 15 19:06:29 2016
Keys: Help Display mode Restart statistics Order of fields quit
Packets Pings
Host Loss% Snt Last Avg Best Wrst StDev
1. 63.247.74.43 0.0% 10 0.3 0.6 0.3 1.2 0.3
2. 63.247.64.157 0.0% 10 0.4 1.0 0.4 6.1 1.8
3. 209.51.130.213 0.0% 10 0.8 2.7 0.8 19.0 5.7
4. aix.pr1.atl.google.com 0.0% 10 6.7 6.8 6.7 6.9 0.1
5. 72.14.233.56 60.0% 10 27.2 25.3 23.1 26.4 2.9
6. 209.85.254.247 0.0% 10 39.1 39.4 39.1 39.7 0.2
7. 64.233.174.46 0.0% 10 39.6 40.4 39.4 46.9 2.3
8. gw-in-f147.1e100.net 0.0% 10 39.6 40.5 39.5 46.7 2.2在该示例中，在第 5 跳出现了明显的丢包，但后续节点均未见异常。所以推断是该节点 ICMP 限速所致。
该场景对最终客户端到目标服务器的数据传输不会有影响，所以，分析的时候可以忽略。
环路
示例数据：
[root@mycentos6 ~]# mtr --no-dns www.google.com
My traceroute [v0.75]
mycentos6.6 (0.0.0.0) Wed Jun 15 19:06:29 2016
Keys: Help Display mode Restart statistics Order of fields quit
Packets Pings
Host Loss% Snt Last Avg Best Wrst StDev
1. 63.247.74.43 0.0% 10 0.3 0.6 0.3 1.2 0.3
2. 63.247.64.157 0.0% 10 0.4 1.0 0.4 6.1 1.8
3. 209.51.130.213 0.0% 10 0.8 2.7 0.8 19.0 5.7
4. aix.pr1.atl.google.com 0.0% 10 6.7 6.8 6.7 6.9 0.1
5. 72.14.233.56 0.0% 10 0.0 0.0 0.0 0.0 0.0
6. 72.14.233.57 0.0% 10 0.0 0.0 0.0 0.0 0.0
7. 72.14.233.56 0.0% 10 0.0 0.0 0.0 0.0 0.0
8. 72.14.233.57 0.0% 10 0.0 0.0 0.0 0.0 0.0
9 ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0在该示例中，数据包在第 5 跳之后出现了循环跳转，导致最终无法到达目标服务器。这通常是由于运营商相关节点路由配置异常所致。
所以，该场景需要联系相应节点归属运营商处理。
链路中断
示例数据：
@mycentos6 ~]# mtr --no-dns www.google.com
My traceroute [v0.75]
mycentos6.6 (0.0.0.0) Wed Jun 15 19:06:29 2016
Keys: Help Display mode Restart statistics Order of fields quit
Packets Pings
Host Loss% Snt Last Avg Best Wrst StDev
1. 63.247.74.43 0.0% 10 0.3 0.6 0.3 1.2 0.3
2. 63.247.64.157 0.0% 10 0.4 1.0 0.4 6.1 1.8
3. 209.51.130.213 0.0% 10 0.8 2.7 0.8 19.0 5.7
4. aix.pr1.atl.google.com 0.0% 10 6.7 6.8 6.7 6.9 0.1
5. ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0
6. ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0
7. ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0
8. ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0
9 ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0在该示例中，数据包在第 4 跳之后就无法收到任何反馈。这通常是由于相应节点中断所致。建议结合反向链路测试做进一步确认。
该场景需要联系相应节点归属运营商处理。
链路测试步骤
通常情况下，链路测试流程如下链路测试流程图所示：
相关步骤详细说明如下：
获取本地网络对应公网 IP
正向链路测试（ping 和 mtr）
反向链路测试（ping 和 mtr）
测试结果分析
获取本地网络对应公网 IP
在客户端本地网络访问 ip.taobao.com 等网站，如下图，获取本地网络对应的公网 IP。
正向链路测试（ping 和 mtr）
从客户端向目标服务器做 ping 和 mtr 链路测试：
从客户端向目标服务器域名或 IP 做持续的 ping 测试（建议至少 ping 100 个数据包），记录测试结果。
根据客户端操作系统环境的不同，使用 WinMTR 或 mtr，设置测试目的地址为目标服务器域名或IP，然后进行链路测试，记录测试结果。
反向链路测试（ping 和 mtr）
进入目标服务器系统内部，做反向 ping 和 mtr 链路测试
- 从目标服务器向前述步骤 1 获取的客户端 IP做持续的 ping 测试（建议至少 ping 100 个数据包），记录测试结果。
- 根据目标服务器操作系统环境的不同，使用 WinMTR 或 mtr，设置测试目的地址为前述步骤 1 获取的客户端 IP，然后进行链路测试，记录测试结果。
测试结果分析
参阅前述说明，对测试结果进行分析。确认异常节点后，访问相关网站查询、获取相应节点归属运营商及网络。
如果是客户端本地网络相关节点出现异常，则需要对本地网络进行相应排查分析。如果是运营商相关节点出现异常，则需要直接或联系阿里云售后技术支持向相应运营商反馈问题。