故障处理及故障记录

接收报障：

需要故障发生时的双向MTR截图和ping数据，此动作可与直接报给供应商同步进行，并及时记录故障发生时的时间，然后仔细查看mtr的路径和丢包情况，判断分析是哪个地市出现的问题，并督促IDC及时联系运营商介入处理。如遇到重大，波及面广的故障及时报障给孙嘉。

报障处理：

遇到故障及时登陆交换机，检测平台内部网络情况，查看相应服务器对应的设备接口情况，诸如：光模块收发光情况，端口error情况，光纤链路问题，查看syslog，查看交换机性能情况（CPU、内存、温度、电源、健康检查）。相应traceroute判断问题节点，作为凭证再次报给IDC，加快定位故障和处理速度。

故障完成：

大多数故障需要当即处理完成，记录处理恢复时间，及详细的故障处理过程（储备故障处理经验），如果为IDC问题，需要IDC的盖章函件作为故障报告的凭证发邮件到netgroup，如果为ISP问题，则需要ISP盖章加IDC盖章的函件发至邮箱。函件中的时间和我们记录的时间需要沟通协调一致。

记录：网路部汇总表.xlsx 汇总记录故障处理情况

机房设备统计

凡是在IDC机房的所有设备及硬件（交换机、服务器、光纤、模块），均为我们固定资产，要求IDC妥善保管，如果有坏件要打上相应问题的标签（模块无发光，丢包，error包，光弱等问题的描述），要求机房不得擅自丢失和遗弃任何硬件。

记录：网路部汇总表.xlsx 汇总记录硬件信息

机房设备上架下架

新增选点机房，和采购部确认发货数量，确认硬件包括：交换机、服务器数量及类型、光纤、模块。并且同时督促尽快办理相应实施工单，包括但不限于施工工单，设备上架工单，设备加电工单，接收设备收货人等信息，尽可能避免设备延期上架使用。上架后开机进行一系列测试方可交给业务部门。

机房设备下架需要对比发货数量，核对后通知IDC人员进行下架操作，下架后对相应设备进行包装避免运输中对设备有损坏的危险，发货地址和采购部进行确认，并且得到快递单号后及时反馈给采购部。

机房对设备操作后需要填写回执单，我们核对无误后留存。

记录：网路部汇总表.xlsx 汇总记录ip资源信息

设备验收检查

按照业务的要求，检查设备是否可以正常使用，硬件是否满足额度要求，需对服务器进行相应排查:

服务器硬件检验的同时，检查所有设备的配置情况，包括ip、掩码、端口描述、设备命名等，测试网络环境，诸如ping、traceroute到公网ip、三线资源是否有问题。无问题后方可使用。

网络巡检

利用监控系统，查看每日流量使用情况，24小时为一周期（9：00），结合syslog查看每日的故障报告，和端口状态等信息。

利用zabbix微信故障提醒功能，可实时监控平台主机情况，问题发现后及时处理解决。

周期性观察流量增长（下降）情况，预先获得趋势信息，可在必要时采取行动。

流量统计可以更直观也会更可观的说明问题，了解平台每日out峰值可得知高峰时段用户使用情况，也可根据95计费原则对平台流量进行重规划，分摊流量。

机房信息 端口数量 保底带宽M In最大9.13 In平均值9.13 Out最大9.13 Out平均值9.13 In环比增长 Out环比增长 使用率9.13
黑龙江哈尔滨联通 10G 1000 14.4 5.77 8.6 0.35 1.41% -0.58% 0.860%
辽宁盘锦联通 10G 1000 34 9.16 26.6 1.15 136.11% 315.63% 2.660%
广东中山联通 10G 1000 694 7.11 42.2 0.9 5238.46% 435.53% 4.220%
河南周口联通 10G 1000 208 82 236 101 -8.33% -4.76% 23.600%
河南商丘联通 10G 1000 38.4 6.7 31.6 1.35 74.55% 97.50% 3.160%
湖南长沙联通 10G 1000 30.5 4.46 34.4 1.6 30.90% 93.26% 3.440%
福建福州联通 10G 1000 18.31 3.29 12.11 0.43 6.83% 41.80% 1.211%
重庆联通 10G 3000






陕西宝鸡联通 10G 3000






河北廊坊联通 10G 1000 35.79 8 31 2.73 -1.24% 9.08% 3.100%
天津联通 10G 1000 34.65 12.6 23.43 1.81 -94.58% -22.16% 2.343%
山西朔州联通 10G*2 2000 15.49 3 15.7 0.42 23.92% 65.26% 0.785%
山东泰安联通 10G 1000 202.5 83.44 771 100 -14.34% -29.91% 77.100%
山东青岛联通 10G 1000 26.7 6.48 22.52 1.1 -4.64% 1.08% 2.252%
吉林联通 10G 1000 3.8 1.64 0.188 0.1 -70.08% -98.47% 0.019%
浙江台州联通 10G 1000 37 4.96 33.8 2.7 2.95% -0.59% 3.380%
湖南岳阳电信 10G 1000






浙江丽水电信 10G 1000 27.43 14.64 22.8 1.2 -52.27% -51.59% 2.280%
浙江湖州电信 10G 3000 86.04 43.33 98.9 55.18

3.297%
福建福州电信 10G 1000 95 29.5 79.3 9

7.930%
广东佛山电信 10G 3000 70 35.15 83.4 47.9 -41.67% -47.22% 2.780%
四川乐山电信 10G 1000 35 30.4 84.6 42.7 -47.62% -89.61% 8.460%
陕西宝鸡电信 10G 1000 19 7.11 11 0.26 -88.62% 2240.43% 1.100%
江苏盐城电信 10G 3000 973 345 972 345 -0.10% -3.76% 32.400%
云南昆明电信 10G 1000 14 7 156 1.2 27.27% 3527.91% 15.600%
陕西咸阳电信 10G 1000 72 8 13 0.86 -87.82% -53.57% 1.300%
广东中山电信 10G 1000 45 32 16 2 800.00% 220.00% 1.600%
湖北鄂州电信 10G 2000 2070 612 3140 967 30.19% 18.49% 157.000%
山东济南三线 10G 1000 1060 243 1150 284 3.92% 6.48% 115.000%
山东济南电信 10G 1000 10 7 4 0.5 -23.08% -60.00% 0.400%
河南洛阳电信 10G 1000 88 16 79 3.6 -23.48% -34.17% 7.900%
重庆电信 10G 1000 21 15 7.5 0.1 23.53% -25.00% 0.750%
太原移动 10G 2000 7 0.3 250 2 16.67% 1150.00% 12.500%
武汉长宽 10G
5 0.08 4 0.08 -61.54% -69.23%
上海长宽 10G
12 0.13 26 0.15 -33.33% 36.84%
南昌移动 10G 2000 26 2.5 31 3 30.00% 93.75% 1.550%
扬州电信IDC 10G 1000 110 29 97 16.8 -15.38% -33.56% 9.700%
天津电信 10G 1000 27 8.5 165 1.85 -96.08% 292.86% 16.500%
石景山BGP机房 20M 20 1 0.05 0.25 0.03 1566.67% -39.02% 1.250%
广东佛山三线
1000 1070 487 1210 610 7.75% 9.01% 121.000%
北京长宽 10G
0.8 0.1 18 0.3 566.67% 0.00%
武汉联通 10G 1000 347 114 446 136 -11.03% 4.69% 44.600%
淮南移动 10G

















机房总带宽使用
7684.81 2325.4 9453.898 2746.35 -7.82% 1.68%

统计每日流量使用率，可以得知平台流量上升（下降）情况，根据此数据适当调整IDC保底带宽值，主要作为预警功能使用。

机房名称 使用率9.8 使用率9.9 使用率9.10 使用率9.11 使用率9.12 使用率9.13
黑龙江哈尔滨联通 0.66% 2.76% 0.40% 1.30% 0.87% 0.86%
辽宁盘锦联通 1.67% 1.56% 1.96% 14.30% 0.64% 2.66%
广东中山联通 1.68% 1.60% 2.16% 0.79% 0.79% 4.22%
河南周口联通 11.50% 67.50% 0.13% 29.00% 24.78% 23.60%
河南商丘联通 2.20% 5.50% 2.10% 3.60% 1.60% 3.16%
湖南长沙联通 45.50% 37.40% 24.09% 1.60% 1.78% 3.44%
福建福州联通 1.25% 1.35% 1.10% 0.68% 0.85% 1.21%
重庆联通 0.00% 0.00% 0.00%


陕西宝鸡联通 0.00% 0.00% 0.00%


河北廊坊联通 2.50% 1.91% 2.64% 2.60% 2.84% 3.10%
天津联通 15.50% 12.85% 3.97% 3.30% 3.01% 2.34%
山西朔州联通 0.28% 0.69% 0.90% 1.20% 0.95% 0.79%
山东泰安联通 12.10% 10.65% 95.82% 10.60% 110.00% 77.10%
山东青岛联通 3.80% 3.00% 5.67% 2.90% 2.23% 2.25%
吉林联通 0.78% 0.43% 1.77% 0.58% 1.23% 0.02%
浙江台州联通 7.60% 3.04% 2.87% 3.60% 3.40% 3.38%
湖南岳阳电信 0.00% 0.00% 0.00% 0.00%

浙江丽水电信 12.16% 2.30% 4.16% 4.80% 4.71% 2.28%
浙江湖州电信 0.00% 0.00% 0.00% 0.00% 0.00% 3.30%
福建福州电信 0.00% 0.00% 0.00% 0.00% 0.00% 7.93%
广东佛山电信 4.03% 3.50% 11.86% 10.67% 5.27% 2.78%
四川乐山电信 7.87% 1.50% 6.55% 2.48% 81.44% 8.46%
陕西宝鸡电信 0.00% 0.00% 0.00% 5.40% 0.05% 1.10%
江苏盐城电信 82.60% 75.30% 90.20% 94.80% 33.67% 32.40%
云南昆明电信 1.20% 1.05% 1.21% 0.70% 0.43% 15.60%
陕西咸阳电信 0.00% 0.00% 0.00% 0.00% 2.80% 1.30%
广东中山电信 76.50% 65.20% 2.16% 77.40% 0.50% 1.60%
湖北鄂州电信 0.00% 0.00% 0.00% 0.00% 265.00% 157.00%
山东济南三线 56.00% 110.00% 99.63% 0.00% 108.00% 115.00%
山东济南电信 1.20% 1.30% 1.03% 1.50% 1.00% 0.40%
河南洛阳电信 36.20% 11.40% 6.62% 11.20% 12.00% 7.90%
重庆电信 1.60% 1.00% 1.02% 0.40% 1.00% 0.75%
太原移动 0.00% 0.00% 0.00% 8.65% 1.00% 12.50%
武汉长宽 0.00%




上海长宽 0.00%




南昌移动 0.00% 0.00% 0.00% 0.90% 0.80% 1.55%
扬州电信IDC 10.00% 8.50% 12.78% 80.80% 14.60% 9.70%
天津电信 1.94% 2.70% 2.78% 2.20% 4.20% 16.50%
石景山BGP机房 2.75% 2.30% 0.22% 2.00% 2.05% 1.25%
广东佛山三线 254.00% 151.00% 100.10% 114.00% 111.00% 121.00%
北京长宽 0.00% 0.00% 0.00% 0.00%

武汉联通 0.00% 0.03% 38.37% 47.10% 42.60% 44.60%
淮南移动 0.00%