堆叠设备在基本不断业务的情况下升级或替换

堆叠设备在基本不断业务的情况下升级或替换
随着互联网网络技术的不断发展，慢慢的衍生出来了很多高可靠类技术，比如横向虚拟化堆叠、MLAG等。我们作为负责日常网络运维的攻城狮，不仅要保持一种不断学习的良好心态，而且要求对于现网可能引起的故障问题或者潜在风险能够做出一个很好的判断，从而最大程度的减少对于业务的影响。本篇博文主要讲解堆叠设备在基本不断业务的情况下升级或者替换（本案例是以H3C S6800设备替换锐捷设备S6220）。
1、 变更背景
1）现网的堆叠设备版本过老，更新版本或者补丁存在安全隐患，断电或重启担心设备起不来；
2）性能上存在很大瓶颈，如转发效率低；
3）堆叠设备其中一台设备存在安全隐患，需要被替换掉；
2、 变更准备
1） 新上架的H3C设备堆叠、版本、补丁、配置均经翻译好，配置已导入
2） 如果是远程升级，还需现场机房同学携带电脑、console线缆、CRT、向日葵客户端、手机，便于主备倒换时远程上去切流量，如果是现场升级，可直接console上去，该步骤则可省略
3） 确保主设备上下行接口关闭后流量倒换到备机，备机上行接口流量不会被打满
4） 备份现网设备配置信息，锐捷设备如
show run
show ip int b
show ip ospf nei
show ip bgp nei
show arp counter
show arp detail
show interface status
show switch virtual
3、 拓扑环境

注：锐捷设备万兆46~48口是堆叠线缆，44口是MAD检测线缆，上行40G可以跑三层，也可以配置聚合，下行接业务主机，为保证带宽利用率及高可靠，TOR交换机连接业务主机全配置的动态链路聚合
4、 变更替换方案
1） 将老锐捷主设备上下行业务接口关闭，将业务流量倒换到锐捷备机
2） 现场同学下架老锐捷主设备
3） 现场同学记录老锐捷主设备线序
4） 上架H3C主设备（新H3C设备配置已经翻译并导入），上下行业务口及管理口暂时不接，确保锐捷备机管理口可达，可以通过远程管理到锐捷备机
5） 确认H3C主设备版本正常加载，登录H3C主设备，手工批量关闭上下行业务口，确保上下行业务口已关闭进行下一步
6） 远程登录到锐捷备机，批量关闭掉锐捷备机上下行业务口，然后迅速console登录到H3C主设备，将上下行业务口均开起来，该步骤操作一定要快！快！快！否则业务中断时间会比较长
7） 此时流量已经倒换到H3C主设备，确认下业务是否正常，若正常，进行下一步
8） 现场同学记录锐捷备机线序，下电锐捷备机
9） 锐捷备机下电后，上架H3C备机，仅接堆叠线缆和MAD检测线缆，上下行业务口线缆不接
10） 确认H3C主备设备堆叠状态，MAD检测均正常，进行下一步
11） 恢复H3C备机上行接口线缆，恢复下行业务口线缆
5、 具体步骤
1） 登陆老锐捷主设备，shutdown上下联业务口
configure
interface range tenGigabitEthernet 1/0/1 - 48
shutdown
exit
interface range fortyGigabitEthernet 1/0/65 - 68
shutdown
确认锐捷主设备上下行接口已经全部管理DOWN，同时和业务同学确认业务情况，如果没问题继续下一步骤
show interface status

回退：
锐捷主设备：
configure
interface range tenGigabitEthernet 1/0/1 - 48
undo shutdown
exit
interface range fortyGigabitEthernet 1/0/65 - 68
undo shutdown

2） 将老锐捷主设备从机柜下电，上架H3C主设备，上下行接口及管理线先别接（上架前将H3C主设备SN发现场同学核对下，确认上架的设备为H3C主设备）
3） H3C主设备上架后，向日葵远程登录到H3C主设备，shutdown上下行业务口，并确认H3C主设备上下行接口均已管理DOWN
sys
interface range Ten-GigabitEthernet 1/0/1 to Ten-GigabitEthernet 1/0/48
shutdown
quit
interface range FortyGigE 1/0/49 to FortyGigE1/0/54
shutdown
dis interface brief desc

4） 联系现场同学恢复H3C主设备上下行业务口的线（主管理线先别接）
5） 确认下向日葵远程H3C主设备命令操作是否流畅，如果没问题，进行下一步
CRT登陆到老锐捷备机上，批量关闭掉老锐捷备机上下行接口，同时，迅速通过向日葵远程到H3C主设备，将H3C主设备上下行接口开起来，操作要快！！！！！
老锐捷备机：
configure
interface range tenGigabitEthernet 2/0/1 - 48
shutdown
exit
interface range fortyGigabitEthernet 2/0/65 - 68
shutdown
迅速登陆到H3C主设备，将H3C主设备上下行接口开起来（操作一定要快，不然业务中断的时间会特别长）
sys
interface range Ten-GigabitEthernet 1/0/1 to Ten-GigabitEthernet 1/0/48
undo shutdown
quit
interface range FortyGigE 1/0/49 to FortyGigE1/0/54
undo shutdown

回退：
H3C设备：
sys
interface range Ten-GigabitEthernet 1/0/1 to Ten-GigabitEthernet 1/0/48
shutdown
quit
interface range FortyGigE 1/0/49 to FortyGigE1/0/54
shutdown

锐捷备设备：
configure
interface range tenGigabitEthernet 2/0/1 - 48
undo shutdown
exit
interface range fortyGigabitEthernet 2/0/65 - 68
undo shutdown
6） H3C主设备上下行接口恢复后，确认下物理接口状态是否正常，接口状态恢复后，和业务同学确认下业务恢复情况
dis interface brief desc
7） 确认H3C主设备下挂业务均没问题后，现场同学记录锐捷备机线序，下电锐捷备机
8） 上架H3C备设备，上下行接口线先别接，将H3C主备设备通过44,46,47,48一 一对应互联下
9） 确认堆叠正常建立，MAD检测正常
dis irf
dis irf link
dis mad ver
10） 恢复H3C备机上行接口线缆，恢复下行业务线缆
6、 业务测试
联系业务测试，确认下挂业务主机均正常
7、 注意事项
1） H3C设备线下堆叠不成功，可排查如下因素

• 两台设备版本是否一致，（通过dis version 命令查看）
• 系统工作模式（通过display system-working-mode命令查看）
• 表项容量（display hardware-resource 命令查看）
• 最大等价路由条数（display max-ecmp-num命令查看）
• IPv4等价路由增强模式（display ecmp mode enhanced命令查看）
  2) 出厂情况下H3C V7设备stp功能是开启的，由于mad检测和stp功能冲突，配置时将mad检测接口的stp功能关闭掉（undo stp enable）