1.1. 网络拓扑
项目的网络拓扑如下图所示：
说明：
1.本图重点关注于nutanix设备的接线和网拓扑，其他的网络和设备忽略或大概示意
2.出口网络是在29楼机房，设备是位于28楼机房，之间使用光纤直连，跨楼层使用光纤配线架
3.防火墙上需要新配置接口port5和port6，两个接口的配置完全一样，在防火墙上配置链路聚合模式接口绑定一起
4.交换机为华为S5720-28X，两台交换机使用业务口进行堆叠配置，堆叠后合并为一台整体交换机
5.两台交换机的万兆光口上行级联到防火墙，接口配置链路聚合模式
6.交换机下行连接nutanix设备的四个节点的网卡，使用千兆电口，千兆网线
7.防火墙，交换机，nutanix之间的网络连接都有冗余，实现了完全的热备状态，任何一个设备的单点故障都能够及时切换，保证网络和业务不会中断。
1.2. 网络冗余及可靠性
为了满足网络的冗余和可靠性的要求，网络进行了双机热备的双链路设计，采用的方式为链路聚合和交换机堆叠，保证在网络设备单点或者单机故障后的网络可靠性，保证业务不中断。详细的说明见下图所示：
1.3. 接口对应关系
各个设备的接口对应关系如下表所示：
本端设备 |
接口 |
说明 |
对端设备 |
接口 |
说明 |
防火墙FG3040B |
port5 |
物理接口 |
SW1_HW5720-28X |
XGE1 |
万兆光口上行 |
port6 |
冗余接口 |
SW2_HW5720-28X |
XGE1 |
万兆光口上行 |
|
交换机SW1_HW5720-28X |
GE10 |
千兆电口 |
nutanix节点a |
NIC-0 |
千兆电口 |
GE12 |
千兆电口 |
nutanix节点b |
NIC-0 |
千兆电口 |
|
GE14 |
千兆电口 |
nutanix节点c |
NIC-0 |
千兆电口 |
|
GE16 |
千兆电口 |
nutanix节点d |
NIC-0 |
千兆电口 |
|
XGE1 |
万兆光口 |
防火墙FG3040B |
port5 |
级联 |
|
XGE4 |
万兆光口 |
SW2_HW5720-28X |
XGE16 |
堆叠 |
|
交换机SW2_HW5720-28X |
GE10 |
千兆电口 |
nutanix节点a |
NIC-1 |
千兆电口 |
GE12 |
千兆电口 |
nutanix节点b |
NIC-1 |
千兆电口 |
|
GE14 |
千兆电口 |
nutanix节点c |
NIC-1 |
千兆电口 |
|
GE16 |
千兆电口 |
nutanix节点d |
NIC-1 |
千兆电口 |
|
XGE1 |
万兆光口 |
防火墙FG3040B |
port6 |
级联 |
|
XGE4 |
万兆光口 |
SW1_HW5720-28X |
XGE16 |
堆叠 |
|
nutanix_NX-1465-g4 |
NIC-0 |
节点a |
SW1_HW5720-28X |
GE10 |
千兆电口 |
NIC-1 |
SW2_HW5720-28X |
GE10 |
千兆电口 |
||
NIC-0 |
节点b |
SW1_HW5720-28X |
GE12 |
千兆电口 |
|
NIC-1 |
SW2_HW5720-28X |
GE12 |
千兆电口 |
||
NIC-0 |
节点c |
SW1_HW5720-28X |
GE14 |
千兆电口 |
|
NIC-1 |
SW2_HW5720-28X |
GE14 |
千兆电口 |
||
NIC-0 |
节点d |
SW1_HW5720-28X |
GE16 |
千兆电口 |
|
NIC-1 |
SW2_HW5720-28X |
GE16 |
千兆电口 |
1.4. nutanix超融合设备安装部署
1.4.1. 设备介绍
本次项目采购的是Nutanix1465，2U设备，4个节点，每个节点1块480G的SSD硬盘，2块6T的HDD硬盘，设备正面图如下：
局部按钮和指示灯，以A节点作为例子，具体见下图：
背面有两个前兆RJ45以太网口，两个万兆SFP端口，一个IPMI带外管理口，双电源设计，具体背面如图：
设备背面节点各网口MAC 地址以及序列号，具体细节见下图：
设备背面节点MAC地址
节点 |
IPMI的MAC地址 |
A |
0C:C4:7A:C2:D8:70 |
B |
0C:C4:7A:C2:D9:75 |
C |
0C:C4:7A:C2:D9:48 |
D |
0C:C4:7A:C2:D8:BD |
主机后端网络端口布局示意图
IPMI |
eth1 |
万兆口 |
万兆口 |
eth0 |
1.4.2. 安装部署
Ø 环境准备
1) 部署之前在维护电脑上需要安装桌面端的虚拟化软件，可以选择VMware Workstation/Fusion、VirtualBox等；
2) 将Foundation 3.0的Foundation_VM-3.0.ovf.tar解压缩，然后通过桌面端的虚拟化软件导入，开启VM；
3) 开启虚拟机后可以再桌面看见两个文件，一个是set_foundation_ip_address，另外一个是Nutanix Foundation；
4) 点击set_foundation_ip_address，设置Foundation VM的IP、子网掩码、网关及DNS等信息，然后选择保存；
5) 点击Nutanix Foundation，启动Nutanix安装配置过程，进入到全局配置界面，需要根据事先规划好的网络配置填写，包括IPMI、Hypervisor和CVM信息；填写完成点击下一步；
备注：
所有IP设置到同一网段，包括Hypervisor、CVM和IPMI，因为初始化时通过IPMI的MAC地址进行二层访问，另外后期建议不修改CVM和Hypervisor 的地址，所以建议将IPMI的地址设置为业务网段，初始化完成后，修改IPMI 地址即可。
注意IPMI账户：ADMIN（大写）
6) 进入到Block/Node配置界面，首先Foundation会自动检测Block/Node状况，如果检测不到的情况下就需要手工输入信息；如下图点击增加节点Add Node；
7) 根据实际硬件情况，目前我们只有1个Block，每个Block节点数是4，然后点击创建。
8) 然后需要输入每个节点的具体信息，包括IPMI的MAC地址(在物理节点IPMI端口的下面)、IPMI的IP地址、Hypervisor IP地址和CVM IP地址；如果同时安装4个节点，要勾选上前面的Position选项；然后点击下一步；
9) 选择所要安装的Hypervisor，这里选择KVM，然后选择NOS的Package和Hypervisor ISO Image，点击下一步；
注释：NOS的安装包需要提前将安装包nutanix_installer_package-danube-
10) 点击创建一个Cluster，输入Cluster Name、Cluster外部IP地址、CVM DNS服务器、CVM NTP服务器、Hypervisor NTP服务器、最大冗余数；
11) 为Cluster选择Block和Node，在这里全选；
12) 在核对信息完成后，点击Run Installation，然后等待安装完成。
Ø 网络配置
安装完成后需要配置VLAN，分别在Hypervisor和CVM上进行配置；
1) 首先通过命令行工具SSH登录到Hypervisor的主机上，
例如ssh [email protected]给Hypervisor设置VLAN
ovs-vsctl set port br0 tag=205
然后执行命令查看现有虚拟网络端口
ovs-vsctl list port br0
2) 在Hypervisor下登录到CVM
然后执行命令修改VLAN设置
change_cvm_vlan 205
注:以上IP地址为举例说明，实际使用时请按照规划修改。
1.4.3. 开关机步骤
Ø 关机
1）通知虚拟机所有者，关闭所有虚拟机；
2）ssh远程登录任意一台CVM，执行关闭集群命令 cluster stop；
3）节点会依次关闭，大约需要15-20分钟；
4）四台CVM关闭后，按节点电源键关机（关机键无顺序，长按3s关机）。
Ø 开机
1）依次按节点电源键（一般A、B、C、D开机，实际节点开机顺序无关）
2）3-5分钟后，节点依次开机；
3）SSH登陆任意一台CVM，执行开启集群命令：cluster start
4）群集启动成功后，测试集群地址连通性，并观察集群状态：cluster status；
5）登陆Prism后，观察告警信息，如果正常，开启各虚拟机。
Ø 查看集群状态
登陆后输入：cluster status