openstack问题远程解决小结

　　半年前帮一朋友搭建一台ＯＰＥＮＳＴＡＣＫ一直用得好好的。今天早上接到他的电话，说因为端午节停过电，虚拟机因为不是自动启动的，现登录不了，想登录ＤＡＳＨＢＯＡＲＤ去管理虚拟机，输入管理员帐号却又登录不进去。问题可能比较麻烦，而我还在上班，如果远程搞不定的话，看来就得跑一趟了。
　　凭直觉，我知道可能有是虚拟机网络出了问题。
　　朋友的网络拓朴结构如下：
　　一台路由器ＰＰＰＯＥ拔号上网连接ＩＮＴＥＲＮＥＴ，路由器的ＬＡＮ侧网段是１０。１。１。１／２４，这个lan网段是办公网。
　　另一台防火墙在办公网和虚拟机网之间，ＷＡＮ口ＩＰ是１０。１。１。２５４，ＬＡＮ口ＩＰ是１９２。１６８。１。１／２４
　　虚拟机分配１９２。１６８。１。Ｘ／２４的网段ＩＰ。现在创建有7台虚拟机，ＩＰ分别是：１９２.１６８.１.２０７，２０９，２１０，２１４，２１５，２１６，２１３。
　　其中，１９２.168.1.18就是运行虚拟机ＱＥＭＵ软件的ＤＥＬＬ服务器，ＣＥＮＴＯＳ　７操作系统，８核ＣＰＵ，３２Ｇ内存，下面简称１８服务器。
　　
　　我首先在办公室用ＣＥＮＴＯＳ　的ＳＨＥＬＬ创建一条与１８服务器的ＳＳＨ　通道作为ＳＯＣＫＳ　５代理以便远程重现出问题：
　　ssh -TfnNq -D 9050 myname@myserver -p 2222
　　然后打开ＦＩＲＥＦＯＸ浏览器，设置ＳＯＣＫＳ５代理指向本地１２７。０。０。１　９０５０端口。
　　打入ＤＡＳＨＢＯＡＲＤ的地址http://192.168.1.18/dashboard/
　　ＯＰＥＮＳＴＡＣＫ的页面出来了，但是输入admin/和密码之后，果然重现用户反馈的问题，错误提示：“无法连接keystone端点”错误。
　　我远程ＳＳＨ到１８服务器，查看ＮＥＴＳＴＡＴ端口信息，发现一个奇怪的现象，有一些ＳＹＮ－ＳＥＮＴ状态，源ＩＰ是１９２。１６８。１。１８，目的ＩＰ是１０.0.0.1１，端口号是３３０６.
　　１０.0.0.1１这个ＩＰ地址是在安装ＯＰＥＮＳＴＡＣＫ，参考官方文档设置的管理地址，在ＭＹＳＱＬ中指定绑定到这个地址上。其实这个地方是有点问题，因为我的实际网络应该是192.168.1.18，而不是10.0.0.11，当初为了不修改ＯＰＥＮＳＴＡＣＫ的配置，我人为地将网卡ＥＭ１增加了一个别名ＩＰ，指向１0.0.0.11，现在机器掉电之后重启，这个别名ＩＰ没有自动设置上去！
　　好吧，原因查明了，还是先手工将别名加上吧：
　　ip addr add 10.0.0.11/24 dev em1
　　执行了上述指令后，ＩＰ存在了，登录错误提示却改成了“无效证书！”
　　原来，登录时要填写“域”，帐号，密码三个要素。域我随便填了ＡＤＭＩＮ，结果没有这个域，后来回忆起来，域应该是default，这才登录了进去。
　　登录进之后，点开左边的“项目”签，点击“实例”，可以看到所有的实例都是没启动的。
　　一一启动实例之后。验证实例是否能用。却发现了另一个问题，有的能用，有的不能用！例如２０９能ＰＩＮＧ通，２１４也能ＰＩＮＧ通。
　　但２１５不能ＰＩＮＧ通。
　　为什么２１５网络不正常呢？
　　一开始我试图找２１５和２１４的差异。
　　ip n | grep 215
　　ip n | grep 214
　　比较ＡＲＰ的结果，都正常，两个ＩＰ地址对应的ＭＡＣ都能学习到。
　　
　　再看是不是215没加到桥里？
　　brctl show | grep 215的ＭＡＣ，也在。
　　这里说一下，每一个虚拟机网卡，都对应到１８服务器上一个虚拟网络接口：ＴＡＰＸＸＸ，例：taped0f7580-26
　　为了与外界相通，通过ＢＲＣＴＬ命令将这些ＴＡＰＥＤ接口和ＥＭ１桥接在一起。
　　值得说明的是，我在ＯＰＥＮＳＴＡＣＫ虚拟机网络中，设置了一个网络策略，只允许３３８９和２２端口访问，不允许ＰＩＮＧ访问。一开始我意识到有可能是各台虚拟主机所采取的网络策略不一样导致。
　　登录ＯＰＥＮＳＴＡＣＫ　ＤＡＳＨＢＯＡＲＤ，进入网络的配置检查，２１４和２１５两台主机似乎没什么两样。看来，只好想办法远程到１８服务器上，用ＶＮＣＶＩＥＷＥＲ来登录本地虚拟机看看了。
　　先用ＰＳ查出２１５这台主机的ＶＮＣＶＩＥＷＥＲ路径：
　　ps | grep qemu| grep 215这台主机的ＭＡＣ地址（前面ＡＲＰ命令查出来过的）
　　看到0.0.0.0:2，这就是ＶＮＣＶＩＥＷＥＲ的连接端口。在启动ＶＮＣＶＩＥＷＥＲ后需要输入‘：２“来访问这个虚拟机。
　　不过，碰到的问题是，我是在远程ＳＳＨ到１８服务器上的，ＸＷＩＮＤＯＷＳ程序ＶＮＣＶＩＥＷＥＲ运行时，报错”can not display”.需要运行一个Ｘ　ＷＩＮＤＯＷＳ　ＳＥＲＶＥＲ。
　　我选择了ＷＩＮＤＯＷＳ下的ＸＭＩＮＧ。
　　安装好ＸＭＩＮＧ之后，启动。再运行ＳＥＣＵＲＥＣＲＴ，配置连接１８服务器的会话，打开Ｘ　ＦＯＲＷＡＲＤ选项。
　　重新连接１８服务器，运行ＶＮＣＶＩＥＷＥＲ，ＯＫ，错误消失，能够在ＸＭＩＮＧ这里显示出ＶＮＣＶＩＥＷＥＲ的界面。输入：２，能够连接２１５这台虚拟机。
　　这里的ＸＭＩＮＧ，是充当ＴＣＰ　服务器，而ＳＥＣＵＲＥＣＲＴ，充当了ＴＣＰ　ＣＬＩＥＮＴ，ＳＥＣＵＲＥＣＲＴ将ＶＮＣＶＩＥＷＥＲ的ＸＷＩＮＤＯＷＳ绘制界面消息透传到ＸＭＩＮＧ服务器上，ＸＭＩＮＧ接收到绘图指令，在自己的界面上画出ＸＩＮＷＯＷＳ的应用窗口。
　　进入２１５虚拟机，检查网络的配置，也是正常的，有收有发。我怀疑２１５本来就是好的，只不过安全策略不允许ＰＩＮＧ而已。换远程桌面访问试试。
　　果然，在２０９上远程２１５是正常的！
总结：
　　总共碰到４个问题，实际上只有一个属于真正的问题。
　　１、ＤＡＳＨＢＯＡＲＤ登录失败，提示　无法连接ＫＥＹＳＴＯＮＥ端点。
　　这个是真正的问题。原因是ＯＰＥＮＳＴＡＣＫ　１８服务器在异常掉电之后，重启时别名ＩＰ１０。０。０。１１没有能够自动设置上。ＭＹＳＱＬ连接失败，访问不了数据库，无法进行认证。ＤＡＳＨＢＯＡＲＤ登录不了。
　　改进办法是：手工再设置一下。ＩＰ　ＡＤＤ　１０。０。０。１１／２４　ＤＥＶ　ＥＭ１。
　　另外，还可以考虑将mysql的ＬＩＳＴＥＮ　ＡＤＤＲＥＳＳ由１０。０。０。１１修改为０。０。０。０。这样就不怕掉电了。
　　２、ＤＡＳＨＢＯＡＲＤ登录失败，提示“无效证书”。
　　这个问题其实是域没有输对。
３、虚拟机没自动启动
这个本来就是没有自动启动。不知有没有地方设置成自动方式。虚拟机连不上，和问题１没有关系。即使没有这个ＩＰ别名，虚拟机也能够正常工作。因为虚拟机的网段是１９２。１６８。１。Ｘ网段，与ＥＭ１所在的网段是一致的。又都是桥在同一个网卡上。所以物理上和逻辑上，网络都是ＯＫ的。
４、有的虚拟机网络通ＰＩＮＧ通，有的不通。
这个是ＯＰＥＮＳＴＡＣＫ安全策略问题，没有细查，反正用远程桌面能够通就行了。按理说大家都是不允许ＰＩＮＧ的。 至于为什么有的通，没有查。有可能与ＩＰＴＡＢＬＥＳ防火墙的规则相关。

过程中使用的方法技术总结　：
　　１、查看ＭＡＣ
　　ip n
　　确认虚拟机的ＭＡＣ地址是否学到。虚拟机也是网络服务器，通不通，也是需要通过ＡＲＰ学习的。
2、查看虚拟机
ps aux | grep qemu
看虚拟机的ＬＩＳＴＥＮ　ＶＮＣ端口。
３、本地访问虚拟机
vncviewer 输入:0 :2等端口去访问本地虚拟机。

３、远程Ｘ
secrurcrt + xming