合肥先进光源束测后台的初步设计

• 工作点滴
• ​合肥先进光源
• ​Zstack
• proxmox
• Docker

Zstack私有云平台运行实践

我工作中踩过的坑--服务器管理篇

​​​​​​关于未来合肥先进光源云架构方案的思考

合肥先进光源束测专用网络的规划

​​​​​​合肥先进光源束测专用网络的规划-续

十一放假折腾服务器札记

束测后台因为不是束测的主业，如果依赖控制系统搭建好统一的后台服务为我们开设虚拟机使用的话，不仅接口牵扯的众多，会给双方都带来很多的麻烦，工程建设的逐步开展，他们也没有条件很早的把平台搭建起来，我们也不能等着虚拟机才开始调试我们的程序和系统。所以一直是我们自己搭建，双方工作起来都轻松愉快，之间的接口只需要互相告知PV命名以及IP设置网段之类的简单事务就好了。束测后台方案没列在束测系统的预研项目里，不过在预研中一直在调研并尝试搭建，并在博客中留下来上面一些记录。

新光源这部分也没有写在初设里，这部分的活我很乐意干，但是领导让我去写我就不是很主动，所以初设就没有这部分。没有这部分，没显示的工作量可以，但是没有这部分的米买设备没法干活就不行了，最终还是赶鸭子上架，不得不补上这部分内容。我随意的写东西还能写出，套格式我就会弄得不伦不类，下面的是我通过以前留下来的博文记录整理下来的这部分的内容，估计领导又要头疼的大改才能交上去用了：

虚拟化方案的选择

束测有众多子系统，各种采集，摄像头、示波器、万用表、电机控制、各种专用处理器。。。以前一般都是众多的工控机直接去连设备跑起程序，不仅维护量大，而且程序搞起来复杂，扩展、移植、调试都很麻烦。就比如摄像头，在线的少则10几个，以后会几十个甚至更多，虽然现在也都GIGE可联网，如果采集程序来控制获取，加一个摄像头都是非常麻烦的事。

现在普遍使用服务器虚拟化，现在流行的虚拟化方案对比的表格如下：

由于Vmware闭源并非自主架构，中美未来的对抗在大科学工程中选择它是很严重的隐患，首先排除；OpenStack建设和运维复杂，束测的工作重心还是要做好束流的测量工作，也不选择；Zstack国产自主基础架构，简单易用，在各大运营商、金融证券、大公司中有众多使用案例，并可无缝纳管vmware系统，但是束测没有这部分经费，无奈放弃；Proxmox开源方案，虽然硬件兼容性只支持x86，短期内x86还是会普遍应用，并且32台服务器规模内可免费使用，故最终选择此方案。

束测数据网的规划

现在很多交换机都有40G甚至100G的那种接口，并且连起来就能组成一个二层网络。

使用华为48个千兆口带40G堆叠口的交换机S5720-52X-EI-AC，和华为S6735 24口的交换机，做了交换机间的高带宽接口连通性测试：

1、多模光纤，100米的线可联通，300米的线灯不亮，换光模块也不行，最后供应商询问技术，说多模的极限差不多280米，故不通；

2、单模光纤，100米、300米都能联通！！本以为单模光纤细，没想到比多模还粗并硬，连接的距离小于280米优先选择多模光纤。

这样的交换机之间的骨干网速40G、100G连接可以扩展到至少300米，对于布网来说就极其的方便了。

对于上面的合肥先进光源的布局图，红圈的位置是束测的设备间，环上11个房间，直线和输运线3个房间，象图中的橙色连线拉上光纤，最长的距离不会超过100米，多模光纤即可，组成的这样的一个环，断任一个节点都不影响其他节点的网络连接，非常有利于系统的稳定可靠的运行。

两个节点的地方放一台交换机，两个四节点的房间放两台交换机，服务器可集中放在这两个房间中，更多的设备需要扩展交换机的话，在这些环形主干交换机下接入万兆接口就好了。

环形主干网之间的速度可达40G，以后服务器、NAS、iSCSI设备如果需要更多空间的话，不需要集中在一处，根据每个房间空闲情况，可放在任何合适的位置，为设备的增加扩展会带来极大方便。 

最后估一下预算，因为交换机主干间可达到40G，不需要那种很贵的核心交换机。

两款交换机大致金额如下：

1、华为48口千兆交换机S5720-52X-EI-AC，一万元以内；

2、华为S6735 24个万兆接口，2万元以内

上述提到的两款交换机，S5720和S6735之间没有正常联通，但是华为技术支持用厂里新版本的交换机测试可正常联通，以后新买的应该可以正常联通建网。环形主干网，根据集中的设备情况，两种交换机可搭配使用，对于服务器集中的节点，可选择光口多的那款；摄像头和其他设备集中的节点，可选择电口多的那款。

交换机间的光纤最后还是选择单模光纤，配上100G、40G、10G的光模块都可以使用，方便灵活。

束测环和直线共14个设备间，放置16台交换机互联后组成束测专用数据网，束测的设备连接到这个网上，每个房间另外需要一台交换机接入控制网，共需30台交换机，并额外需要两三台用作设备调试。

服务器接入这两个网，上面的虚拟机IOC通过束测专用网和摄像头、示波器、BPM处理器等设备通信并获取数据，经过处理后通过EPICS PV在这两个网上发布，记录PV的数据库也通过这个专用网获取束测的波形、图像等信息，可避免图像、波形等海量的数据在控制主网里传输，避免影响控制网的稳定。

束测数据网只是针对束测系统大量数据避免在控制子网中传输而单独隔离出的普通二层网，没有高可靠、网络冗余等高级技术，对控制网的建设没有参考意义，希望读者不要拿此便宜布网方案去套控制网的规划。

束测后台服务器数量的选择

 上图为一台vmware服务器上束测后台部分IOC列表，其他的还有直线的流强、能谱、束斑检测器的运动控制、环的逐束团反馈、3D。。。跑在其他的工控机和服务器上，虚拟机IOC总数大约50个，后来把vmware上的IOC转移到proxmox3机集群系统上，如下图：

 另有一台zstack服务器在线运行逐束团3D系统的IOC，系统资源几乎满负荷。

 如果把这台zstack服务器上跑的服务转移到proxmox集群上，以及把其他散在大约5台工控机上跑的服务都转移到集群上的话，估计系统资源占用将超过50%，只要不超过66%，集群宕掉一台服务器时，其上的服务热迁移到另外两台服务器应该不影响系统运行。

未来的新光源，虚拟机的数量将超过100个，并且还有opi虚拟机方便任一处远程连接着监控机器状态，以及NFS、NTP、数据库等虚拟机，按此比例数量翻倍到6台服务器应该够用。

直线加速器的调试在储存环的前面，前期可批量采购3台服务器，搭建起最低服务器数量要求的集群，并调试好IOC以应对直线加速器的调试，后期储存环建好调试时，再买3台扩充到集群中。