合肥先进光源束测专用网络的规划-续

合肥先进光源束测专用网络的规划

以前写过上面的文，那时候为了网络管理方便，寻找能扩展更远的交换机堆叠的方案。现在发现很多交换机都有40G甚至100G的那种接口，并且连起来就能组成一个二层网络。由于堆叠需要连上交换机做管理的设置，还是有些麻烦。对更大规模的束测系统更多的海量数据的设备，这样专用的二层网络就好了，扩展的话接上线就行。

不需要考虑堆叠，可选的设备就可以很多了，“Zstack私有云平台运行实践”这里提到的一款华为48口带40G堆叠口的交换机S5720-52X-EI-AC，今年又买了两台华为S6735 24口的该系列交换机。

 初步测试：

1、多模光纤，100米的线可联通，300米的线灯不亮，换光模块也不行，最后供应商询问技术，说多模的极限差不多280米，故不通；

2、单模光纤，100米、300米都能联通！！本以为单模光纤细，没想到比多模还粗并硬，连接的距离小于280米优先选择多模光纤。

这样的交换机之间的骨干网速40G连接可以扩展到至少300米，对于布网来说就极其的方便了，对于上面的合肥先进光源的布局图，红圈的位置是束测的设备间，环上10个房间，直线和输运线3个房间，象图中的橙色连线拉上光纤，最长的距离不会超过100米，多模光纤即可，组成的这样的一个环，断任一个节点都不影响其他节点的网络连接，非常有利于系统的稳定可靠的运行。

两个节点的地方放一台交换机，两个四节点的房间放两台交换机，服务器可集中放在这两个房间中，更多的设备需要扩展交换机的话，在这些环形主干交换机下接入万兆接口就好了。

环形主干网之间的速度可达40G，以后服务器、NAS、iSCSI设备如果需要更多空间的话，不需要集中在一处，根据每个房间空闲情况，可放在任何合适的位置，为设备的增加扩展会带来极大方便。 

最后估一下预算，因为交换机主干间可达到40G，不需要那种很贵的核心交换机。

上述提到的两款交换机：

1、华为48口千兆交换机S5720-52X-EI-AC，一万元以内；

2、华为S6735 24个万兆接口，2万元以内

环形主干网，根据集中的设备情况，两种交换机可搭配使用，对于服务器集中的节点，可选择光口多的那款；摄像头和其他设备集中的节点，可选择电口多的那款。

附：方案发到群里的一些回复：

问：你这个是自己测试用，还是给合肥新光源的设计？一般网络结构都有多层，单模光纤不是问题。如果是给工程做设计，可以考虑100G级别的带宽。很多基准网络设备都支持100G以上。至于数据的长距离高速传输，那和加速器控制系统的要求还是有挺大的区别的。

答：是束测自己的网，摄像头、示波器、服务器集群底层的ceph、iSCSI、镜像热备、迁移等等的数据流都很大，如果不和控制网分开接入的话，很容易就把控制主干的带宽给占满了。这些大数据量单独一个二层网，摄像头、示波器的海量数据获取都在这个网里，之后计算的结果通过pv灌到控制网，这样带宽就少多了，也不会干扰到控制网的稳定。以前就有过一个摄像头就把控制网搞拥塞的经历。

这样搞一圈主要是图方便，比如逐束团3D，现在怕影响控制网主干间的带宽，我只好把示波器和采集的服务器接到一个交换机上。

这样的一圈，以后如果想测哪个点的需要海量读取数据的节点，直接接就好了，采集的系统也不需要和前端设备接到一个交换机。

24口全光网交换机的标准配置是40G，可以升级到100G，48口的千兆电口交换机是40G的接口，如果混着接的话，估计主干也就40G，对束测应该够用了。100G如果控制那边更复杂的网规划，可以考虑。如果交换机主干间还10G的话，就太低了。

如果控制网交换机之间能做到100G的带宽，分个几十G带宽的Vlan给束测用，这个网也不需要单独建。不过即使单独建，也不需要增加成本，本来这些设备就要接入交换机的，束测设备间之间的光纤本来也要这么拉起来的。

单独建的好处就是各自调试，断电换设备啥的，互不干扰，会带来极大方便，要不然牵扯的就很麻烦。

本来想每个房间都有24个光口的交换机，这样一圈下来主干间可以达到100G。不过光口也就服务器、NAS之类的接接，普通设备还是要另外下接个电口交换机，这样很多万兆光口就闲着，感觉好浪费，后来向华为技术咨询，这样混搭行不行，说只要连上线通了就组了个二层网。这样虽然是40G，也够了，而且根据情况放置光口和电口交换机，利用率更好，就不会浪费那么多光口了。

以前想着同一型号的一圈主干，堆叠后统一成一台管理更方便，划分vlan啥的也不需要单独连接每台交换机设置。这样混搭估计没法统一堆叠管理了，单独每台连接管理设置Vlan也麻烦的很。干脆就当成一个大的二层网来用，不划分Vlan也都足够用了，也省事。