流量可预测分析

今天刚刚看了一篇关于数据中心流量工程的文章，觉得和我最近想的问题有一些联系，所以在这里做一些阅读的记录。


文章的题目是：MicroTE:Fine Grained Traffic Engineering for Data Center


文章首先说明了在目前的研究工作中，数据中心的流量工程问题没有将数据中心中流量的特征作为一个比较有影响的因素考虑在其中，因此，文章主要是致力于寻找一种流量预测的方法来优化数据中心网络，即文章提出的MicroTE。


在流量工程领域，文章主要列举了两种普遍使用的方法，分别是Fat-Tree和VL2。Fat-Tree是在1985年被“Fat-Trees: Universal Networks for Hardware-Efficient Supercomputing”最先提出来的，是一种通用的路由网络；VL2是在2009SIGCOMM中一篇文章提出的，主要是a practical networkarchi-tecture that scales to support huge data centers with uniform high capacity between servers, performance isolation between services, and Ethernetlayer-2semantics。


还有两种目前数据中心拓扑使用的技术是Spanning Tree和ECMP（Equal-Cost Multipath Routing）。Spanning Tree中所有的流量通过单颗树来调度，链路利用率较低，在数据量大时容易造成链路拥塞和丢包，但是好处是没有环形成；ECMP通过利用潜在的路径差异避免了一些这样的问题，ECMP随机分配流量到空闲的等价路径上。ECMP在小流量网络中效果很好，但是在大流量网络中流量的随机分配会导致一些链路的长期拥塞，而其他的链路则低效利用。


文章在以上技术和方法的基础上，总结和对比了他们的优势和不同，最终确定了采用ECMP为MicroTE的基础，在其上加入流量特征的分析部分，对于有预测性的流量采用一种更加优于ECMP的方法路由流量，对那些预测性质很差的流量，就采用ECMP方法来做。


文章中提出的流量预测主要是在细粒度的对流量特征进行研究，因为目前学术界普遍的认知观点是流量是没有规律不可预测的。文章得出的流量细粒度预测性是通过两组实际流量数据得到的，分别是CLD和UNV，通过数据得到了一个初始的结论是ECMP性能优于Spanning Tree。之后，文章给出了三种设计要求，分别是Multipath Routing、Coordinated Scheduling using a global view of Traffic和Exploting short-term predictability for adaptation。


MicroTE的结构分为三部分，包括监控组件、网络控制器和路由组件。监控组件用于监控在其本身所在的rack和网络中其他rack之间的网络流量请求和流量数据。网络控制器首先是用来集合从监控组件得来的任务信息，形成一个对ToR对和流量预测性的全局认知，然后将这个全局信息向上提交给路由组件用于创建网络路由；此外的任务就是将流量转发条目记录到网络交换机的流量表中。路由组件就是一个相对单纯的计算部分，主要是用来根据网络控制器传来的网络全局信息进行路由调度计算的，文章给出的方法是：首先收到全局的信息，然后判断出可预测的ToRs，然后计算网络路由，其次是对妇科预测的ToRs做ECMP的权重设置，将全局信息导入到历史记录中，最后判断路由是否有显著的变化，如果有则返回最初的路由计算，没有则停止（路由组件基于历史信息来判断可预测和非可预测的ToR-to-ToR端口）。