传统数据中心网络架构基本情况

传统数据中心网络架构

第一章 Clos网络架构基本概念
第二章 传统数据中心网络架构

---

---

前言

自从打算介绍Clos网络架构以来，很多朋友都在发表各自的意见，讲的也都很好。但我总在想，在分析云数据中心网络架构之前，还是要先充分了解一下传统数据中心。否则，脱离实际去谈，可能会存在捡了芝麻丢了西瓜的情况。
因此，结合自己对于运营商数据中心的学习理解，先对传统模式下数据中心网络架构究竟是怎么回事作一介绍。

一、传统数据中心网络架构基本情况

1.基本概念

数据中心网络包括数据中心之间的网络、数据中心内部网络两种模式。

1. 数据中心之间网络
   数据中心之间的网络，也称之为DCI（DC internet），是指将分布在各地的数据中心，通过网络化组网方式，组成广义意义上的数据中心集群。
2. 数据中心内部网络
   数据中心内部网络，也称之为数据中心局域网络，是指将网络分为互联网接入层、核心层和分层三个层次，并通过与服务器集群设计、数据中心用户接入设计、网络路由设计、IP地址规划设计等相结合，实现问题、需求的分层治之。

2.基本设计原则

关于网络的设计原则，网络上面介绍的很多。因此在这里只简单列举知识点，不做展开。
1.可靠性。
2.可管理。
3.可拓展
4.高安全

二、传统数据中心DCI总体架构

DCI总体架构，取决于我们的数据中心究竟是单点还是多点部署，这些“点”之间究竟是什么样的运行控制管理模式。此处，假设我们的数据中心分布全国各地，是一体控制、多点协作、共同提供服务的运营模式。

1.通用架构

Site：数据中心，用圆圈大小作为数据中心的等级区分
NAP：网络接入提供者，相当于是运营商，可以理解为联接所有用户和终端设备的服务商
NSP：网络服务提供者，可以理解为其他的信息服务提供商，例如冬奥会炸红的咪咕视频

• 每一个数据中心至少需要有1条链路联结至NAP，建立与互联网的公共通路，保证不管是哪个运营商的用户，都尽可能以最优路径访问到该数据中心。
• 每一个数据中心至少需要有1条链路联结至NSP，建立专用的通路，保证两者之间有1条带宽和服务质量都得到保证的高速链路。
• 数据中心之间的网络联接，如图中蓝色粗线和黑色细线为例，更多是作为上述两个联接的补充。一是当某个数据中心无法建立与NAP、NSP的联接时，可以借助与其他数据中心的通路；二是当某个数据中心与所联接的NSP出现通信中断时，可以接到而行。
  说到这里，可能有人会有疑问，不是应该在数据中心之间建立大带宽、高可靠的网络通联吗？为什么在这里反倒成为冗余补充？

之所以会是这种设计，还是需要回到传统数据中心的业务上来。传统数据中心做什么？就做三件事：

• 虽然遍布全国各地，但都可以看做是一个又一个独立的实体，对外提供主机托管等业务，可以有各自独立的动作，进行独立且互不影响的维护操作。
• 各个数据中心联合起来，向用户提供全国性的增值服务，例如异地数据灾备镜像和CDN等业务。
• 通过一个统一的OC（可以是两地），对遍布全国的数据中心进行统一的协调管理。

在理解了传统数据中心业务之火，再来看为什么会有蓝色粗线和黑色单线的区别。

• 蓝色粗线代表数据中心之间建立多条大带宽链路，在满足数据中心之间的数据交互之外，还可以作为增值资源提供给用户。例如，某个用户在A数据中心租用空间，开设了对国内的网站服务。除了自己做内容服务之外，还需要抽取某知名网站（假设部署在另一个省，属于另一个运营商的数据中心）的内容信息。此时，数据中心可以直接提供更为可靠、高速且廉价的带宽资源，用户只需要和数据中心谈托管多少设备、需要什么带宽即可。
• 黑色细线代表数据中心之间仅需构建必要的数据通路。因为按照传统业务，租用链路的钱最好还是花在增加数据中心与NSP、NAP的冗余上更为妥当。

2.设计原则

①数据中心分级

通常将数据中心分为大、中、小三种规模。
其中大型数据中心面向全国用户提供访问，中型和小型数据中心面向省内、所在地用户提供访问。

②网络设计原则

• 数据中心之间的网络联接
  依托运营商的骨干网络来实现彼此之间的联接。也就是各个数据中心通过出口路由器，就近接入运营商的骨干节点，但通过策略设置，使得联接仅能用于数据中心之间的数据交互，并不作为用户访问的入口。

传统数据中心，彼此之间的数据流量主要是网管、计费等管理数据，以及数据异地灾备、CDN等业务数据。

 - 对于管理数据，特点是周期性频繁交互，但除系统版本升级等动作外，通常并不会产生长时间占用大量带宽
 - 对于CDN等业务数据，特点是首次部署时需同步数据量大，随后的数据量以增量更新为主。

从以上分析，建设初期，各个数据中心与骨干网络之间，在链路带宽选择上，可以参考大数据中心622M、中型数据中心155M、小型数据中心100M。提醒一下，仅做参考。而且需要注意的是，即便要选择更大的带宽，也要注意不超过所联接骨干节点的上联带宽。例如，骨干节点对外的联接为1G，就没有必要用10G端口去联接它。

• 数据中心与NSP、NAP的网络联接

考虑经济因素等原因，最初可以只推进几个大型数据中心与NSP、NAP之间的联接。例如，依托北上广等国际、国内互联网最为主要的出口局、汇聚点，建立数据中心与NSP、NAP的联接。
对于其他数据中心是否需要建立、何时建立的问题，可以在投入运营后，通过分析用户访问行为，视情增加。
采用这种模式的原因在于：

 - 在数据中心规划设计阶段，对于网络的需求往往并不明确。
 - 虽然可以通过预估和分析即将提供的服务等方式，对用户访问群体、地域、频度等做出预估，
 但这往往会带来需求过大、过泛等问题。

而且，在建设初期适当控制网络带宽方面的投入，将经费一定程度上投入到运营方面，也是一个不错的选择。

三、传统数据中心内部网络结构

传统数据中心，出于控制泛洪、隔离故障、简化管理等目的，通常会采取将内部网络划分为多个不同层次的方法。

先放上一张关于传统数据中心内部网络的经典拓扑图。对于从事计算机网络专业的人而言，这张图并不陌生。如果对于拓扑再适度抽象，就会是如下的三层结构。

1.互联网接入层

互联网接入层提供数据中心与国际互联网、其他数据中心的联接。

• 在路由协议上，通常采用eBGP与外界联接
• 对下采用IGP协议联接

2.核心层

是数据中心内部各个网络之间的统一数据交换中心。交换机之间，通常采用堆叠方式
通常可以采用两种方式：

①方式一

• 对上采用IGP协议联接
• 对下通常采用LACP链路聚合方式，实现更加可靠的冗余备份
• 存在二层环路的风险。但由于STP的天生缺陷，最初采用STP的较多，后期大多通过细化配置，停用STP。

②方式二

• 对上同样采用IGP协议联接
• 对下也采用IGP协议，利用IGP的ECMP实现链路冗余备份

3.分布层

分布层的主要任务就是，从位于不同网段的服务器收集数据并发送至核心层交换机。

• 通常情况下，分布层与机柜内服务器直接联接。
• 从减少缆线布放复杂度出发，也可以在分布层交换机与服务器之间增加TOR架顶交换机
• 对下接口，可以与bind做结合，实现服务器对上的链路冗余备份。

当然，这种三层划分也并不绝对。对于小型数据中心，完全可以把核心层与分布层合并为同一层设备。
下面再放一张典型的网络结构图：

总结

写文字是一件比较痛苦的事，因为写着写着就忘了自己要面对的受众是谁。
就好像这次，本来是想着写点稍微有点技术含量的，例如如何控制数据中心与NSP路由等，但为了追求完整，再加上时间关系，又只能简单描述一些概念。
但是离自己最想说的脸书网络架构越来越近了，有点期待。