大数据：技术与应用实践指南

大数据与网络架构的发展

大数据技术平台是基于现有网络架构来实现分布式计算的。如图 4-18所示是一个典型的云计算环境下的企业级网络架构。篇幅所限，这里不展开详细介绍。

但是，在大数据应用中，海量的各类大数据的快速传输（3V特点）增加了网络中实时和大负载事务的数量。这对网络架构提出新的要求，支撑大数据应用的网络连接必须是健壮的，要足以保证数据能快速、高效地流动。第二，大数据是实时变化的，在一定时间内流向网络的数据量并不确定。因此，在大数据应用中，网络的流量模式可能是忽高忽低的脉冲式和可变的。当数据加载任务被请求时，数据必须通过网络来传输和分布到集群上。因此，必须有足够的网络资源池来支持大数据的网络传输和分布，否则，数据传输中的延误就可能会很大。第三，灵活的交换机能力配置是获取网络效率的基本任务之一，通常大数据的网络配置可能需要1GbE的访问层交换能力。在近年来，成本性能比变得更加有效果，10GbE服务器连接将更普遍，一些组织可能需要更新汇聚交换能力到40GbE，甚至 100GbE。

 

图 4-18 典型的云计算环境下的企业级网络架构

为了进一步满足大数据应用持续的要求，需要对现有企业网络架构进行升级，思科公司提出的统一的以太网结构（ Unified Ethernet Fabrics，UEF）或正在兴起的软件定义网络（SDN）是解决这个问题的技术趋势。

1. 统一的以太网结构

统一的以太网架构（ UEF）正快速发展，它很适合云计算和大数据的需求。UEF是一个更扁平和集中的网络，它是架构在各种网络设备上的一个虚拟化网络平台，如图 4-19所示。UEF的特点如下。

图 4-19 思科公司统一的以太网架构

◎     集中的网络架构。减少了网络设备的复杂性，以及与多个 Fabrics、分开的网络适配器和布线相联系的大量成本花费。

◎     网络扁平化。网络架构的扁平化设计则最大化地提升了网络效率、减少了拥塞，并通过产生用于负载均衡和冗余的第二层网络路径，解决了扫描树的限制。

◎     虚拟化。 UEF通过虚拟底盘的体系架构，统一了多个交换机的访问，逻辑上这些设备被当作一个设备来管理。这就产生了虚拟交换机的资源池，免除了手动配置的必要。这个设计提供了任何设备延迟的可预测的大数据集群服务器之间的流量带宽。

◎     多个路由路径选择。通过利用通过网络的多个路径并连续决定最有效的路由， UEF能实现全链接的利用。

◎     可靠性。UEF带来了分布式网络，对失效更有弹性和容错能力。

 

2. 软件定义网络（ SDN）

与 UEF的理念类似，但软件定义网络（ SDN）更着眼于作为下一代企业网络的架构，

具有更好的开放性，并且得到更多业界的支持。

软件定义网络（ SDN）能够将网络控制从物理基础设施中解耦出来，通过软件和虚拟化在更加全局的角度对网络设备进行控制，如图4-20所示。不同的网络设备通过开放的接口来进行整合，如 OpenFlow，一个可扩展的、可能是开源的网络操作系统架构在OpenFlow交换机上，通过很好定义的 API实现网络操作系统对应用的支撑。 SDN和 OpenFlow标准被认为是网络领域中的重要发展趋势，它们已经成为了谷歌、 Facebook 和雅虎等云服务提供商和大型网络公司简化或自动化网络配置的一种主流趋势。用户不再需要手动操作网络中的任何交换机或路由器，即可快速添加和配置更多的网络功能。

 

 

图 4-20 软件定义网络体系架构

网络架构从原理上将分为两个平面（ Plane），数据面和控制面，如图4-21所示，其中，数据平面处理和交付网络上传输的数据包，控制平面则监控路由器等状态，所以关注点并不相同。数据平面与控制平面的比较如表4-3所示。

 

图 4-21 数据平面和控制平面

表 4-3数据平面和控制平面的比较

Open Networking Foundation（ONF）是一个标准组织 ⁵，主流网络设备公司都参与其中。OpenFlow是其提出的。 OpenFlow⁶类似于网络上的 X86指令集，对像“黑盒”一样的网络节点提供开放的接口。图4-22是 OpenFlow体系架构，它的特点如下。

◎     分离控制平面和数据平面。

◎     一个 OpenFlow交换机的数据路径：包含一个流表（ Flow Table）, 以及与每个流表项（Flow Entry）相关联的一个动作。

◎     一个控制路径：包含一个控制器，它给流表中的流表项编程序。

◎     OpenFlow基于一个以太网交换机，具有内部的流表，以及一个标准化的接口来增加和删除流表项。

 

 

图 4-22 OpenFlow体系结构

⁵ www.OpenNetworking.org。

 ⁶ http://OpenFlowSwitch.org。

斯坦福大学对 OpenFlow有很大贡献，OpenFlow的构架包括 5层，底层是 OpenFlow交换机、上一层是分片软件，其上是控制器，再往上是OpenFlow应用，最上面是监控和调试工具，如图 4-23所示。

 

图 4-23 OpenFlow模块

在企业级应用中， HP等公司提出的基于 OpenFlow的 SDN架构可以分为 3层，分别是：基础设施层，在这一层，网络设备通过 OpenFlow的可编程接口实现连接；控制层，通过 SDN的控制器来实现控制平面的功能；应用层，通过开放的应用API来实现 SDN对应用的网络支撑，如图 4-24所示。

图 4-24 企业级 SDN架构

OpenFlow和 SDN的真正价值源自其能力。

◎     控制平面与数据平面分离，使得分布式系统得到集中控制。

◎     开放的数据平面控制协议，使得交换设备商品化，避免厂商锁定，使得企业通过 HP、Big Switch、NEC和 NTT等厂商的控制器，以及 NoX、Beacon、Floodlight和 Trema 等厂商的开源控制器实现互操作性。

◎     网络设备虚拟化允许企业与多个机构按照不同属性来相互共享通用的物理基础设施，并实现路由重定向、负载均衡、提供峰值需求的带宽。

◎     开放的控制平面管理接口，网络管理员能够使用网络 API来编写软件。

◎     可编程性使得其适用于不同使用场景的网络虚拟化应用和相应的应用粒度。例如对企业中所涌现的自带设备（ BYOD）等现象进行管理等。

◎     扩展和隔离不同数据中心或云租户网络的策略，将付费用户与内容、服务相连接等。

 

SDN首先提供了这些能力，然后是拓展在其上运行的各种新的网络应用：如网络虚拟化、自带设备（ BYOD）应用策略等。 SDN在企业内部的应用刚刚开始，它将是未来支撑大数据应用的基础网络架构。

 

本文节选自《大数据：技术与应用实践指南》

赵刚 编著

电子工业出版社出版