基于SDN的跨数据中心承载技术

 刘汉江，欧亮，陈文华，唐宏

 （中国电信股份有限公司广州研究院，广东广州510630）

摘  要：互联网产业的发展和云计算的兴起催生了跨数据中心互联的需求，而软件定义网络技术为解决数据中心互联的网络瓶颈提供了重要途径。首先介绍了几种常用的数据中心互联技术，分析了SDN的技术优势，然后提出了一种基于SDN的运营商数据中心互联承载技术方案，并阐述其实现思路。该方案可实现DC间的网络虚拟化，能够提供用户业务定制、网络自动开通、任意虚拟机间的策略隔离、流量调度、用户就近访问.DC间的容灾备份等业务功能。

关键词：数据中心互联；云数据中心；网络虚拟化；SDN

中图分类号：TP393doi: 10.11959/j.issn.1000-0801.2016114

1  引言

 随着互联网产业的快速发展和数据中心业务的不断深化,IDC（internet data center，互联网数据中心）逐渐发展成为体现电信运营商核心竞争力的关键点。据全球权威咨询公司Gartner预测，2016年全球公共云服务市场规模将达到2 040亿美元，并将保持高速发展的态势，未来几年至少50%的企业需要将其IT资源转移至云端。可见，数据中心的云化将成为近期运营商网络建设关注的重点，而灵活的网络架构、高效的数据处理能力、自动化的运维管理、快速的业务部署能力不仅是云计算时代对新一代数据中心的要求，也是体现数据中心核心竞争力的基础。

 目前，云计算和云存储的发展已经非常成熟，通过在数据中心的服务器上安装虚拟化软件及其管理工具即可实现计算和存储资源的池化和管理。但是，云服务的快速部署还需要计算、存储、网络资源的协同部署能力，网络资源需随业务申请自动按需发放，显然当前的数据中心网络难以满足以上要求。并且，在数据中心大规模部署虚拟化计算和存储以后，传统数据中心的网络问题愈加突出，逐渐成为限制其发展的瓶颈：首先，网络与业务分离，DC间的网络配置复杂，业务开通周期长；其次，4 096个VLAN限制了租户隔离资源，难以满足云计算时代多租户规模扩展的需求；再次，不同地理位置的数据中心之间三层互访，业务和资源扩展受限于单个物理DC;最后，跨DC业务需要租户租用光纤／传输资源，资源利用率低，费用高。

 因此，促进跨数据中心网络互联，实现其资源的整合、池化和调度，构建一个逻辑上统一的云数据中心已经迫在眉睫。而软件定义网络(software defined networking，SDN)具有控制与转发分离、集中控制、开放可编程、网络虚拟化等技术特征，很好地契合了新一代数据中心的要求，为解决数据中心互联的网络瓶颈提供了重要途径。

 本文首先介绍和分析几种常用的数据中心互联技术，然后提出一种基于SDN的运营商数据中心互联承载技术方案，并详细阐述该方案原型系统的实现架构和相应功能模块。

2  DC互联技术

 业界的DC互联技术较为丰富，大体可以分为两类：一类是基于MAC地址的二层网络互联技术，另一类是基于IP地址的三层网络互联技术。而云计算时代的跨数据中心服务器集群、虚拟机跨DC动态迁移等业务向数据中心提出了二层网络互联需求，而解决三层网络互联相对比较简单，通常可通过L3 VPN实现。因此，接下来主要讨论跨数据中心二层互联技术。

2.1  光纤互联技术

 基于裸光纤或DWDM (dense wavelength dwisionmultiplexing，密集型光波复用)线路的二层互联方案是通过光纤或传输资源将不同物理位置的数据中心直接互联，这种方案虽然带宽资源非常充足，网络性能比较突出，但是价格昂贵，难于扩展，主要应用于同城数据中心之间的互联。由于成本较高，对于运营商而言，该技术主要适用于高价值、对安全高度敏感的租户。

 该方案主要有两种组网方式：Hub-Spoke组网和RRPP环路组网。其中，Hub-Spoke组网模型将某个数据中心的核心节点与多个数据中心的汇聚层节点互联，在逻辑上构成一个星型拓扑，这种组网方式基于最短路径转发，数据转发效率较高；RRPP环路组网模型将多个数据中心的汇聚层节点对等互联，所有节点之间均存在备份路径，结构顽健，HA（high available）性能较优。因此，企业在选择组网方式时，应结合这两种组网模型的特点，根据应用需求进行设计。

2.2  MPLS L2VPN技术

 通过MPLS L2VPN技术，用户可以通过MPLS网络在不同站点之间透传二层数据信息。因此，可以利用该技术实现跨数据中心二层网络的延伸。目前，MPLS L2VPN技术主要有三种实现形式：VPLS（virtual private LAN service，虚拟专用局域网业务）、VLL（virtual leased line，虚拟租用线路）和E-VPN(BGP MPLS based Ethernet VPNs,以太网VPN)，下面将结合DC互联的应用场景展开分析。

 VPLS是目前最常见的二层互联技术，它是一种点到多点的MPLS L2VPN实现方案，多个不同地理位置的站点之间通过隧道广播学习MAC地址，对客户形成一个仿真LAN。VPLS的相关标准提出较早，成熟度高，在很多行业都广泛部署，但其组网技术复杂，存在广播域泛洪的问题，部署和运维难度高。另外，在双归属组网时主备保护负荷分担实现较为困难。

 VLL是一种点到点的二层互联方式，通过IP/MPLS网络提供的VLL虚拟专线将不同物理位置的机房设备直接互联。这种互联方式路由结构清晰，但如果需要互联的数据中心节点设备较多，将存在“N的平方”问题。另外，VLL与IP网络上其他业务共享带宽资源，时延要求较高的业务可能受到不同程度的影响。

 EVPN是一种用于L2域间互联的新协议，通过BGP扩展，实现远端MAC地址学习、多归属组网自动发现／冗余保护／负荷分担。该协议可减少BUM流量的泛洪，有效提高网络效率，非常适合用于数据中心互联，将成为下一代替代VPLS的L2VPN技术。但是这种技术较为复杂，配置比较复杂，各厂商支持程度低、可用性和互通性缺少验证。

2.3 overlay技术

 overlay网络方案的提出在一定程度上推动了数据中心网络的发展。该方案将数据中心网络改造为一个无阻塞的矩阵网，并通过隧道技术实现网络虚拟化和软件的集中控制，其逻辑平面与物理平面完全分离，用户在设计和部署网络时无需了解底层物理网络架构。目前主流的overlay技术有VxLAN（virtual extensible LAN．虚拟可扩展局域网）、NVGRE  (network virt.ualization uslng generic routingencapsulation，通用路由封装)、STT (stateless transporttunneling，无状态传输隧道)技术等，VxLAN是当前业界的主流选择。基于VxLAN的overlay网络可以实现多个数据中心之间异构网络的二层互联，不需要考虑数据中心之间的网络类型，配置简单，是DC互联场景中的主推技术。

 在多数据中心互联场景中，VxLAN通常与其他技术结合使用，如VxLAN与EVPN结合使用，EVPN作为控制面协议，而VxLAN作为数据面协议。

2.4 SDN技术

 软件定义网络是一种新型的网络架构和技术，其核心设计理念是将传统IP网络的数据转发和路由控制进行分离，实现集中控制、分布转发，通过软件可编程的方式来简化和优化网络。这种控制与转发分离的网络架构使得网络不再成为制约业务快速上线和云服务效率的瓶颈，而集中控制的理念也为数据中心之间网络资源的整合、优化和灵活调度提供了重要手段。

 随着SDN技术的发展，基于SDN实现数据中心互联已经成为业界认可的重要思路，集中的SDN控制平台也逐渐成为实现数据中心之间流量调度和网络资源自动化管理的关键部件。

 在DC互联场景中，SDN技术应用的主流思路有两种：一种是“SDN+ VxLAN”的overlay网络解决方案，另一种是“SDN+ openFlow”的underlay网络解决方案。前者以VxLAN作为数据面协议，标识租户，并透明传输租户信息，SDN控制器集中管理和控制各个数据中心的VxLAN隧道端点设备，并根据业务需求向相应设备下发指令，对进出数据中心或服务器的报文进行VxLAN封装转换；后者需要数据中心的网络设备支持Open Flow，SDN控制器根据业务策略集中生成流表，并通过标准化的Open Flow协议下发给数据中心的Open Flow设备，Open Flow设备只需根据流表对匹配到的数据分组执行相应的转发指令即可。

 在这两种思路中，基于Vx LAN的SDN方案相对较为成熟，厂商支持程度较高，可作为近期实现数据中心互联的过渡技术。但由于基于overlay的DCI (data centerinterconnection，DC互联)虚拟网络可能跨广域网，而VxLAN对网络状况并无感知，因此难以规避拥塞，无法提供有效的流量调度和QoS保障。而基于Open Flow的SDN方案可以从中央控制节点获取网络配置信息，感知虚拟网络内跨DC的流量访问，根据业务类型对某些时效性要求高的流量进行保障传送，是未来数据中心网络演进的重要方向。

3运营商DC互联承载技术方案与实现

 目前，基于SDN技术实现跨数据中心网络的互联已经成为目前DC互联的主流思路。在这种背景下，本文提出一种SDN+MPLS的解决方案，实现运营商跨数据中心网络的多租户互联。

3.1  目标与需求

 为应对云计算时代业务弹性扩展、就近接入、跨地域容灾备份、DC间数据同步、资源动态调度、虚拟机迁移等业务需求，未来的DC互联网络存在3个发展目标。

 ·资源虚拟化：实现DC间的网络虚拟化，对用户呈 现逻辑上统一的云数据中心，实现数据中心之间资源的整合、池化和调度，如图1所示。

 ·业务自动化：实现网络自动配置，业务灵活部署。

 ·流量可调度：提供多条DC间的业务路径，用户可根据需要灵活选择和调整业务流的路径。为满足云服务的网络需求，运营商DC互联承载技术方案的总体功能简述如下。

 ·实现灵活的二层虚拟网络和跨DC虚拟化网络的延伸。 

·面向用户提供定制界面，完成虚拟网络配置服务， 实现网络的自动开通。

 ·实现任意虚拟机的策略隔离。

 ·提供多种业务路径，用户可根据实际需要动态调整业务流的路径。

 ·实现用户跨DC虚拟网络的分布部署，如Web靠近 用户前置部署，使用户可就近访问，缩短用户访问的不稳定性。

3.2技术方案

 根据上述功能要求，本节提出一种“SDN+MPLS”的DC互联方案，其组网架构如图2所示，整个系统可分为3层：承载层、控制层和协同管理层，下面将对该架构进行说明。

 承载层由数据中心和骨干网的网络设备组成，包括DC内的Open Flow交换机（接入和汇聚交换机均采用Open Flow交换机）和服务器、骨干网的路由器等。数据中心的服务器可以安装商用或开源虚拟化软件，这里假设采用VMware的虚拟化方案，其hypervisor为ESXI，虚拟机之间通过虚拟交换机VDS相连。

 控制层由DC控制器和vCenter组成。其中，DC控制器负责根据协同器下发的策略进行流表映射，并下发流表表项，实现对Open Flow交换机的控制：对于出入接人交换机的数据分组弹出／压入VLAN标签，实现物理主机内不同租户的隔离；并压入／弹出所选LSP的MPLS标签栈，实现路径选择，内层标签表示目的DC内的LSP路径，中层标签表示DC间骨干网的LSP路径，外层标签表示源DC内的LSP路径。在整个DC互联网络，只根据MAC地址全局判定租户虚拟网络。

 协同管理层由协同器和DCI云管理平台组成。DCI云管理平台负责DCI的网络管理和控制功能，并面向用户提供虚拟网络配置服务。协同器接收云管理平台的指令，负责协调和管理各DC的控制器，并向各DC内的控制器下发业务策略。

3.3基于MPLS的DC互联承载方案实现

 考虑采用图3所示功能架构，各层次间的相关处理流程简述如下。

 ·用户通过DCI云管理平台定制其虚拟网络，包括创建业务主机、选择路径策略等。

 ·DCI云管理平台通过vC e nter将业务主机实例化．vCenter将业务主机的部署信息反馈给DCI云管理平台。

 ·DCI云管理平台将业务主机的部署信息与物理网络拓扑的相关信息存储至用户信息数据库，并透传给协同器。

 ·协同器根据用户定义的网络关系和路径策略进行路径计算，基于当前的网络资源状况选择LSP路径，并将相应的策略模板下发给对应的DC控制器。

 ·DC控制器将路径策略映射为流表，下发给对应的Open Flow交换机。 

·Open Flow交换机接收并匹配到指定业务报文，则按照指定策略，执行相应的转发处理同时，交换机将端口流量的统计数据上报给DC控制器，并由后者通过RESTful接口上报给协同器。

 ·vCenter将DC计算资源的运行状况上报给DCI云管理平台。

 下面介绍主要功能模块。

3.3.1 DCI云管理平台功能

 DCI云管理平台上具备面向运营商、企业、租户的portal，提供业务灵活定制的图形化界面，并负责DCI的资源管理，具体功能如下。

 ·租户逻辑视图：保存和维护租户所定义的逻辑网络视图。

 ·租户资源管理：管理租户需要使用的资源，包括租 户可用DC、计算资源、VLAN、IP地址、MAC地址、账号和密码等。

 ·虚拟机管理：创建、删除虚拟机，并管理虚拟机模板（业务逻辑）。

 ·l P地址映射管理：主要管理公网IP地址和租户私网IP地址之间的映射关系。

 ·DC资源管理：与各DC vC enter联动获取DC的计算资源情况并进行管理。

 ·系统管理：包括用户、管理员的权限管理，操作日志管理等。

3.3.2协同器功能

 协同器又称为DCI网络协同管理模块，负责总体的业务编排及多厂商DC控制器的协同，具体功能如下。

 ·拓扑管理与呈现：网络物理拓扑的管理与维护，并将拓扑透传给DCI云管理平台，在图形化界面上展示。

 ·租户隔离：实现物理主机内的租户隔离。本方案全局使用MAC地址池实现租户隔离，在物理主机内使用VLAN隔离租户。VLAN在同一个物理主机内有效，不同物理主机VLAN可复用，成功解决DC隔离资源受限的问题。同租户不同物理主机间的VLAN转换通过租户标识、VM MAC地址、VLAN和物理主机ID等信息表实现。

 ·DCI路径计算：根据用户在云管理平台上指定的路径策略进行LSP路径计算。

 ·LSP管理：管理和维护LSP，包括MPLS标签、跳点、LSP策略模板等。

 ·流量调度：负责实现DC间的交换机／租户/VM之间的流量调度。

 ·网络资源管理：管理、分配、回收租户使用的网络资源，包括交换机的管理IP地址、路由器的MAC地址、端口和连接关系等。

3.3.3控制器功能

 DC控制器负责网络建模和网络实例化，将协同器下发的策略进行流表映射，并下发给Open Flow交换机，将底层资源状况反馈给协同层，主要基于Open Daylight开源控制器实现，具体功能如下。

·拓扑管理：负责DC内物理拓扑的管理与维护，并将数据中心的物理拓扑发送给协同器。

 ·路径计算：根据协同器的路径计算模块下发的路径策略模板生成流表。

 ·流表管理：负责流表的下发、删除、修改、查询，与Open Flow交换机的流表同步。

 ·状态管理：管理Open Flow交换机之间、Open Flow交换机与DC控制器之间的连接状态。

 ·租户隔离：负责维护本数据中心内租户标识，如虚 拟机MAC地址、VLAN和物理主机ID等信息，实现不同租户之间的隔离。

 ·MD-SAL:OpenDaylight提供的基于模型驱动的服务抽象层，为上层的功能模块提供一致性服务。

 ·Open Flow 1.3驱动与接口：支持与Open Flow 1.3交换机通信。

3.3.4业务流程

 通过上述功能开发，该方案可实现DC间的网络虚拟化，能够提供用户业务定制、网络自动开通、任意虚拟机策略隔离、DC间流量调度、用户就近访问、DC间的容灾备份等业务功能。由于系统功能较多，这里不一一赘述，仅以两个重要功能为例来说明其实现原理。

 (1)网络自动开通

 首先，租户在DCI云管理平台上的GUI上创建业务主机并通过vCenter将其实例化．vCenter将业务主机的部署信息反馈给DCI云管理平台（包括部署DC和所属物理主机ID）。DCI云管理平台将业务主机部署信息与物理网络信息进行整理，存储至用户信息数据库，如图4所示。

 用户完成业务主机的创建工作之后，需要为其定义网络关系，包括子网间的互通关系，主机之间互访关系等，并选择DC内、DC间虚拟机互通的路径选择策略。DCI云管理平台将相关网络策略和用户信息数据库一起透传给协同器。协同器根据租户定制网络和当前的网络资源状况进行路径计算，选择LSP，并向对应的DC控制器下发策略。DC控制器根据路径策略集中生成流表表项，下发给对应的Open Flow交换机。Open Flow交换机根据流表转发数据分组。

 至此，便实现了租户网络的自动开通。云管理平台、协同器、DC控制器、Open Flow交换机之间的关系如图5所示。

 (2)DC间流量调度

 网络管理员预先静态配置多条DC间的LSP路径，包括默认路径、高带宽VIP通道、其他带宽路径等。

 租户可以根据业务需求调整DC间的路径，实现业务流的动态路径优化。

 租户在GUI上重新选择DC间的业务路径后，DCI云管理平台向协同器下发变更DC间LSP的请求，协同器收到请求后分别向源DC和目的DC下发路径变更策略。控制器删除原有O pen Flow交换机中相应的流表组，并根据新的DC间路径重新生成和下发新的流表组。

4结束语

 促进跨数据中心的网络互联，整合全网的DC资源是云计算时代数据中心的发展趋势。文中对光纤互联、L2VPN、overlay和SDN等多种主流DC互联技术进行了分析。其中，基于SDN技术实现跨数据中心网络的互联已经成为业界认可的重要思路，集中的SDN控制平台也成为了实现业务全网管控和网络资源自动化管理的关键部件。

 在这种背景下，本文阐述了一种运营商DC互联承载技术方案及其实现方法。该方案可实现DC间的网络虚拟化，能够提供用户业务定制、网络自动开通、任意虚拟机策略隔离、流量调度、用户就近访问、DC间的容灾备份等业务功能。