数据中心间二层互联（DCI）的方案选择与设计

在传统的数据中心服务器区网络设计中，通常将二层网络的范围限制在网络汇聚层以下，通过配置跨汇聚交换机的VLAN，可以将二层网络扩展到多台接入交换机，这种方案为服务器网络接入层提供了灵活扩展能力。近年来，服务器高可用集群技术和虚拟服务器动态迁移技术(如VMware的VMotion)在数据中心容灾及计算资源调配方面得以广泛应用，这两种技术不仅要求在数据中心内实现大二层网络接入，而且要求在数据中心间也实现大范围二层网络扩展(DCI: Data Center Interconnection)。

一、 数据中心之间的互联方式

如图1所示，数据中心间通常部署三种互联链路，每种互联链路所承载的数据不同，实现的功能不同，并且这三种链路在逻辑上相互隔离。

· 网络三层互联。也称为数据中心前端网络互联，所谓“前端网络”是指数据中心面向企业园区网或企业广域网的出口。不同数据中心(主中心、灾备中心)的前端网络通过IP技术实现互联，园区或分支的客户端通过前端网络访问各数据中心。当主数据中心发生灾难时，前端网络将实现快速收敛，客户端通过访问灾备中心以保障业务连续性;

· 网络二层互联。也称为数据中心服务器网络互联。在不同的数据中心服务器网络接入层，构建一个跨数据中心的大二层网络(VLAN)，以满足服务器集群或虚拟机动态迁移等场景对二层网络接入的需求;

· SAN互联。也称为后端存储网络互联。借助传输技术(DWDM、SDH等)实现主中心和灾备中心间磁盘阵列的数据复制。

图1. 数据中心的三种互联方式

二、 数据中心二层互联的业务需求

· 服务器高可用集群

服务器集群(Cluster)，是借助集群软件将网络上的多台服务器关联在一起，提供一致的服务，对外表现为一台逻辑服务器。多数厂商(HP、IBM、微软、Veritas等)的集群软件需要各服务器间采用二层网络互联。将集群中的服务器部署于不同数据中心，可实现跨数据中心的应用系统容灾。

· 服务器搬迁和虚拟机动态迁移

数据中心进行扩建或搬迁时，需要将物理服务器从一个数据中心迁至另一个数据中心。在此过程中，考虑以下两个因素，需要在数据中心间构建二层互联网络：

——当服务器被迁至新机房，如未构建新老中心间的二层互联网络，则面临重新规划新中心服务器IP地址的问题，同时还需修改DNS，或修改客户端应用程序配置的服务器IP。因此，构建跨中心的二层互联网络可保留被迁移服务器的IP地址，进而简化迁移过程;

—— 在服务器搬迁期间，经常在给定的时间内，只能将服务器群的一部分服务器迁至新中心，为保证业务连续性，需建立跨中心的服务器集群，构建跨越中心的二层互联网络可实现服务器平滑迁移。

与服务器搬迁类似的情况是“虚拟机迁移”。当前，一些服务器虚拟化软件可实现在两台虚拟化的物理服务器之间对虚拟机做动态迁移(如图2所示)。迁移至另一中心的虚拟机不仅保留原有IP地址，而且还保持迁移前的运行状态(如TCP会话状态)，所以必须将涉及虚拟机迁移的物理服务器接入同一个二层网络(虚拟机在迁移前后的网关不变)，这种应用场景要求构建跨中心的二层互联网络。

图2. 虚拟机动态迁移

三、 数据中心二层互联设计要点

1. 前提要素—— 现网状态

选择数据中心二层互联方案的前提要素是明确用户在多个数据中心之间具有哪些网络资源。网络资源的不同直接决定了用户将采用何种组网方案：

· 运营商、大型互联网企业：裸光纤或DWDM传输资源，对应RRPP环网方案或HUB-SPOKE方案;

· 运营商、大企业、金融、政府机构：MPLS网络，对应VPLS组网方案;

· 中小企业客户：IP网络，对应VPLS over GRE组网方案

2. 核心要素—— 性能

· 时延

数据中心之间二层互联是为了实现虚拟机的异地调度和集群异地应用，为了实现这一点，必须满足虚拟机VMotion和集群存储异地访问的时延要求。第一个限制是VMotion同步会话距离。第二个要求是存储网络。DC之间的存储必须实现同步访问或是镜像访问。

需要注意的是，在VPLS或是IP网络环境中，由于网络中存在大量复杂的应用，所以必须通过部署全网QoS来保证DCI互联数据流的服务质量。流量环境越复杂，则QoS配置工作量越大，时延指标越难以满足。VPLS网络通常应用于企业或是行业的专用业务，流量环境相对于IP网络较简单，所以在部署QoS方面有一定优势。

· 带宽

数据中心互联的核心需求之一就是保证虚拟机跨DC的迁移。vSphere 5.0之前的版本，VMotion对于迁移链路的带宽有明确的要求—带宽不小于622M;vSphere 5.0的版本，VMotion对于迁移链路的带宽不小于250M。

从带宽资源的分配情况来看，裸光纤或DWDM的带宽资源最为充足，VPLS和IP网络的带宽资源相对紧张，必须部署全网端到端的QoS优先级来保证DCI业务流量的带宽要求。

3. 关键要素—— HA

数据中心二层互联的关键因素就是如何提高可用性。提高HA的一个最有效的方式就是设计备份链路、备份节点。如果结合提高互联带宽的需求，则建议设计负载分担的互联路径，在提高互联带宽的同时，也能够保证系统异常时能够实现业务的快速收敛，提高HA指标。

以DWDM网络为例，建议利用IRF实现DCI链路的高HA和链路负载分担设计方案。

在裸光纤或是DWDM互联组网方案中，DCI互联的两端PE设备必须支持IRF，将PE之间的两条(或多条)链路通过聚合(LACP)技术形成一条逻辑链路，会极大的简化DCI的组网拓扑。同时，这两条HA链路的带宽会得到100%的利用，达到1:1的负载分担效果(如图3所示)。

图3. IRF+LACP负载分担设计方案

四、 数据中心二层互联方案设计

1. 基于裸光纤或DWDM线路的二层互联

裸光纤或DWDM二层互联方案需要用户在现网中拥有光纤或传输资源，对用户要求较高，但从使用的角度来看，裸光纤或DWDM方案的性能是最优的。

基于裸光纤或DWDM线路的二层互联方案有两种选择：HUB-SPOKE方案和RRPP环网方案。前者的优点是基于最短路径转发，所以转发效率高;后者的优点则是环网天然的转发路径冗余设计，所以HA性能较高。

· Hub-Spoke组网方案

通过裸光纤或是DWDM将多个(例如4个)数据中心互联。为了方便扩展更多的数据中心节点，一个最常用的方案就是采用HUB-SPOKE组网模型，即通过一个核心节点与各数据中心的汇聚层互联。在逻辑结构上，多个中心与核心节点构成了一个Hub-Spoke的星形拓扑，其中核心节点为HUB，各中心汇聚层为Spoke(如图4所示)。

图4. 多中心HUB-SPOKE组网方案

在Hub-Spoke组网环境中，核心节点是最重要的，关系到全网是否能正常运转，是保证多数据中心HA的关键因素。如何提高核心节点的HA性能?一个最重要的设计理念就是在核心节点应用IRF技术，将两台设备通过IRF技术形成一台设备，将核心设备故障异常的收敛时间从几十秒降低到毫秒级，也就是说可以将系统的HA性能提高将近两个量级。这一点对于Hub-Spoke组网方案是非常重要的。

注意：建议将应用IRF技术的两台核心设备放在同一中心内，不建议部署在不同的中心(如图4所示)。具体原因如下：

图5. HUB-SPOKE方案的链路部署示意图

从图5(左)可以看到，两台核心设备分别部署在两个数据中心，通过DWDM连接，通过IRF将两台核心设备形成一个逻辑的核心节点。但是两个数据中心之间并不是只有一条链路相连。各数据中心的汇聚层节点需要通过聚合链路连接到核心节点上，以便提高链路HA性能。这样就要求聚合链路中的一条链路也需要跨越数据中心之间的距离连接到另一中心。需要注意的是，一个数据中心内会存在多个汇聚节点，如果部署了扁平化二层方案(核心/接入)，则需要大量的聚合链路连接到另一中心。这样，会要求在两数据中心之间建立多条链路，可以是多条裸光纤，也可以是DWDM上的多个波长λ。但无论采用哪种方式，都不可避免的导致数据中心互联成本成倍提高。

图5(右)是多中心链路的物理部署示意图。A设备部署在A中心，B设备部署在B中心。从A中心到核心节点有两条链路，其中一条链路是中心内的光纤，另一条链路承载于A、B中心间互联DWDM设备分配的波长λ上。B中心与核心节点连接方式与上述情况类似。需要注意的是，将IRF之间的控制信令链路大范围延长增加了系统分裂的风险，一旦信令链路异常导致IRF分裂，会导致DCI网络的业务大量丢包，严重影响服务的可靠性。因此，该方案风险极大。

综上所述，Hub-Spoke组网在应用IRF技术后的优点是非常明显的：

—逻辑节点少，结构简单;

—可用于大范围连接，便于扩展。

HUB-SPOKE组网比较明显的缺点在于各节点与核心单连接方式，一旦核心节点出现异常，会导致整网故障。

· RRPP环网方案

RRPP环网模型是一种更便捷的组网方式，即通过RRPP环网直接将各数据中心的汇聚层互联形成一个DCI核心网(如图6所示)。

应用RRPP环网的主要目的是为了避免单一核心节点的出现。这样就避免了核心节点异常导致全网崩溃的风险。在RRPP环网中，所有的节点(即各中心的汇聚节点)都是对等的，任意节点出现异常，都可以通过备份路径保持互联。而且所有备份节点、链路都是分布式部署。

图6. RRPP环网方案示意图

为了进一步提高RRPP环网方案的HA性能，建议在RRPP环网上部署IRF+LACP技术。即各中心的汇聚层都部署IRF技术，各汇聚节点之间通过LACP部署聚合链路互联。这样可以通过提高RRPP环网上各节点和环网上各链路的HA性能。

由此可见，RRPP环网、IRF和LACP技术将DCI的核心网的HA提高到毫秒级的水平。同时，通过聚和链路提高DCI核心网络的互联带宽，可以有效地提高DCI核心网的性能，改善用户业务的服务质量。

因此RRPP环网方案的优点是非常明显的：

— 结构更加健壮，风险因素分布合理;

— HA性能很高;

—布线简单、方便。

但RRPP环网方案在互联中心数量很多时，环网太大，导致环网转发路径过长，网络时延增加，降低服务质量。所以，RRPP环网方案适用于同城多个数据中心互联，规模不能太大。

· RRPP结合Hub-Spoke组网方案

RRPP和Hub-Spoke组网各有不足：RRPP范围小、规模小，但可靠性高;Hub-Spoke结构简单，范围大，扩展性强，但可靠性略低。因此，可以结合RRPP和Hub-Spoke形成组合组网方案。即在城域范围内部署RRPP环网连接多中心，在城际之间通过Hub-Spoke连接各RRPP环网(如图7所示)。

图7. RRPP结合Hub-Spoke组网方案

2. 基于MPLS网络的二层互联

VPLS是目前最常见的二层互联技术，由于标准化程度很高，在很多行业都已经广泛部署。目前，制约VPLS组网方案的主要因素是其技术比较复杂，部署及运维管理难度较大，只有大型运营商客户拥有运维能力。而在VPLS的部署方案中，最复杂的就是CE双归属的部署。为了简化部署和运维的难度，在基于MPLS网络的二层互联中推荐VPLS+Smartlink和VPLS+IRF+LACP组网方案。前者针对不具备以太接口的VPLS网络，性能相对较低;后者针对具备以太接口的VPLS网络，性能较高。

· VPLS+Smartlink的组网方案

图8. VPLS+Smartlink组网方案

如图8所示，在VPLS+Smartlink组网方案中，以现有的MPLS网络作为核心网络，每个数据中心配置两台路由器作为PE设备，每个数据中心的汇聚层设备作为CE设备(建议汇聚设备支持IRF)。在CE设备上应用Smartlink技术，保证CE上行至PE的两条链路能够实现故障毫秒级快速切换。

PE设备之间建立全网状连接。需要注意的是，VPLS网络的HA性能依赖于MPLS网络的HA设计。所以建议能够尽量简化MPLS网络的架构，便于流量路径的规划设计。

VPLS+Smartlink组网方案的优势在于：

— 标准化程度高，兼容性强，能够兼容大部分的MPLS网络;

— Smartlink切换速度快，能够提高系统的HA性能。

但如果PE设备不支持IRF，会导致PE数量多，广播报文数量较多;同时，Smartlink不能感知PE外侧的链路异常，会导致路由黑洞。

· VPLS+IRF+LACP的组网方案

图9. VPLS+IRF+LACP组网方案

如图9所示，在这种组网方案中，以现有的MPLS网络作为核心网络，每个数据中心配置两台交换机作为PE设备，每个数据中心的汇聚层设备作为CE设备。在CE和PE设备之间应用链路聚合技术，保证CE至PE之间任意节点、任意链路异常能够实现毫秒级快速切换。同时，在简化MPLS网络的架构方面，该方案与VPLS+Smartlink组网方案的要求是一致的。

VPLS+IRF+LACP组网方案的优势非常明显：

—全网IRF设计，结构最简单，便于管理维护;

—全网IRF设计，HA性能最高，保证任意节点、任意链路异常能够实现毫秒级收敛;

—PE实现IRF设计，有效减少MPLS网络节点数量，减少广播报文的数量;

—全网IRF设计，保证所有链路实现负载均衡，提高带宽利用率，提高整网性能。

但该类型的组网方案同时也对网络提出了一定的要求，相关的设备必须支持IRF特性。

3. 基于 IP网络的二层互联

当多个数据中心间只有IP互联网络时，可以借助VPLS Over GRE来实现二层互联方案。VPLS技术方案本身需要在PE与对端PE间建立一条可承载多个虚链路(Pseudowire)的隧道，可以是MPLS或GRE隧道。VPLS Over GRE(简称VPLSoGRE)方案在组网拓扑、二层环路避免等设计要素上，与基于MPLS隧道的VPLS的要求基本相同。

因此可以看到图10的组网方案与图8基于MPLS隧道的VPLS+Smartlink组网方案基本类似，方案的优势和局限也基本相同。在此不再重复详述。

· VPLSoGRE 组网方案

图10. VPLS over GRE组网方案

· VPLSoGRE安全加密方案—VPLSoGREoIPSec

由于数据中心之间的数据传输具有安全加密需求，而GRE是明文传输，在IP网络上无法保证报文的安全性，极可能被监听窃取。为了提高GRE隧道中数据安全级别，建议在GRE隧道上配置IPSec隧道，保证GRE隧道内传输的报文可以被IPSec加密保护。

—VPLSoGREoIPsec的组网方案与VPLSoGRE的组网方案基本相同，差别仅仅是在GRE隧道上再增加一个IPSeC隧道配置而已。因此，它在原有组网方案的基础上增加了安全优势。但是该方案也有其不足：IP网络的服务质量较差，需要配置全网端到端的QoS，难度很大;

—IPSec加解密会极大增加PE设备的负荷，进一步降低数据传输质量;

—PE设备如果不支持IRF，会导致PE数量多，PW配置复杂。

4. 基于Overlay网络的二层互联

上文所述的数据中心二层互联方案很大程度上会受限于用户现有的网络类型，这种情况限制了用户对二层互联方案的应用推广。所以需要一种新的组网方案，能够无视互联网络的类型差异而统一组网，这就是Overlay网络的概念。

基于Overlay网络，可以通过一种新的技术EVI(Ethernet Virtual Interconnection，以太网虚拟化互联)实现多个数据中心之间的异构网络二层互联。

EVI是一种先进的"MAC in IP"技术，用于实现基于IP核心网络的L2VPN。通过EVI技术在站点的边缘设备上维护路由和转发信息，而无需改变站点内部和核心网络。

图11. EVI组网方案

在EVI的组网方案中，不需要考虑数据中心之间的网络类型，只需要保证EVI边缘设备(Edge Device)之间IP可达就可以实现数据中心之间的二层互通。如图11所示，在EVI边缘设备之间建立EVI隧道，以太报文就可以通过该隧道到达另一个数据中心的二层域内，实现二层互联互通。

EVI技术可以结合IRF技术使用，从而保证边缘设备的HA性能和双归属设计。另外，如果数据中心汇聚交换机也支持IRF，就可以有效提高边缘设备与数据中心汇聚交换机之间的链路带宽利用率和HA性能。

EVI组网方案的优点非常明显：

—支持Overlay网络，可以跨裸光纤、MPLS或是IP网络实现二层互联;

—EVI配置简单，只需要6条命令即可以启动;

—EVI支持IRF，可以有效提高系统的HA性能。

EVI 技术由H3C提出，目前正处在申请标准化的过程中。Cisco类似的私有技术是OTV。

五、 结束语