互联网第二平面(CN2)中的MPLS的应用

　MPLS技术已经被广泛应用，在许多骨干网、城域网中已经大量实施，下面简单介绍一些CN2中应用MPLS的情况：

　一、业务的定位

　互联网第二平面（CN2）应能够支持话音、视频、数据等多种业务，在业务的提供和保证上要分优先顺序，第一要保证商业客户，第二是NGN（软交换）中继，第三是3G的分组域，第四是Vnet.在CN2上首先要开通商业客户的三层MPLS VPN，并逐步开放二层VPN业务。

　总体而言，CN2定位于承载有QoS保证的SLA业务和中国电信自身关键赢利业务，主要以创建中国电信的品牌形象，形成可赢利的运营模式，提升中国电信的企业竞争力和赢利能力为目的。业务承载方面要保证CN2的可控和可管理、充分考虑目前已经出现的业务、并适当考虑未来的应用，主要包括：1、专线类业务，包括为商业客户提供的VPN类专网业务，以及为商业客户提供的专线接入业务；2、中国电信自己提供的有质量保证要求的重点品牌类新业务，包括NGN（软交换）中继，3G核心网的承载网；3、中国电信提供的视讯会议、可视电话等视频类业务，如新视通等，同时考虑宽带VIP用户间的点到点通信需求，如可视电话、VOIP、数据传送等；4、Vnet互连网增值业务，包括指由中国电信自己提供、接入Vnet的ICP或接入中国电信IDC的高质量ICP提供的各类互联网增值业务。

　二、中国电信3G、NGN业务的承载网

　中国电信建设3G网络，逐步引入软交换技术提供NGN业务已经势在必行。3G的R4版本标准2000年已经制订完成，相关系统和设备已经开发完成，正在进行商用试验。因此这里对于3G业务的分析基于R4及以上版本进行。

　中国电信开展3G和NGN业务后，CN2将作为3G核心网、NGN中继的承载网，为3G和NGN业务提供统一的IP承载平台。3G核心网的GGSN、SGSN、媒体网关、信令服务器等设备将通过CN2连接，传送话音、数据及信令。同样，在NGN网络中，软交换、中继GW、服务器设备直接连接到CN2上，通过IP网直接承载NGN中继间的信令、话音和数据流量。

　三、CN2的路由设计

　3.1.概述采用集成ISIS（Integraed ISIS）作为IGP. CN2骨干路由器（C3及以上）的管理地址和互联地址的路由由IGP承载；其它他它路由（包括CN1、城域网、IDC、专线用户、3G设备地址和地址池、NGN设备地址等）由BGP承载。

　CN2采用独立、合法AS号（可沿用169的或另行申请）。在AS边界通过EBGP或静态路由（尽可能用EBGP）控制路由的发送、接收、汇总和属性修改。

　3.2. IGP 3.2.1.Area和Level域内采用平面路由，所有CN2骨干路由器（C3及以上；不包括独立设置的MPLS VPN PEs）置于Level 2层中；但仍划分为多个Area（原则上，1 Area/节点），以备将来扩展。采用Wide Metric，以支持大Metric值和流量工程等特性。

　3.2.2.快速收敛CN2采用快速路由收敛参数。网络第一次故障的收敛时间在1秒钟左右，第二次及以后的收敛时间在1.5秒钟左右。

　◎IS-IS hello 间隔时间，3秒。

　◎IS-IS hold-time时间，9秒。

　◎IS-IS LSP初始产生时间，10毫秒。

　◎IS-IS LSP产生的后续递增间隔，5秒。

　◎IS-IS LSP最大产生间隔时间，10秒。

　◎IS-IS SPF初始时间，1s.◎IS-IS SPF后续递增间隔，10毫秒。

　◎IS-IS SPF最大间隔时间，10秒。

　3.3.BGP采用RR（Route Reflector，路由反射器）方式实现IBGP连接。经过比较，采用一级RR结构。采用专用RR设备，不由骨干路由器兼任。MPLS VPN的RR另行设置。

　4.MPLS VPN

　MPLS VPN是利用MPLS标记交换实现的VPN，包括第二层、三层VPN技术。其中，基于BGP三层MPLS VPN具备良好的扩展性、标准化程度好、支持QoS功能，适用于对服务质量有较高要求的商业用户。第二层MPLS VPN技术也发展较快，可以在试验的基础上逐步开展业务。

　4.1 MPLS VPN业务现状1.概述目前，中国电信MPLS VPN业务以原169作为承载网，传送层面以ATM网承载为主，核心节点间的中继电路逐步以SDH来承载。国际MPLS VPN业务通过独立的国际出口和其它国际运营商互联。

　目前VPN用户总数73个，用户节点总数约120个，用户总带宽约为108Mb/s.VPN用户均是大客户。合作运营商主要包括中华电信、日本电讯、台湾固网、香港新世界和PCCW等，总带宽超过155Mb/s，其它运营商正在商谈之中。

　4.2. CN2 MPLS VPN承载方案

　4.2.1.MPLS VPN建设相关技术问题

　跨AS域MPLS VPN

　跨AS域MPLS VPN业务需要设置PE-ASBR，在PE-ASBR之间采用MP-eBGP互连、为VPN-IPv4路由分发标签。采用这种方案时，PE-ASBR不需要维护繁多的VRF表，扩展性和可维护性都大大提高。

　这种组网方式适合与国外运营商合作共同开展MPLS VPN业务。此外，如果城域网已经部署MPLS VPN，也采用跨AS域方式开展MPLS VPN业务。

　基于Martini的二层MPLS VPN

　中国电信正在建设CNGI中七个核心节点，考虑到CNGI初期网络规模及流量不是很大，建议这七个核心节点可通过CN2采用基于Martini的二层MPLS VPN方式互连，也可为今后部署二层MPLS VPN积累经验。

　MPLS VPN方案设计

　CN2骨干网边缘节点覆盖到绝大多数城域网，并在全网范围开启MPLS功能。因此使用CN2作为MPLS VPN承载网，可以开展省内（城域网之间）、省间（全国范围）及国际（与国际运营商合作）MPLS VPN业务。

　PE节点的设置

　在CN2边缘节点以部署专用的VPN PE路由器为主，在业务量小的地区CN2边缘路由器兼作VPN PE路由器，尽量减少VPN路由和网络路由之间产生相互影响，增强业务开展的扩展性。

　采用专用的PE路由增加了CN2路由器的数目，并考虑到今后可能新增其它业务路由器，因此在路由设计时考虑对IS-IS进行多区域划分，PE路由器划分到L1区域。

　建议新增PE路由器选型配置上选用高性能CPU的路由引擎卡，内存配置至少为512M，优先考虑配置为1G.

　PE-ASBR节点设置

　与已经开展MPLS VPN的城域网互连、与国际合作运营商互连需要设置PE，这时PE充当PE-ASBR功能，建议单独设置PE-ASBR.建议PE-ASBR路由器选型配置上选用高性能CPU的路由引擎卡，内存配置为1G.

　VPN RR设置

　随着CN2 MPLS VPN业务大规模发展，PE路由器必定会越来越多，为了解决CN2中MP-IBGP的扩展性，需要独立设置VPN路由反射器（VPN RR）。这些VPN RR分别部署在在七大核心节点，分别部署一定数量路由器，这些VPN RR对一定范围PE提供服务。

　4.2.3.MP-BGP的实现

　VRF设计

　PE为每个VPN设定一个虚路由转发表VRF，用来保存VPN用户的路由表，使VPN之间被隔离。建议为VRF使用标准传统命名方式如用户ID和接口名称，一般要求能够反映服务通过者、业务性质、VPN用户的信息。

　PE中VRF数量配置需要综合考虑路由器的能力、用户路由数量以及PE-CE连接所使用的路由协议。以中端路由器为例，VRF控制在200个以内。

　路由区分RD设定

　通过使用全局唯一的RD值来标识VPN，即使不同VPN用户的IPv4地址相同，可使每个MP-BGP上承载的路由都是唯一的。MPLS VPN RD采用的格式为：ASN：<32比特数字>.其中ASN必须为合法AS号码，为保证国际业务开展的延续性，建议CN2采用目前169网的AS号。此外，对于网状（Full Mesh）拓扑结构，对每个VPN分配相同RD值；对于星形（Spoke and Hub）拓扑结构，建议为每个VPN中每个Sopke站点（Site）分配一个RD值。

　路由目标RT设定

　使用目标路由RT，可用来控制VRF中路由信息的进出，从而达到控制VPN站点（site）间逻辑拓扑的目的。RT格式与RD相同，建议对于网状VPN，VPN的所有站点（site）使用相同的RT，对于星形（hub-and-spoke）VPN，VPN的每个站点使用不同的RT.

　其它考虑

　为尽量提高MPLS VPN中MP-BGP的处理速度，提高可扩展性，建议开展MPLS VPN业务时使用MP-BGP路由刷新（Route Refresh）机制和输出路由过滤（ORF）机制。

　4.2.4.PE与CE间路由实现

　PE与用户路由器CE之间可运行EBGP、RIPv2、OSPF以及静态路由多种路由协议，CE不需要支持MPLS.建议在PE-CE之间优先使用静态路由，根据用户需求也可使用RIPv2、OSPF、EBGP等动态路由。 MPLS VPN业务接入方案针对不同城域网MPLS VPN部署情况，可以采用不同的业务接入建设方案。

　目前，部分对MPLS VPN业务需求较大的城域网，已经开始建设MPLS VPN城域网，这些城域网已经实施了多种方式接入业务。针对这些城域网，采用跨AS域的MPLS VPN网络互联，即在CN2和城域网边缘设置PE-ASBR路由器，由PE-ASBR路由器进行VPN的路由信息交换，分段实现VPN子网间的的连接。

　对于没有建设城域MPLS VPN网络，位于各城域内的客户VPN子网的CE路由器与CN2骨干网中PE路由器间可通过同城VLAN专线、本地ATM/FR/DDN专线连接，也可采用传输（SDH或MSTP）电路连接，或者通过IP GRE或IPSec隧道连接。

　4.4. MPLS VPN服务质量QoS

　MPLS能够提供不同等级（CoS）的QoS特性，可适应不同类型的大客户要求。对不同的大客户，按照其服务级别要求划分为金、银、铜三级。

　在CN2 PE对IP业务流进行流量分类与控制、设置QoS标记，并映射到MPLS标签的EXP域中，在P路由器中根据EXP域的优先级进行队列调度。

　4.5. MPLS VPN的网管

　为了及时向商业用户提供MPLS VPN服务，需要加强MPLS VPN网管。

　建议在北京设立集中式VPN网络管理中心，集团公司具有管理所有PE的权限，各省具有管理本省域内的PE的监视权限。跨省和国际MPLS VPN业务由集团公司统一受理、统一开通。省内MPLS VPN业务由各省受理。

　为了管理不同厂家的PE设备，建议采用第三方MPLS VPN管理软件。

　MPLS VPN业务网管功能要求方面见网络管理系统部分。

　5.MPLS FRR部署策略和设计5.1.概述采用MPLS标记交换技术除了提供基于RFC 2547bis L3 VPN外，目前还有许多新的进展，如基于Martinni或Kompella草案的L2 VPN、MPLS QoS以及流量工程。流量工程基于RFC 2702，作为MPLS技术的一个应用分支，可以通过多种方式来实现，分别适应不同的网络现状和用户需求。TE的总体功能包括：

　1）提高、优化带宽利用率，延缓对带宽的扩容。

　2）可实现不同于传统IGP Metric方式对带宽、流量、流向、负载分担实现控制，避免基于IGP Metric的针孔效应。

　3）可应对突发事件、网络链路/节点故障导致拓扑变化造成的流量新格局。

　4）对网络流量矩阵进行详细测量，及时了解带宽需求和网络资源状况，指导网络规划和链路升级。

　5）基于TE的FRR可提供<50ms的链路、节点保护。

　但是在具体实施和部署TE时，由于不同的TE功能实现机制上存在差异和矛盾，因此很难在一个网络中同时提供全部功能。

　5.2.TE分类5.2.1.技术分类总体而言，流量工程分为战术式和战略式两大类。

　战术式主要目的是缓解网络拥塞，在网络发生拥塞时临时配置，事后拆除，不要求全网采用Full mesh隧道结构，而是在发生网络拥塞的局部实施。由于战术式TE是临时性的，因此不适合在TE基础上实现FRR提供链路或节点保护（FRR是TE技术中最具吸引力的特性之一）。如果运营商在IP基础网络中为了提供L3 MPLS VPN业务，很可能已经在全网启用了LDP信令协议，此时如果临时建立基于RSVP信令的外层TE隧道，原本位于外层的LDP会中断，从而影响VPN业务。由于CN2最主要的MPLS应用就是提供L3 MPLS VPN业务，因此战术式TE不适合应用在CN2上。

　战略式TE就是在网络中预先配置好了TE Tunnel，通过对TE Tunnel的参数调整来优化对网络流量矩阵的控制。战略式TE又可细分为在线战略式和离线战略式两种。在线方式就是通过路由器采用CSPF算法来计算TE路径。离线式则是将这些工作交由网络之外的策略服务器来实现，将计算结果下发到所有网络节点。离线式适合于全网建立了Full mesh TE LSP的情况，此时网络状态复杂，各种因素都需要综合考虑，离线式可以降低路由器的负担。

　战略式TE适合网络中有多种MPLS技术同时应用的情况，我们可以在全网LDP Domain的环境下在网络核心创建TE Domain，网络端到端的LDP互通将采用LDP Over RSVP技术。

　5.2.2.实施分类

　TE的具体部署可以根据运营商的网络业务、需求和结构采用多种方式实现。

　最理想的方式是全网所有路由器之间配置Full mesh TE LSP，此方式对流量流向的控制和统计最完善，几乎可以提供TE所具备的一切功能。但是这种方式需要建立端到端的TE LSP、消耗设备资源，存在可扩展性问题。

　一种TE应用的变通方式是在网络的某个局部实施TE.由于网络核心是全网流量的交汇中心，最容易对流量进行控制和疏导，因此在网络核心区域实施TE就成了很自然的选择。这时既降低网络维护管理复杂性、回避Full mesh TE局限性，同时又可最大限度利用TE优势的一种部署策略。结合CN2技术方案的具体情况，需要考虑在全网外围LDP的基础上，在核心区域实现RSVP信令。端到端的LDP需要采用LDP Over RSVP技术。

　最后一种TE应用就是通过TE的FRR功能实现网络故障保护。TE的多种功能中，可以只实现其中的一种，基于TE的局部保护是应用最广的方式之一。CN2网络带宽相对充足，TE对提高带宽利用率、缓解网络拥塞的作用并不明显也不迫切，此时TE FRR功能就显得日益重要了，尤其是采用IP Over DWDM方式构建IP网络情况下，物理层DWDM并没有很完善的保护机制。

　5.2.3.基于MPLS TE的FRR机制

　基于TE的网络保护有多种形式，总体分为全局保护和局部保护两大类。

　全局保护是针对端到端TE Tunnel的保护，又可细分为首端重路由和备份路径两种。全局保护具有一些缺陷，如收敛时间长或耗费更多带宽，而且与IGP收敛的交互中可能对性能有进一步影响，因此目前不推荐采用。

　局部保护就是通常所说的快速重路由FRR保护。FRR实现机理主要是通过对逻辑隧道的保护等效于对物理链路或节点的保护。它的具体实现根据不同厂家、不同技术可分为堆栈方式或拼接方式，保护效果也可分为1：1或1：N.

　5.3.CN2的MPLS TE/FRR实施方案

　l、CN2的具体情况分析

　1）CN2主要的MPLS应用之一是提供L3 MPLS VPN.全网所有P、PE路由器之间启用LDP，这直接决定了在CN2上不适合采用临时性的战术式TE.

　2）CN2是国内首次大规模采用TE技术的网络，新技术的引入应有个渐进过程，积累了经验后可逐步深入。因此目前不适合采用全网所有节点之间Full mesh TE Tunnel方式。

　3）在网络，如7个核心节点之间实现战略式TE是个较好的选择。既避免了全网Full mesh导致扩展性问题，又可最大限度利用TE优势。但是目前CN2的网络容量设计充足，TE提供的传统优势不明显。

　4）CN2所有POP节点之间的广域互联采用IP Over DWDM方式，从传输部门得到的反馈看，目前DWDM提供的10G和2.5G波分链路没有保护机制。因此利用TE的FRR成为目前最紧迫和最理想的TE应用方式

　2、实施建议1）七个核心节点的28个路由器之间的互联接口启用RSVP-TE，在一个物理的Routing domain中构成一个逻辑的TE domain.

　2）建立在线战略TE： 32个路由器之间根据实际的物理链路配置两两节点之间的TE隧道（LSP），只利用TE Tunnel提供POP节点间广域物理链路保护。

　3）每个隧道需要运行forwarding-adjacency用于将TE隧道通告到IGP，并根据实际情况配置Hold down时间。

　4）外围区域的P、PE路由器采用IETF标准LDP协议实现标签分发，外围LDP 互通经由TE Domain，即实现LDP Over RSVP.

　5）采用FRR对7个核心POP节点之间的物理连接进行链路保护。

　通过对LSP实施保护等效为对物理链路提供保护具体实现方式可以是1：1或1：N，堆栈或拼接手工静态配置显式备份外层LSP每个路由器既是PLR也是MP

　5.4.MPLS TE的其他它特性和约束

　在TE应用的初期，TE隧道的建立主要基于带宽使用情况，不根据链路属性和Affinity参数建立TE Tunnel，这些参数是TE应用的优化和深化，暂时不采用这些特性。

　TE的带宽保留机制通过RSVP信令在控制平面实施，没有转发平面的强制执行措施，需要在边界路由器对流量进行限制。

　TE的实现机制是基于网络设备对全网资源使用情况的了解，在路由器中建立状态数据库，从而在TE LSP的路径计算中进行最优化选择，这也是为什么在一个TE Domain中要求内部所有节点之间实现Full mesh TE LSP的根本原因。这样可以尽可能避免在一个链路上既有Native IP流量又有TE Tunnel流量的情况，因为在这种情况下，TE及RSVP对网络资源使用状况的了解是不精确的。但是由于目前在构成TE Tunnel的外层标记上没有对EXP置位，因此P路由器很难做到对TE Tunnel的队列控制，所以没有在P路由器的转发平面实行强制带宽预留。目前的TE以汇聚后的流量进行疏导为主，对TE隧道内的流量通常不再进一步细分具体业务流量。

　FRR是临时措施，仍然需要过带宽（Over Provisioning）来保障。FRR的保护机制决定了它的临时性，保护链路在起到流量迂回作用时，与其他它正常链路共争带宽，为了避免此时的网络拥塞导致性能下降，正常链路的带宽利用率不能过高，低于50%为宜。

　FRR保护链路只在很短的时间内有效，之后系统会分别进行IGP收敛和首端LSP重优化，采用make before break机制，并采用显式共享来进一步降低对带宽的占用，预留带宽不仅浪费网络资源，还会影像其他它正常TE LSP的最优路径计算。目前不建议为FRR的保护链路提供预留带宽。

　根据理论依据和配置试验，FRR的节点保护可扩展性低，而且目前节点设备的可靠性远远高于链路，因此CN2初期阶段不建议提供节点保护。

　部署TE需考虑设备兼容性，建议在TE Domain内采用一家设备。虽然各个厂家都声称TE及FRR兼容性很好，但根据测试结果和以往经验，在某些特性上的具体实现上仍有细微差别，导致不同厂家设备的保护恢复时间会延长，而且不同厂家设备位于网络中不同位置也会对FRR性能带来影响。