核心路由器：群雄争锋集群技术

编者按：如今，代表下一代网络技术的重要标志就是核心路由技术，而下一代核心路由器的发展趋势将是什么呢？可以看到，Cisco、H3C、Juniper等路由厂商，将目光转向了路由集群技术……

中国从1994年进入互联网开始，至今已经在高低起伏和不断探索中走过了10余年。互联网应用也从最初的聊天，电子邮件，Web浏览，发展到今天的P2P下载，视频聊天、播客等，无论是从应用模式，还是网络流量，都发生了翻天覆地的变化。

如今，互联网应用已经深入人心，大大地改变了人们的生活模式。据统计，截至2007年6月，中国网民总人数达到1.62亿，平均每周上网18.6小时。相应地，互联宽带网络的设备能力也在不断地提升，尤其是骨干网的核心高端路由器。IP网络的电信化对高端核心路由器在容量、安全可靠性、多业务承载能力等方面提出了极高的要求，骨干网核心路由器必须具有良好的扩展性和升级能力，以适应互联网多变、飞速发展的趋势。

核心路由器的四大发展趋势

高性能核心路由器代表着互联网的发展方向，也最能体现出设备厂商的技术水平。回顾核心路由器的发展历程，分析目前主流路由产品的功能特征，可以看出目前核心路由器的技术发展趋势主要有以下几个方面：

（1）容量越来越高，端口类型增多：主要表现为槽位数的提高和线卡高密度化。首先端口能力从2.5G提升到10G，再从10G提升到40G。另外，接口类型也逐步增多，10GE、PRR和CWDM等端口都有相应的市场。

（2）安全可靠性大幅提高：在网络发展初期，由于流量较小，网络攻击也没有现在这么频繁，路由器设备的安全问题主要体现在其自身的安全可靠性上，包括重要部件的冗余、网络设备的电气特性等。随着网络的不断发展和多业务需求的增加，网络安全保障对路由器的安全可靠性提出了更高的要求，包括对网络攻击的防范和感知。

（3）系统架构逐步完善：从第一代单总线单CPU发展到第二代单总线主从CPU、之后经历了第三代单总线对称式多CPU和第四代多总线多CPU，到目前的第五代共享内存式和第六代交叉开关体系。而在交换结构方面，高端路由器主要采用共享内存结构，T比特大容量路由器多数采用多级交换结构，以实现未来扩展到大容量无阻塞交换。

（4）提升服务质量QoS：运营级的IP网络必须能够承载多种业务，同时保证端到端的QoS。对于无连接的IP网络来说，实现服务质量保障一直是个棘手的问题。近年来，IP网络的服务质量保障问题已经得到运营商的极大重视，设备厂商也为此提出了不同的解决方案。目前，保障服务质量的技术手段主要有如下几种：对流量进行整形、重排；解决头阻塞问题；实现交换结构的无阻塞交换等。

核心路由催生集群技术

路由器集群，又叫路由器矩阵或多机框互联（Multi-Chassis），简单来说，就是将多台路由器互联起来，形成一套逻辑上一体的路由器系统。集群技术的产生，主要有两个直接的原因：首先，单机容量逐步发展到极限；其次，超级节点的产生使得网络结构越趋复杂，运维管理难度加大。

3.1　单机容量到达极限

近年来，路由器技术发展很快，容量有了大幅度的提升，具体表现为槽位数量的增多、每槽交换能力的提升以及板卡端口密度的不断提高。设备厂商每年推出的新路由器，都是朝着这个方向发展。例如Cisco的GSR 12000系列，从最初的GSR 12404，到目前的GSR 12816，转发容量大幅度提高，端口能力也从2.5G提升到了10G。目前最高速率的端口40G（OC768）也已经面市。随着路由器在网络中地位的不断提高，路由器的发展也达到了前所未有的高峰。Cisco推出的CRS-1 16插槽路由器单机，以及Juniper的T640，容量都达到了640Gbps，是目前市面上比较高端的单机路由器。

对于核心层路由器来说，除了具备快速转发的能力、高安全稳定性之外，更重要的是，容量足够大、可扩展强。然而，互联网流量的发展都是远远超过设备容量更新的速度。如图1所示，互联网流量每12个月增长1倍，而路由器的容量每18个月才增长1倍。对于单台路由器来说，其扩展是有一定限制的，需考虑光器件的发展成熟度，以及电源、散热、机房承重等方面，而且也无法超越流量增长的摩尔定律。目前单台路由器的开发技术已经逐步发展到极限，路由器的发展需寻求一个新的出路。

图1　流量增长和设备更新速度的对比

3.2　网络结构越趋复杂

由于单台路由器的容量扩展性有限，因此，近年来不断提出了其他方案来缓解设备压力。主要有以下两种：

（1）网络层次分布式，即部署多个网络层次，通过逐层汇聚，减轻设备压力。

（2）节点内部署多台设备，即增加节点内设备数量，通过负载分担的方式减轻设备压力。

两者都是在单台路由器不能继续扩展的情况下，通过改变网络结构来适应流量的增长，主要差别在于网络分别在纵向和横向进行扩展。这两种方法都在一定程度上缓解了单台设备容量有限的局面，但随之而来的却是网络复杂度以及内部互联端口的增加。众所周知，内部端口是不产生实际经济效益的，相反还会增加不少投资。而网络结构的日趋复杂，也增加了运维部门的管理难度，同时也产生了多台路由器之间如何均衡流量的问题。超级节点就是这样诞生的，即一个城市同时存在多个网络层次，而每个网络层次都有多台设备（如图2所示），网络连接的复杂程度可想而知。因此，此方案只是目前路由器容量无法继续扩展的替代方案，是暂时性的，互联网网络流量的飞速增长，新兴应用的不断呈现，都在呼唤容量更高，更具扩展性路由器的出现。

图2　网络结构日趋复杂

3.3　集群技术的优势

集群技术通过集中化、一体化的控制管理，使集群系统各台路由器单机之间能够很好地协同工作，极大的扩展了路由器的容量，从而突破了单机在开发技术工艺上的限制。在成本方面，由于集群系统中各台路由器通过高速光背板互连，节省了额外的内部互联端口，大大减少了投资。更为重要的是，由于集群路由器对外仅体现为一台路由器，使得网络拓扑和路由策略变得简单和清晰，维护也更加方便快捷。

集群技术的组织形式

集群技术根据组织方式又分为背对背和n拖m两种。背对背即是将两台路由器单机直接互联，无需通过交换矩阵。这种方法扩展性较差，属于过渡期的暂代方案。n拖m是指将m台路由器单机通过1台或n台交换矩阵机箱互联。集群系统内各台设备之间采用专门的光纤束进行互连。这种方式扩展性较好，是目前路由器集群技术的主流方式，也是未来的发展方向（如图3、图4所示）。

图3　集群背对背模式

图4　集群n拖m模式

集群技术的交换结构

交换结构是路由器的核心技术，直接决定了整个系统的主要性能。在引入交换方式之前，路由器大多采用共享总线的分布式处理技术。共享总线的实现比较简单，但由于不能避免产生内部冲突，使得高速率总线的设计受到限制，难度也越来越大。交换技术借鉴了ATM交换机的各种优势，很好地解决了共享总线的不足。一直以来，设备厂商和运用商都在研究和寻求更有效率的交换方案，以解决交换过程中的阻塞问题。

交换结构又分为单级交换和多级交换两种。

5.1　单级交换

目前使用较多的单级交换结构有共享内存和Crossbar两种。

共享内存结构通过共享输入和输出端口存储器件，减少了对总体存储空间的需求。分组交换通过指针调度实现，提高了交换容量。共享内存结构相对简单，交换效率可根据需求不断优化。共享内存交换结构的交换性能取决于共享内存的存取速率，可扩展性较差，尤其当板卡端口数量较多时，交换效率有所下降。另外，并且共享内存的稳定一般，也直接影响了整个交换体系。

Crossbar是一种严格的非阻塞交换结构，输入输出之间可建立多条通路。Crossbar交换结构又分为集中式（输入＞输出）、扩展式（输入＜输出）和连接式（输入=输出）3种。典型的Crossbar采用连接式，即N×N的交叉矩阵。Crossbar使用调度器，根据各输入点相关的信息，运算调度算法得到输入和输出之间的一个匹配，并配置相应交叉点。调度器的效率非常关键，决定了Crossbar的交换速率，因此调度算法必须高度完善。

但Crossbar同样存在扩展性的问题，即交换矩阵的交叉点会随着输入输出数量的增多呈指数增长。为维持无阻塞交换，需不断完善和改进调度算法，代价是开发的技术成本越来越高。另外，Crossbar也同样不能避免排队仲裁，传输效率受到一定影响和限制。但相比共享内存结构，Crossbar效率和扩展性都比较好，目前大部分高端路由器都使用Crossbar交换结构。

共享内存和Crossbar都属于单级交换结构的范畴。单级交换结构由于受到技术上的各种限制，可扩展性毕竟不够完善，而且由于无法避免仲裁机制，容易形成瓶颈。因此，单级交换结构不是未来大容量路由器的发展方向，需逐步扩展至多级交换结构。

5.2　多级交换

多级交换通过多个独立的交换矩阵，组成一个多级多平面交换矩阵。每个平面配置独立的仲裁器，避免了仲裁器瓶颈问题。多级交换大大增强了系统扩展能力，目前路由器集群都是采用多级交换结构。

多级交换结构的基本组成单位叫交换单元，每个交换单元具有输入和输出功能。各个交换单元通过一定的逻辑顺序相互连接，形成一个巨大的、可扩展的交换网络。多级交换结构的形式有很多种，包括Clos、Banyan、Butterfly和Benes等，各种交换结构的不同主要在于交换单元的互联方式。多级交换结构又可分为有阻塞和无阻塞两种，其中无阻塞交换又分为严格无阻塞、可重排无阻塞和广义无阻塞3种。严格无阻塞交换是指只要这个连接的起点和终点是空闲的，任何时刻都可以在交换网络中建立一个连接；可重排无阻塞网络是指只要某个连接的起点、终点是空闲的，任何时刻都可以在交换网络中直接或间接对已有的连接重新选路来建立一个连接；广义无阻塞网络是指在顺序建立连接时按照一定的规则选路，那么也可以在任何时刻建立连接。

Benes是Banyan的一种变申，属于可重排无阻塞网络。Benes使用方形交换单元（输入输出端口数相同）。一个典型的3级Benes N*N交换结构可以在每个输入端和每个输出端之间形成n个可能的通路（如图5所示）。Benes输出可以扩展至任意奇数级。Benes的主要优点是实现简单，缺点是建立连接时需要重新选路，会增加数据传输时延。目前Cisco的CRS集群路由器系统采用此方案。

图5　Benes 3级交换结构

Clos属于严格无阻塞方式，是Benes的延伸，由非方形交换单元组成。Clos交换结构在任一输入与输出之间存在多条可达路径。要保证严格的无阻塞，Clos必须满足以下条件，即m＞=2n-1，其中m是第二级的交换单元数，n是第一级单元的入线数和第三级单元的出线数。典型的Clos结构有3级（如图6所示）。

图6　Clos 3级交换结构

Clos的优点在于网络结构清晰，传输时延较低。但是，为了增加容量和降低阻塞，需大量上调m和n的数量，将导致技术成本和实现复杂度的增加。Clos适合于在大型网络设计中使用，通过使用较小的交换结构简化网络层次，另外可大大减少构建无阻塞交换结构所需要的交叉点，降低构建大型交换网络的成本。目前Juniper的TX Marix平台采用此方案。

集群系统的控制方式

由于路由器集群系统涉及到的设备个体较多，因此如何协调交换矩阵和用户之间的分工，也成为了路由集群技术的另一个争论焦点。目前来说，主要有两种主流的系统控制方式：集中式和分布式，代表产品分别是。Juniper的Tx平台和Cisco的CRS集群系统。

Juniper的Tx Matrix系统，控制平面是集中分布式的，即所有的路由协议、软件进程、控制转发等工作通通由交换矩阵完成，用户机框主要管理本机架工作状态。转发路由通过交换矩阵集中处理，再分布式分发到用户机框，然后再到PFE，硬件状态从PFE传到LCC再到TX，是单机JUNOS的完全平滑升级。

CRS-1采用分布式的控制引擎设计，Rack0上的RP为系统DSC，其他Rack上的为DRP。CRS-1支持进程的分布模式，对于同一个进程可能有多个实例运行在不同的RP/DRP（分布式RP）上。以BGP的功能为例，对应每个AFI/SAFI都有一个BGP RIB进程，对应于一定数量（可配置）的BGP PEER都有一个BGP Speaker进程。如果在CRS-1上同时启用IPv4/IPv6/VPNv4，那么会有4个bRIB进程，这些进程可以被分配到任意RP/DRP上。

主流产品及商用情况

目前，支持路由器集群的主流厂家有Cisco和Juniper。

Cisco是通过CRS-1单机互联实现，目前可以支持CRS集群（4+2），即4个交换矩阵加2个用户机框，理论上可以扩展到CRS集群（8+72），容量高达92Tbps。CRS集群采用Benes交换结构。

Juniper的TXMatrix平台是通过T640单机互联实现，目前可以支持Tx（1+4），即1个交换矩阵加4个用户机框，采用Clos交换结构。Juniper的Tx路由器集群系统已经在全球多个运营商网络中使用，包括德国电信、英国BT等。

结束语

路由器集群技术是目前解决路由器容量瓶颈的最有效方式，是路由器发展史上一个极大的飞跃和改变，它打破了传统的路由器扩展模式，同时保留了网络结构的清晰度，便于运营管理。虽然目前路由器集群技术还没有大规模商用，各方面的稳定可靠性也有待经历市场严峻的考验，但它必将会是核心路由器未来的发展方向。