核心路由器集群技术探讨

4、集群技术的组织形式

集群技术根据组织方式又分为背对背和n拖m两种。背对背即是将两台路由器单机直接互联，无需通过交换矩阵。这种方法扩展性较差，属于过渡期的暂代方案。n拖m是指将m台路由器单机通过1台或n台交换矩阵机箱互联。集群系统内各台设备之间采用专门的光纤束进行互连。这种方式扩展性较好，是目前路由器集群技术的主流方式，也是未来的发展方向(如图3、图4所示)。

5、集群技术的交换结构

交换结构是路由器的核心技术，直接决定了整个系统的主要性能。在引入交换方式之前，路由器大多采用共享总线的分布式处理技术。共享总线的实现比较简单，但由于不能避免产生内部冲突，使得高速率总线的设计受到限制，难度也越来越大。交换技术借鉴了ATM交换机的各种优势，很好地解决了共享总线的不足。一直以来，设备厂商和运用商都在研究和寻求更有效率的交换方案，以解决交换过程中的阻塞问题。

交换结构又分为单级交换和多级交换两种。

5.1　单级交换

目前使用较多的单级交换结构有共享内存和Crossbar两种。

共享内存结构通过共享输入和输出端口存储器件，减少了对总体存储空间的需求。分组交换通过指针调度实现，提高了交换容量。共享内存结构相对简单，交换效率可根据需求不断优化。共享内存交换结构的交换性能取决于共享内存的存取速率，可扩展性较差，尤其当板卡端口数量较多时，交换效率有所下降。另外，并且共享内存的稳定一般，也直接影响了整个交换体系。

Crossbar是一种严格的非阻塞交换结构，输入输出之间可建立多条通路。Crossbar交换结构又分为集中式(输入>输出)、扩展式(输入<输出)和连接式(输入=输出)3种。典型的Crossbar采用连接式，即N×N的交叉矩阵。Crossbar使用调度器，根据各输入点相关的信息，运算调度算法得到输入和输出之间的一个匹配，并配置相应交叉点。调度器的效率非常关键，决定了Crossbar的交换速率，因此调度算法必须高度完善。

但Crossbar同样存在扩展性的问题，即交换矩阵的交叉点会随着输入输出数量的增多呈指数增长。为维持无阻塞交换，需不断完善和改进调度算法，代价是开发的技术成本越来越高。另外，Crossbar也同样不能避免排队仲裁，传输效率受到一定影响和限制。但相比共享内存结构，Crossbar效率和扩展性都比较好，目前大部分高端路由器都使用Crossbar交换结构。

共享内存和Crossbar都属于单级交换结构的范畴。单级交换结构由于受到技术上的各种限制，可扩展性毕竟不够完善，而且由于无法避免仲裁机制，容易形成瓶颈。因此，单级交换结构不是未来大容量路由器的发展方向，需逐步扩展至多级交换结构。

5.2　多级交换

多级交换通过多个独立的交换矩阵，组成一个多级多平面交换矩阵。每个平面配置独立的仲裁器，避免了仲裁器瓶颈问题。多级交换大大增强了系统扩展能力，目前路由器集群都是采用多级交换结构。

多级交换结构的基本组成单位叫交换单元，每个交换单元具有输入和输出功能。各个交换单元通过一定的逻辑顺序相互连接，形成一个巨大的、可扩展的交换网络。多级交换结构的形式有很多种，包括Clos、Banyan、Butterfly和Benes等，各种交换结构的不同主要在于交换单元的互联方式。多级交换结构又可分为有阻塞和无阻塞两种，其中无阻塞交换又分为严格无阻塞、可重排无阻塞和广义无阻塞3种。严格无阻塞交换是指只要这个连接的起点和终点是空闲的，任何时刻都可以在交换网络中建立一个连接;可重排无阻塞网络是指只要某个连接的起点、终点是空闲的，任何时刻都可以在交换网络中直接或间接对已有的连接重新选路来建立一个连接;广义无阻塞网络是指在顺序建立连接时按照一定的规则选路，那么也可以在任何时刻建立连接。

Benes是Banyan的一种变申，属于可重排无阻塞网络。Benes使用方形交换单元(输入输出端口数相同)。一个典型的3级Benes N*N交换结构可以在每个输入端和每个输出端之间形成n个可能的通路(如图5所示)。Benes输出可以扩展至任意奇数级。Benes的主要优点是实现简单，缺点是建立连接时需要重新选路，会增加数据传输时延。目前Cisco的CRS集群路由器系统采用此方案。

图5　Benes 3级交换结构

Clos属于严格无阻塞方式，是Benes的延伸，由非方形交换单元组成。Clos交换结构在任一输入与输出之间存在多条可达路径。要保证严格的无阻塞，Clos必须满足以下条件，即m>=2n-1，其中m是第二级的交换单元数，n是第一级单元的入线数和第三级单元的出线数。典型的Clos结构有3级(如图6所示)。

图6　Clos 3级交换结构

Clos的优点在于网络结构清晰，传输时延较低。但是，为了增加容量和降低阻塞，需大量上调m和n的数量，将导致技术成本和实现复杂度的增加。Clos适合于在大型网络设计中使用，通过使用较小的交换结构简化网络层次，另外可大大减少构建无阻塞交换结构所需要的交叉点，降低构建大型交换网络的成本。目前Juniper的TX Marix平台采用此方案。

6、集群系统的控制方式

由于路由器集群系统涉及到的设备个体较多，因此如何协调交换矩阵和用户之间的分工，也成为了路由集群技术的另一个争论焦点。目前来说，主要有两种主流的系统控制方式：集中式和分布式，代表产品分别是。Juniper的Tx平台和Cisco的CRS集群系统。

Juniper的Tx Matrix系统，控制平面是集中分布式的，即所有的路由协议、软件进程、控制转发等工作通通由交换矩阵完成，用户机框主要管理本机架工作状态。转发路由通过交换矩阵集中处理，再分布式分发到用户机框，然后再到PFE，硬件状态从PFE传到LCC再到TX，是单机JUNOS的完全平滑升级。

CRS-1采用分布式的控制引擎设计，Rack0上的RP为系统DSC，其他Rack上的为DRP。CRS-1支持进程的分布模式，对于同一个进程可能有多个实例运行在不同的RP/DRP(分布式RP)上。以BGP的功能为例，对应每个AFI/SAFI都有一个BGP RIB进程，对应于一定数量(可配置)的BGP PEER都有一个BGP Speaker进程。如果在CRS-1上同时启用IPv4/IPv6/VPNv4，那么会有4个bRIB进程，这些进程可以被分配到任意RP/DRP上。

7、主流产品及商用情况

目前，支持路由器集群的主流厂家有Cisco和Juniper。

Cisco是通过CRS-1单机互联实现，目前可以支持CRS集群(4+2)，即4个交换矩阵加2个用户机框，理论上可以扩展到CRS集群(8+72)，容量高达92Tbps。CRS集群采用Benes交换结构。

Juniper的TXMatrix平台是通过T640单机互联实现，目前可以支持Tx(1+4)，即1个交换矩阵加4个用户机框，采用Clos交换结构。Juniper的Tx路由器集群系统已经在全球多个运营商网络中使用，包括德国电信、英国BT等。

8、结束语

路由器集群技术是目前解决路由器容量瓶颈的最有效方式，是路由器发展史上一个极大的飞跃和改变，它打破了传统的路由器扩展模式，同时保留了网络结构的清晰度，便于运营管理。虽然目前路由器集群技术还没有大规模商用，各方面的稳定可靠性也有待经历市场严峻的考验，但它必将会是核心路由器未来的发展方向。