集群交换性能：瞻博网络EX系列以太网交换机

瞻博网络委托Network Test公司评估集群交换技术在EX系列以太网交换机上的性能，特别是在延迟和高可用性方面的性能。本项目的主要目的是：确定集群交换配置能否缩短延迟和实现快速的网络故障恢复。

本项目的主要研究结果有：

· 当瞻博网络EX4200系列交换机采用集群交换配置而不是单机配置时，延迟总是较短。测试结果清楚地表明，当采用集群交换配置时，延迟会减少，有时减少一半以上。在以太网交换和OSPF路由配置中，集群交换的延迟都较短。

· 采用集群交换配置时，从硬件和软件故障恢复的时间远远小于1秒。测试涉及冗余协议（如快速生成树、瞻博冗余中继组(RTG)）和各种硬件故障。采用集群交换配置时，主交换机仅需6微秒就能实现断电故障恢复。

· 对于各种帧尺寸，在交换机之间的每个方向，集群交换互连以30Gbit/s的速率工作。集群交换成员交换机之间的通道容量不再是本项目的瓶颈。

集群交换技术介绍

最多可将10台瞻博网络EX4200交换机互连起来，构成一个交换集群，并作为一个逻辑实体运行。

集群交换技术具有多种优势：集群交换配置中的所有交换机采用单一IP地址、单一Junos软件映像和统一的交换机配置，这样就简化了网络管理。它允许根据需要添加更多的交换机，从而提供一种扩展途径。与交换机单机配置相比，当流量在交换机之间流动时，由于不存在到网络的核心层或汇聚层的往返行程，因此可缩短延迟。也许最重要的是，集群交换技术有助于增加高可用性。即使集群交换配置内的某台成员交换机发生故障，集群交换也能继续工作。

虽然Network Test公司观测到了所有的这些特性，但此次的测试主要集中在集群交换的延迟、永续性和通道容量，如以下章节所述。

方法和结果

图1显示了集群交换测试的基本试验台拓扑结构。集群交换1 (VC1)由4台瞻博网络EX4200以太网交换机构成，在测试中作为主设备，而VC2作为流量接收器。

图1：集群交换试验台

一对瞻博网络EX8216以太网交换机通过万兆以太网上行链路连接VC1和VC2。这些核心/汇聚交换机使用标准的链路汇聚技术进行互连。到核心交换机的上行链路和互连是高可用性测试的重要组成部分。在高可用性测试中，工程师测量了各种永续性机制的故障切换时间。

在试验台的边缘，Spirent TestCenter流量产生器/分析仪向连接的每个接口提供64字节帧（以太网中的最小长度，因此是可能的最高帧速率）。由于企业通信流量常常遵循“80/20”模式，测试工程师把Spirent TestCenter配置为在全网状模式中向VC1提供80%本地流量，而跨核心/汇聚交换机在VC1和VC2之间提供剩余的20%流量。除非另有说明，在全部测试中，流量都以线速提供，持续时间为60秒。

敏感的读者会注意到，为每台交换机提供的流量载荷，要低于瞻博网络为交换机之间的集群交换端口(VCP)声称的32Gbit/s双向容量。这里所用的流量模式仅与可用的测试端口数目有关，并非取决于对VCP通道容量的任何限制。为了验证VCP通道容量，Network Test公司进行了一组单独的吞吐量测试，该组测试在本报告的结尾做了说明。

集群交换的延迟

本项目的一个基本目标是比较瞻博网络EX系列交换机在单机配置和集群交换配置两种情况下的延迟性能。对于单机配置测试，工程师在6台接入层交换机和核心/汇聚层之间建立了冗余连接，如下面的图2所示。在这种基本配置中，交换机不使用集群交换功能。

为了避免在冗余上行链路上形成流量环路，工程师在单机配置的所有交换机上启用了IEEE802.1w快速生成树协议。

图2：单机（非集群交换）试验台

Network Test公司采用上述的“80/20”模式提供流量，并在前4台交换机（在图1和图2的左下角的交换机）上测量延迟。然后，工程师把交换机重新配置为上面图1所示的集群交换配置。工程师总共重复了三次测试，以比较单机配置和集群交换配置的延迟：

· 所有端口在一个VLAN中的单机配置。这是纯L2配置，如图2所示。

· 所有端口在一个VLAN中的集群交换配置。这是纯L2配置，如图1所示。

· 所有端口在不同的VLAN/IP子网中并启用OSPF的集群交换配置。虽然此配置的物理拓扑结构与图1中所示的配置相同，但这是L2/L3混合设置。此时，交换和路由之间的边界在接入层；与此相反的是，在前两个配置中，边界在核心/汇聚层。

最后的这个配置也证明了集群交换技术对于L2和L3配置有同样的良好表现。

对于每组测试，工程师以线速提供相同数量的帧，并测量每个帧的延迟。这样一来，单机和集群交换测试结果之间的比较才有意义。

下面的表1汇总了延迟测试的结果。在此所列的数值主要针对前4台交换机，因为它们在集群交换测试中构成VC1。VC1中的流量不穿过核心/汇聚层，因而能够最清晰地反映出集群交换延迟的状况。可以这样来考虑这些结果：想象“相同数量的交换机”在同一个机架中的主机之间进行会话，而在集群交换配置中，成员交换机之间的连接代表不同机架中的主机之间的会话。

表1：单机配置与集群交换配置的延迟对比

最显著的结果是，在集群交换配置中，交换机之间的平均延迟和最大延迟总是短得多。

采用集群交换配置时改善延迟的原因很简单：帧不需要穿过核心/汇聚交换机，因而减少了网络中的一个或多个额外的跳所带来的延迟。

对于同一台交换机中的流量，在集群交换测试实例中，延迟稍稍增加。虽然在单机测试实例和集群交换测试实例中，所有交换机端口之间都是采用相同的全网状流量模式，但在集群交换测试实例中，工作负荷稍重一些。在该情况下，因为集群交换的其它成员交换机上所有端口之间的流量要穿过集群交换配置中的每台交换机，所以造成了较重的负荷。在单机配置实例中，没有这种背景负荷（background load）：每台交换机把所有非本地流量甩给核心/汇聚层进行转发，因而仅处理本地流量的交换。但是，对于涉及多台交换机的任何配置，当使用集群交换配置而不是单机配置时，平均延迟和最大延迟较

小（常常减少1/2）。

集群交换的永续性

对于大多数网络设计师和网络管理员来说，高可用性比高性能更受到关注。毕竟，如果由于链路或接口故障而不可用，那么即使是世界上最快的交换机也失去价值。

瞻博网络EX系列交换机支持多冗余机制，以保证最长的正常运行时间。本项目的一个主要目标是确定集群交换配置对这些故障安全机制有什么影响（如果有的话）。

Network Test公司为L2模式的4个测试实例和L3模式的3种测试实例，测量了集群交换的故障切换时间。在所有测试中，Network Test公司以每秒1百万帧的速率（即每微秒一帧）提供帧，并通过Spirent TestCenter报告的丢帧统计值导出故障切换时间，从而确定了恢复时间。

L2测试实例包括采用IEEE802.1w快速生成树协议(RSTP)和瞻博网络的冗余中继组(RTG)协议时的链路故障。其它的测试实例涉及作为集群交换配置主交换机的VCP和集群交换路由引擎(RE)的损失。

L3测试实例也包括VCP和RE的损失。另外，Network Test公司测量了在链路故障之后的OSPF汇聚时间。在L3延迟测试中，包含了这样一个配置：所有的交换机运行OSPF，而且每个接入交换机端口使用不同的VLAN和IP子网。

下面的图3显示了RSTP、RTG和OSPF故障切换测试所包含的流量模式。在这些测试中，工程师禁用了VC1和第1台EX8216核心/汇聚交换机之间的链路，强制流量通过第2台EX8216交换机重新路由。

图3：高可用性试验台

下面的图4显示了VCP故障切换测试所使用的配置。在此，工程师断开了在集群交换配置中连接交换机的一根电缆，强制系统通过另一个集群交换连接路径重新路由流量。

图4：VCP故障切换试验台

下面的图5显示了RE故障测试所采用的拓扑结构。在此，工程师关闭了集群交换配置中的主交换机（在图中标有“M”），强制备用交换机（标记有“B”）接替工作。在VCP和RE故障切换测试中，集群交换成员交换机还使用RTG。在协议故障测试中，工程师根据在切换期中测量的丢帧数导出故障切换时间。

图5：RE故障切换试验台

下面的表2汇总了各种永续性测试实例的故障切换时间。

表2：集群交换故障切 换时间

在所有测试实例中，集群交换配置的故障恢复时间远远短于1秒。即使在最长故障切换时间的情况中，对于OSPF，在集群交换配置中从链路故障恢复并沿重新计算的路径转发流量所需的时间也小于300毫秒。

对于其它协议，恢复时间仍然较短。该集群交换配置能够在不到100毫秒的时间内融合后面的RSTP和RTG故障。

最快的恢复情况是硬件故障恢复。在L2测试实例的集群交换配置中，主交换机仅6微秒就从断电故障恢复，这是最快的故障切换情况。L3的恢复时间较长一些，这是由于与OSPF相关的路由处理工作较多，但是恢复时间仍大大短于1秒。

集群交换通道容量验证

如上文所述，在这些测试中，可用的测试端口数量（而不是交换机端口之间的集群交换链路的带宽不足）限制了通信流量。为了验证集群交换链路能够以瞻博网络声称的每方向32Gbit/s的极限速度或接近该极限速度工作，Network Test公司进行了一组附加测试，以确定集群交换连接的吞吐速率。

如RFC 1242中的定义，吞吐量是系统在不丢帧的前提下转发流量的最高速率。由于缓冲和其它交换的影响，对于不同的帧尺寸，可能具有不同的吞吐速率。为了确定此值，Network Test公司测量了64到1518字节之间的帧尺寸的吞吐速率，这些帧尺寸分别是IEEE802.3以太网规范允许的最小尺寸和最大尺寸。如RFC 2544的建议，这些帧的长度是64、128、256、512、1024、1280和1518字节。

下面的图6显示了用于集群交换通道容量验证的试验台拓扑结构。该试验台设计实现两个目的：它不仅确定集群交换连接的吞吐速率，还要验证当交换机在环状拓扑结构中工作时具有这种容量。

图6：集群交换通道容量验证试验台

如图6所示，此配置一共包括108个千兆以太网测试端口。Spirent TestCenter产生器在下面的两个集群交换连接之间提供最高30Gbit/s的双向汇聚负荷。在图6底部的交换机上，每个VCP在每一个方向上速率为30Gbit/s，它代表着用户数据的实际上限。虽然物理通道容量要高一些（在每个方向每个VCP约为32Gbit/s），但一部分带宽用于为内部交换而增加的帧头。

下面的表3汇总了测试的各种帧尺寸的吞吐速率。

表3：集群交换通道的吞吐容量

集群交换配置以线速转发所有尺寸的帧，这证明在延迟或永续性测试中集群交换连接不是瓶颈。

结论

这些测试证明了集群交换技术可提高网络性能的几个途径。与单机配置相比，集群交换配置显著缩短了延迟。而且，集群交换配置提供次秒级的链路和设备故障恢复速度（在有些情况下，恢复速度甚至达到次毫秒级）。吞吐量测试也证明，对于各种帧长，集群交换链路能够以30Gbit/s的速率传送用户流量，而且不会出现丢帧现象。

附录A：测试的软件版本

本附录列出了在试验台上瞻博网络和Spirent设备所使用的软件版本。