升级到100G——高端核心交换机平台购买指南

100G如何实现

背板•端口•交换矩阵

说到100G，大家首先想到的一定是高速率网络传输能力，以及在单一的802.3ba标准上对40G和100G两种不同速率的支持。具体到100G交换机产品，大家往往更加关心标准化规范、40G/100G端口支持能力、兼容性、能耗比、价格比等方面的问题。那么，与以往的千兆/万兆系列交换机设备相比，业界对于100G高端交换机平台在技术和功能上的独特之处又是如何认识的呢？

H3C网络产品部总工程师赵晓轩认为，100G的独特之处首先在于“以太网的带宽需求和芯片技术发展不匹配”——以太网的带宽需求每18个月翻10倍，而芯片的处理能力每18个月才翻1倍，需要在100G背板设计技术上的突破，以及对多核多线程“均流处理”的充分利用。其次，要最大化地满足应用需求，确保报文可靠传送且不丢包，还需要上层协议最大化地减少报文重传，以及最大化地利用端口带宽。此外，对高密万兆承载、40G/100G以太网端口支持、虚拟化、系统容量的无缝扩展等方面也要特别考虑。

对此，100G交换机应采用多级多平面的交换体系架构，通过多个交换平面来实现单机系统的大容量，使得报文在物理上均分在每个平面并行转发，从而杜绝传统报文在单平面的转发拥塞。“这样就真正做到了100G的背板设计，而不是10个万兆捆绑的设计。”赵晓轩表示，“由于传统的高端交换机基于万兆背板，还存在背板转发不均流的现象，使得100G端口无法跑到线速的问题。”此外，每个端口具备多级QoS队列和200ms的包缓存能力，可最大化地解决网络的端口拥塞和效率问题。通过H3C创新的IRF技术，还使得多台设备虚拟化成一台设备，既简化了管理，又使得系统容量可以随着设备的增加不断叠加。

瞻博网络公司系统工程师卓林则重点提到10G的迅猛发展：“由于存在高密度的10G接入需求，汇聚的流量和业务也越来越多，因此100G交换机必须具备大容量、高稳定性和虚拟化等特点。此外，端口容量的增加对交换机整机容量和性能提出更高的要求，这就需要采用更先进的高集成技术来实现100G。而由于市场上的普通商用芯片无法满足100G的需求，也迫使100G设备厂商采用自主研发的芯片为基础，去定制能处理高速接口的芯片。”此外，业务需求实的多元化，还要求核心网络设备支持虚拟路由器等技术。虚拟化另一个发展趋势是多台设备组成虚拟机柜，也可以提高网络容量和性能，从而降低故障率。

Force10公司副总裁、首席科学家Joel Goergen列举了实现100G的几个关键因素：首先是电到光的链路转换设备的选择，需要在原来适用于千兆和万兆链路的2.5G转换设备上有一个10倍的提升。其次是包处理和包检索水平，这也是高速交换机和路由器的核心技术之一。而要实现如此快速的包处理和包检索，必须自己研发一个高端芯片来实现，目前市场上没有其他任何现成的技术可用。接下来是背板和光接口技术，要在高速率情况下保证信号的准确和完整性。背板的信号性能（包括信号准确性、误码率、信噪比等）也非常关键，当传输速率很快的时候，设备的时钟速率和传输流量都非常大，所有流量都要通过背板的链路连接到每个槽位，进而到交换矩阵。交换矩阵是交换平台的核心部分，所有流量都要通过它，且速率比原来要求高很多，需要给未来的发展留下冗余空间。比如在多机箱级联的情况下，背板要有足够的容量，将这个机箱的容量无阻塞地传到另一个机箱去。最后一个关键因素是供电、制冷和电磁辐射的屏蔽。时钟速率越快，功耗就越高，对制冷的要求也就越高，同时频率越高，电磁辐射屏蔽的实现也越来越难。Goergen表示，“这些100G的关键技术涉及到产业链上的很多厂商，不光是系统厂商，还有配件厂商和基础技术研究厂商，配合在一起逐一解决这些技术点，才能做出一个100G来。”

博科公司在收购Foundry后也加入到100G交换机俱乐部当中，该公司高级技术顾问谷增云将100G高端交换机平台分为两个阶段：第一阶段是单板至少支持10个线速10G，要实现高于10G的带宽就需要进行N×10G的捆绑；第二阶段就是单板支持一个或多个100G。“要达到这个目标，首先要提高设备的交换容量，包括整机的交换容量和单板的交换容量。”谷增云介绍说，“以往主流的千兆/万兆系列交换机，整机的交换容量在720Gbps～1.4Tbps之间，单板最大交换容量为40Gbps，因此要单板支持无阻塞的100G以太网接口，就需要整机的交换容量至少扩大2.5倍，单槽位的交换容量相应也要提高2.5倍以上。如此高的传输速率，就需要对光接口、物理层和MAC层、包处理器以及流量管理和调度部分、交换机的背板、交换矩阵进行重新设计。”

具体来说，对于100G的光接口部分，需要考虑色散补偿和极化色散。在物理层和MAC层部分，可以考虑保持802.3的帧格式以及对最大最小包长的定义，另外还要能够对单一的100G信号进行处理以及进行CRC校验。包处理以及流量管理和调度部分，则需要考虑对内存的访问带宽、速度、耗电量以及多个循环的包处理能力，这就需要提高内存的访问频率以及增加芯片的数量。对于交换机的背板，博科采用高速的serdes背板信号技术以及第四代clos交换矩阵技术满足100G以太网的要求。而各个关键部分都需要更为先进的半导体技术，一个100G接口需要150Mpps的包处理能力，如此快的处理速度对芯片的耗电量和成本都是一个很大的挑战，要克服上述两个问题使用65nm工艺相对较困难，而45nm工艺水平在2010年左右达到成熟，提高更高的芯片之间的传输速率和内存的访问带宽以及降低耗电量。

用户选择之道

线速•容量•板卡

正是基于这些实现100G的关键因素和相关技术，即便最终的802.3ba标准尚未出台，网络设备厂商们也可以推出“准100G”产品满足部分高端用户的需求。那么，在等待标准通过的特殊时期内，对于计划采用100G技术的用户来说，也需要注意抓住关键要素慎重选择。

“在选择100G网络平台产品时，主要考虑2006年以后设计的新一代高端产品，任何2006年以前发布的产品都不是100G平台。”谷增云给出了一个具体的时间段，“在当前阶段，100G接口的标准也还没有最后确定，光接口、半导体工艺水平都没有就绪，所谓的100G平台都是交换矩阵、背板带宽这些交换机的基本单元支持100G，而没有真正成熟的100G接口。当前整个单板是否真正支持10个线速的10Gbps或者100个线速的1Gbps，是验证是否真正100G平台的唯一方法。”

卓林也认为，目前的交换机只能说是具备了支持100G的条件，并没有实际的100G端口。“用户需要搞清楚，目前购买或者要购买的核心交换机是不是100G ready。”卓林解释道，“所谓ready就是在真正的100G端口板卡出来之后，用户不用更换任何交换机硬件，就可以安装和使用100G端口板卡。目前市场上有很多号称支持100G的核心交换机，在实际使用100G端口时可能还需要更换交换矩阵等部件。”

另外，卓林还特别提到新增的100G高速接口需要消耗的资源问题，包括电源功耗、照明和空间等诸多因素。用户需要综合考虑在同等容量和性能的前提下，部署100G核心交换机消耗的资源量有多少，以及未来运行和维护的成本等。

赵晓轩则给出了用户在选择产品时要特别注意的几个具体要素：首先是看是否支持线速的40G/100G端口，这关系到最终标准推出后能否实现40G/100G跨板转发不丢包的承诺。其次，是看该设备是否可以动态扩展容量，不仅仅是板卡的扩容而且包括机柜的扩容；另外还要注意是否有精细化的QoS控制和调度，以及200ms缓存，进而最大化利用端口带宽，提升网络效率。基于100G技术的数据中心级交换机要融合高端路由器思想，将相关技术移植到交换机上。

Goergen的回答颇为实际，他认为帮助用户区分真正支持100G的产品牵扯到太多技术细节层面，需要用户在设计一个网络的时候与设备厂商进行深入沟通，从各个层面不同维度了解技术本身，认真寻找实现100G的核心技术要素是如何实现的，看背板传输速率如何解决，包处理速度怎样，包处理芯片的内存怎样，供电和制冷问题等，要看到清晰的解决方案，至少是对几个核心要素有清晰的计划，由此才能知道购买该设备的风险是怎样的。

支持100G平台的高端交换机产品参数列表

实际部署要义

改造•选择•陷阱

做出正确的设备选择并不意味着网络建设的的成功，对于100Gbps的高速率传输环境来说，用户在实际部署时要做的工作还有不少。正如李博所说，“100G的真正应用不光需要相关设备的生产，还要定义网络基础设施传输的要求，很多方面都要做出相应的改造。”

谷增云认为，由于当前的100G产品大多采用10G捆绑技术，因此在部署时要考虑平滑的过渡方式，捆绑技术的支持能力至少应在16个10G链路，并且拥有基于数据流的负载均衡能力和灵活性。另外，由于100G平台大多都部署在网络的核心，相关产品的可靠性设计、在线软件升级能力（ISSU）、无中断路有能力（ISSU）、MPLS、xslow等技术的支持也至关重要。

“100G网络的部署不是简单的替换。”卓林认为，“伴随着网络结构的优化和体系的调整，部署100G网络是一个逐步升级的过程。”例如在园区网络中，首先需要完成千兆到桌面，更好地满足终端的接入需求，然后再进行网络结构的优化，比如三层到桌面，缩小2层广播域的范围，消除生成树对网络可靠性的影响等。而层次扁平化，简化整体的网络结构，则有利于提高网络的转发性能和便于维护。

Goergen则认为用户所关心的地方和1G升级到10G网络相类似，只是具体的选择不同而已。比如采用什么样的线缆，大量万兆光纤和铜缆的布线需求，从前数据中心的结构问题，供电和制冷问题等。100G在速率上提高了一个档次，对整个所有设备的供电和制冷需求都会发生变化。

赵晓轩提醒用户，如果在真正部署应用时，发现端口怎么也跑不满，可能就是因为背板不是基于100G而设计的。另外，在实际应用过程中要注意充分考虑重载应用，防范端口拥塞而导致丢包，继而出现网络不断接受重传报文的现象，使得网络的吞吐量和效率大大降低，最终无法负荷。这些都有可能是用户在实际部署100G产品过程中可能遭遇的陷阱。

编看编想：100G不只代表速率

简单的数字不能代表一个产品升级的全部要素，100G不光在数据传输速率上比10G快了10倍，或者在传输上的核心带宽提高了10倍，更重要的是由此带来的功能上的极大增强和丰富。思科就曾经表达过这样的观点，即衡量下一代交换机平台的标准，并不仅仅局限于容量和速度，还有更丰富的技术指标和标准。这当中不仅包括了对IPv6、MPLS、甚至是多媒体等业务的支持，还将体现出更强大的抗攻击安全性能，以及高集成、低能耗、小空间的发展趋势。

根据乐观的估计，第一批准100G产品（服务器网卡、交换上行链路和交换机）将于今年年底上市，新标准给我们带来的不只是每槽位单端口全线速100Gbps，更有带压缩比的100G端口，以帮助用户减少单端口的成本。

在可预见的未来我们还将看到什么？全球最高端的用户开始实际使用100G产品，大量数据中心用户开始使用40G主节点连接，单芯25G技术的成熟，4×25G并行电到光链路连接设计的流行，PC总线吞吐量的提高，网卡成本的降低，多板卡捆绑或多机箱级联技术的出现……100G将开辟一个新的网络通信“宽”时代，在未来几年里不断给我们带来惊喜。

Force10公司的Joel Goergen一直参与制定IEEE 802.3ba标准的开发过程，他表示现在已经完成2.0草案的审议，即将推出3.0版本的标准草案，并且已经有6个物理层的标准制定完毕进入到研发阶段了。“过去3年时间里，我们在10万兆技术上的开发令人兴奋，很多核心技术得到解决，标准化逐渐走向成熟和完善。”Goergen表示，“未来5年将更加激动人心，随着技术的完善，市场也开始成熟，再加上网卡、高端服务器、核心路由等其他配套技术的进一步发展，都将使得10万兆应用变得更加必然和自然。”