深圳证券通信中心三点光环城域网的建设

　　深圳证券通信有限公司是一家为证券市场提供数据通信服务的专业通信公司。公司集证券信息、卫星通信和科技研发等诸多优势于一体，拥有由卫星通信网和地面通信网组成的、目前国内规模最大的专用证券通信网——深圳证券通信网。该网承担了深圳证券交易所与全国各地证券营业部之间全部的证券信息传输任务，为保障深圳证券市场的健康、稳定发展发挥着重要作用。

　　为适应证券市场的不断发展，证券业对通信系统提出的要求也越来越高，深圳证券通信公司早在1999年11月就开始筹建新的通信中心，原通信主站将作为灾难备份中心，保留原有通信设备并存储镜像数据以便在紧急情况下启用。最近，连接证券通信中心、深圳证券交易所和灾难备份中心的城域网（简称为“三点光环”）工程开始设计、实施。该网络的设计目的是为了在证券通信中心、深交所和灾备中心之间建设可靠、高速和低时延的千兆以太网通道，传输实时数据。鉴于该网络所传输业务的特殊性（传输全国证券交易的报盘、成交和结算数据），该网的设计和施工受到了各方的重视。

　　该网络采用了1000Mbit/s光纤环路为主（每两点之间采用双光纤连接）、155Mbit/s微波链路为辅的物理层设计，运行主流IP协议。交换机全部采用性能先进、技术成熟、运行稳定的Cisco6509系列。由于上述各节点间的距离在10到20公里之间，该网络属典型的城域网，具备极高的抗毁、自愈能力。以下将对该网络的设计和性能作简要阐述，可作类似城域网建设工程的参考。

　　一、光通信系统

　　通信中心“三点光环”网络。

　　(一) 光缆

　　为减少两路光纤同时受到物理损害的可能性，光缆分南北两路进入通信中心大楼。光缆型号为朗讯生产的铠装12芯单模室外型（两根共为24芯），光信号波长为1310nm。三点光环系统中使用了其中的8芯，其中每1对的路由（即使是相同方向的光纤）均不尽相同（见光纤路由表），避免了因道路施工等意外情况同时受到损坏的可能。三点光环系统中的多模光纤仅用于6509交换机之间的互连光纤，共有两对，编号为F005和F006，光信号波长为880nm。工程实施中，我们使用光时域反射计(OTDR)来测试每条光纤的损耗总值，每个溶接节点的反射损耗以及光纤精确长度。

　　(二) 光纤配线盘图

　　光纤配线盘指光纤进入大楼后，在连接至其他设备之前的跳线面板。通信中心光纤配线盘结构。

　　(三) Catalyst 6509交换机

　　三点光环工程的交换机系统采用了先进的CISCO骨干多层交换机――Catalyst6509。该交换机具备第三层交换能力，具有千兆以太网接口，背板采用33G总线系统，能够充分保证深交所、上步203、通信中心三大节点间的数据通信。在交换机配置方面，通信中心与灾备中心、深交所相同，均放置了两台6509交换机（1主1备用），每台6509分别通过两对同方向但不同路由的单模光纤连接至灾备中心、深交所。通往相同方向的每两对单模光纤均在逻辑上捆绑成以太网通道，实现了带宽的成倍增加（2G）和每对光纤的相互备份。

　　三点光环系统采用了“生成树”算法，保证了在意外情况下，即使通往某一节点的两对光纤同时损坏，通过路由迂回也能使通信保持正常（在最严重的情况下，由于etherchannel的作用，即使四对光纤中同时损坏了三对，只要有一对能正常工作，都能保证三个节点间的正常通信）。“生成树”算法的实现，使网络在结构改变的情况下，网络的恢复、收敛时间缩短至30秒，保证了异常情况下通信的迅速恢复。通过“虚拟局域网”的划分，隔离了广播数据，保证了各个VLAN内主机通信的高效性和安全性。中继线（trunk）的实现，使三个节点内分属不同VLAN的数据包都能在一条链路（光纤）上高效传输。另外，三点光环系统中设立了统一网管，保证了系统中共6台交换机配置的统一规划和相互同步。通过网管终端，工作人员可以从系统中的任一点监控到其他各点交换机的工作状态。

　　(四) GBIC及衰减器配置

　　GBIC为“千兆接口适配器”，用于连接光纤和交换机，起到光电转换、调制/解调的重要作用，三点光环系统中使用了两种GBIC，一种用于单模光纤，型号为1000BASE-ZX，具有较高的发射功率和接受灵敏度，适合于长距离传输；另一种用于多模光纤，型号为1000BASE-SX，适合于室内短距传输。对于单模光纤，CISCO文档要求：为防止光功率过强而影响GBIC的使用寿命，光纤长度少于25km时，需加装10dB衰减器；光纤长度介于25km和50 km 之间时，需加装 5dB衰减器。根据要求我们在WS-G5487 GBIC （1000BASE-ZX）和光缆之间安装了光衰减器。滨海至深交所的链路（长度近25 km，全程光纤损耗约12dB）内加装了5dB衰减器，通信中心至灾备中心的链路（长度近20 km，全程光纤损耗约10dB）内加装了10dB衰减器。光衰减器统一设置在证券通信中心一侧，方便日常检测、维护。在维护过程中，应特别注意检测、纪录和对比光接收和发射功率电平。

　　在设计上，每台交换机上的两个最关键的单模GBIC分别插在可靠性极高的主、备引擎上（多模GBIC插在寿命、可靠性相对较低的千兆以太网模块上），避免了因模块的损坏而导致多个GBIC同时失效情况，如表1所示。

　　表1 ：GBIC收发功率限制和灵敏度

　　1000BASE-SX 1000BASE-LX/LH 1000BASE-ZX

　　发射输出功率（min/max） 0/-9.5 dBm -3/-9.5 dBm 0/4.77 dBm

　　接收最大输入功率 0 dBm -3 dBm -3 dBm

　　接收灵敏度 -17 dBm -19 dBm -23 dBm

　　(五) 操作注意事项

　　A．网络收敛时间。三点光环系统在稳定工作的情况下，生成树算法通过计算路径成本和端口成本，决定了通信中心的两台6509交换机之间的链路处于阻塞状态，滨海的交换机与深交所、上步203的交换机之间处于转发状态。因此，如果通信中心的两台交换机之间通信链路出现故障（如Ｆ005或Ｆ006中断），则不会对整个网络通信产生任何影响。由于通信中心的所有通信主机都连接至BH－6509－1，而深交所的Tandam主机放置在深交所，因此滨海至深交所之间的通信链路最为关键。假设此段链路出现故障（F001和F003同时中断），则两台交换机之间的blocking状态将转变为forwarding状态，这一过程将需要30秒时间。原先直接到达深交所的数据将首先被转发至BH－6509－2，再到达灾备中心，最后被转发至深交所。此时，如果滨海至深交所之间的物理通信链路恢复，则上述过程会被再次重复，即两台交换机之间的forwarding状态将重新转变为blocking状态，通信中心与深交所恢复直接通信，但这一过程将同样需要30秒时间，之后整个网络的路由才能恢复稳定，因此在实际故障处理过程中必须注意中断链路恢复的时机选择。

　　B．VTP（Vlan trunk protocol）设置。目前，通信中心6509的VTP设置为Client，在对ＶLAN设置进行修改之前，必须将VTP设置改为Server，否则修改将会失败。做VLAN删除操作必须谨慎，假设由于不慎将通信中心其中一台6509上的VLAN全部清除，并且此台交换机的“revision number”恰好为最高的情况下，三点光环上的所有其它交换机上的ＶLAN也将会被全部清除，从而导致所有主机通信中断，因此删除ＶLAN 时必须慎重。

　　二、微波备份系统

　　当所有光纤都中断的情况下，系统将自动启用微波备份系统作为保障通信中心和证券交易所之间通信的最后一道防线。

　　（一）微波系统概述

　　在深交所与通信中心之间增设155Mbit/s微波通道，作为整个地面光纤的备份介质。由于微波信道采用ATM协议，为了保证信道与原有的以太网协议的网络相兼容，6509交换机与NEC微波设备之间选用ACE101设备作为协议转换器，这样对6509交换机而言可以将微波通道视为与地面光纤等效的无线信道，并可仍然使用STP算法维护多点间的路由计算。

　　（二）AC101协议转换器

　　Catalyst6509交换机与SDH微波设备间配置接口与链路协议的转换设备ACE 101。 ACE 101配置有FastEthernet接口模块，与6509相连；ATM接口模块与NEC微波传输设备相连。ACE 101将以太网的帧格式转换为ATM的信元格式，支持6509交换机与SDH微波设备间的连接。

　　（三）微波信道的启用

　　使用微波通信系统后，当某方向的两对光纤同时中断时，首先选择另一方向的两对千兆光纤作为第一备份路由。当两个方向的4对光纤同时发生中断时，直接通过STP算法选用微波信道保持通信。若考虑到微波信道的不稳定性，为了避免STP重新计算影响通信质量，可手工关闭微波端口的STP协议。

　　（四）Catalyst 6509交换机的配置

　　配置微波信道接入6509交换机的端口，设置成Trunk，以便于所有VLAN的数据都能在微波信道上传输。为可靠起见，通信中心和深交所两端6509相应端口的Trunk模式均设置成开启状态。检查光纤接入端口、微波接入端口的Cost值设置是否合理。按照Cisco文档，在Pvst+模式下，系统将自动配置光纤接入端口（千兆以太口）的cost值为4，微波接入端口（快速以太口100M/10Mbit/s）的cost为19，这样能保证在一般情况下交换机自动选择光纤路由来转发数据帧。