数据中心IRF2虚拟化网络架构与应用

　网络已经成为企业IT运行的基石，随着IT业务的不断发展，企业的基础网络架构也不断调整和演化，以支持上层不断变化的应用要求。

　　在传统数据中心网络的性能、安全、永续基础上，随着企业IT应用的展开，业务类型快速增长,运行模式不断变化，基础网络需要不断变化结构、不断扩展以适应这些变化，这给运维带来极大压力。传统的网络规划设计依据高可靠思路，形成了冗余复杂的网状网结构，如图1所示。

　　

　　图1 企业数据中心IT基础架构网状网

　　结构化网状网的物理拓扑在保持高可靠、故障容错、提升性能上有着极好的优势，是通用设计规则。这样一种依赖于纯物理冗余拓扑的架构，在实际的运行维护中却同时也承担了极其繁冗的工作量。

　　多环的二层接入、Full Mesh的路由互联，网络中各种链路状态变化、节点运行故障都会引起预先规划配置状态的变迁，带来运维诊断的复杂性;而应用的扩容、迁移对网络涉及更多的改造，复杂的网络环境下甚至可能影响无关业务系统的正常运行。

　　因此，传统网络技术在支撑业务发展的同时，对运维人员提出的挑战是越来越严峻的。

　　随着上层应用不断发展，虚拟化技术、大规模集群技术广泛应用到企业IT中，作为底层基础架构的网络，也进入新一轮技术革新时期。H3C IRF2以极大简化网络逻辑架构、整合物理节点、支撑上层应用快速变化为目标，实现IT网络运行的简捷化，改变了传统网络规划与设计的繁冗规则。

　　1. 数据中心的应用架构与服务器网络

　　对于上层应用系统而言，当前主流的业务架构主要基于C/S与B/S架构，从部署上，展现为多层架构的方式，如图2所示，常见应用两层、三层、四层的部署方式都有，依赖于服务器处理能力、业务要求和性能、扩展性等多种因素。

　　

　　图2 多层应用架构

　　基础网络的构建是为上层应用服务，因此，针对应用系统的不同要求，数据中心服务器区的网络架构提供了多种适应结构，图3展示了四种H3C提供的常用网络拓扑结构：

　　

　　图3 多种数据中心ServerFarm结构

　　根据H3C的数据中心架构理解和产品组合能力，可提供独立的网络、安全、优化设备组网，也可以提供基于框式交换平台集成安全、优化的网络架构。ServerFarm 1和2是一种扁平化架构，多层应用服务器(WEB、APP、DB)群共用同一网关，适用于一般规模服务器群，可扩展性有一定限制，网关层控制策略比较复杂;ServerFarm 3和4是一种展开式架构，与应用的多层访问架构保持了一致性，具有更清晰的数据流路径，更强的业务扩展能力和良好的策略控制能力。

2. 数据中心ServerFarm 交换网络IRF2虚拟化设计方案

　　对于传统的数据中心服务器区交换网络(如图4所示)，针对无环设计和有环设计有多种选择方案。

　　

　　图4 传统的多种服务器区接入网络拓扑

　　在数据中心更为通用的是采用环路接入拓扑模式，以生成树协议(MSTP)配合第一跳网关冗余协议(VRRP)提供服务器接入的可靠性。同时，服务器以多网卡连接网络以进一步提供冗余能力。图5为常用的三种接入设计方法，虽然这几种方式已经成为数据中心接入设计的最佳实践，但从网络的拓扑设计、环路规避、冗余备份等角度考虑，设计过程是极其复杂的。如VLAN的规划、生成树实例的拓扑阻塞、网关冗余选择，包括相应技术的参数选择、配置，故障切换的预期判断等，需要一套十分详细的流程，而在后期网络运行维护过程中面临的压力和复杂度是显而易见的。

　　

　　图5 生成树+VRRP的设计方式

　　引入虚拟化设计方式之后，在不改变传统设计的网络物理拓扑、保证现有布线方式的前提下，以IRF2的技术实现网络各层的横向整合，即将交换网络每一层的两台、多台物理设备使用IRF2技术形成一个统一的交换架构，减少了逻辑的设备数量，如图6所示

　　

　　图6 IRF2对网络横向虚拟化整合过程

　　在虚拟化整合过程中，被整合设备的互联电缆成为IRF2的内部互联电缆，对IRF2系统外部就不可见了.原来两台设备之间的捆绑互联端口归属的VLAN三层接口网段均能被其它设备可达(如ping通)，而归属到IRF2系统内部后，不对互联电缆接口进行IP配置，因此隔离于IRF2外部网络。

　　虚拟化整合后的IRF2系统，对外表现为单台物理设备，因此，在保持基本网络互联条件下(如图6左图所示)，可将一对IRF2系统之间的多条线缆进行链路捆绑聚合动作(如图6中图所示)，从而将不同网络层之间的网状互联简化成单条逻辑链路(如图6右图所示)。

　　以IRF2组网后，整个网络的配置管理情况发生了很大变化。原来的多台物理设备组成为一台逻辑设备，所有IRF2成员可以统一管理配置。因为只有一个管理IP，所以不需要登陆到不同设备各自管理运维，可以直接对所有端口、VLAN等特性进行配置，如图7所示。

　　

　　图7 IRF2组网的网络配置管理方式

　　对于接入层设备来说，以Top of Rack接入为例：一般使用两台接入交换机对同类业务系统服务器进行接入，以满足服务器双网卡的上行要求。使用IRF2进行网络简化时，对网络汇聚层或服务器网关层的虚拟化整合是必要的，因为这是消除生成树和VRRP的关键网络层。对接入层网络来说，有如图8所示的两种选择：

　　

　　图8 接入层不同的IRF2应对方式

　　第一种，保持原有网络拓扑和设备独立性不变，如图8方式A，通过IRF2将汇聚网关层虚拟化，Top of Rack交换机双归属上联的两条链路直接进行捆绑，消除了环路，服务器网卡归属到独立的两台交换机。

　　第二种，在Top of Rack两台交换机之间增加IRF2互联线缆，使得接入层也实现虚拟化整合，如图8方式B，服务器双网卡连接的两台交换机虚拟化成一台，这两台交换机的所有上联线缆可实现跨设备的捆绑，进一步减少逻辑链路数。方式B还可实现更多的接入层设备整合，网络物理设备与逻辑节点的整合比可大大超过2:1。

　　对于服务器而言，上行到IRF2系统的所有网卡如同接入一台交换机，可满足各种工作模式，特别是服务器的双网卡捆绑方式，如图9所示。除了支持网卡主备模式，对于网卡需要捆绑(LACP功能)的业务要求，由于IRF2本身可支持跨设备的链路聚合，因此服务器多网卡上行到一个IRF2系统的不同交换机均可实现捆绑，实现网卡吞吐带宽增强和提升可靠性。

　　

　　图9 基于IRF2的服务器多网卡适配

　　服务器双网卡接入网络有多种模式：网卡的主备、网卡双活。双网卡主备方式下，服务器两个网卡分别接入IRF2的不同交换机成员，实际等同于接在同一台交换机下，因此网卡链路状态发生变化时，IRF2系统能够立刻感知，网卡业务切换后，对交换机IRF2系统只是表现为网卡地址迁移到同一台交换机的不同物理端口。由于IRF2交换系统对上层网络隔离了地址端口迁移(对上层设备来说，服务器地址总是在与接入层IRF2的上行链路对应的网络接口下，并没有漂移)，表项变化只在接入层设备处理，因此网络能够快速适应网卡流量切换。网卡双活模式下，两块网卡可以工作在聚合捆绑方式，则可将双网卡分别连接IRF2的不同交换机成员接入端口，并可以基于IRF2将不同交换机上的端口进行聚合捆绑，由于双网卡具有相同的MAC和IP地址，而IRF2将不同交换机端口聚合捆绑后，聚合组内不同端口下不会存在地址漂移，网卡地址在IRF2上只被作为分布式设备的虚拟聚合链路下的一个地址，优化了双网卡组网方式。

　　在实施数据中心IRF2架构中，VLAN和IP的设计变得十分简单，在网络各层互联上使用链路捆绑方式在多条物理链路上虚拟出了一个聚合层，也就是捆绑后的逻辑链路，因此聚合组替代了原来的物理端口成为VLAN设计的考虑因素，因为聚合/捆绑后的交换机端口群(可能分布在IRF2不同的成员上)被视为单个逻辑端口使用。

　　由于网络采用IRF2设计中，已经消除了环路，在不考虑生成树协议条件下，VLAN的设计在满足业务连通性上已经十分简单。

　　

　　图10 基于IRF2的VLAN、IP设计

　　如图10所示，在接入层配置了A-H共8个接入VLAN，用于数据中心8类服务器接入，分属到两个业务网关层。核心层与网关层(汇聚层)均采用IRF2实现每层两台设备的虚拟化整合，接入层分别采用两种方式：左边模块Top of Rack接入不进行IRF2虚拟化;右边模块采用IRF2虚拟化横向整合。

　　对于VLAN A，服务器上联到两台Top of Rack交换机，每台交换机双上行捆绑到网关，逻辑上形成了一个倒V的拓扑，VLAN A在网关的IRF2系统上只需配置一个IP地址10.1.1.1/24。

　　对于VLAN H，由于右边模块下的Top of Rack交换机以IRF2形式接入服务器，服务器的双网卡所在的两个端口只表现为一台交换机同一VLAN H的两个端口，上行只有一个逻辑链路，因此VLAN H简单地通过此链路终结在汇聚层网关上，只需配置一个IP地址10.2.4.1/24.

　　核心层与汇聚层之间的连接也简化为只通过一个VLAN进行三层互联了，将本来full mesh全连接的网状网变成了简单的单逻辑链路连接。

　　

　　图11 IRF2网络架构对路由设计的简化

　　图11左图的网络结构中，三层互联链路成网状，所需网段多，且一般一条物理链路对应一个互联网段，在运行动态路由、使能接入环路生成树条件下，任意物理链路的故障(Up/Down)都会引起网络路由的振荡、VRRP状态变化或生成树的重新计算，同时可能引起应用系统业务流的中断(在协议计算收敛条件下的业务恢复时间可达到数秒甚至分钟级)。

　　而图11右图采用IRF2的网络结构，网络节点之间以多链路捆绑组模式互联(普通方式下为1～4条物理链路)，捆绑组中任意一条物理链路发生故障(引起Up/Down)，由于整个捆绑组在逻辑上仍然有效，接口状态正常，整个网络拓扑没有变化，因此不会引发上层路由协议重计算，极大保持了网络稳定运行。同时基于IRF2的网络架构所需互联IP大量减少，减少了网络可管理的IP对象，也消除了潜在隐患。此结构中，动态路由设计面对的网络区域，也因架构横向整合而使得动态路由区域可能变成了简单的链状，参与路由计算的节点大量减少，设计上更简单和易稳定。

　　

　　图12 面向server farm多层应用架构的IRF2组网

　　对于数据中心应用的多层架构，按图5的组网模式，采用IRF2技术进行改良。如图12所示，端到端的IRF2设计可以将大规模数据中心网状网变成线性/树状辐射网，在网络每一层具有灵活扩展能力、简单配置管理方式，提升网络的运行管理效率。

　　对于数据中心已有核心，扩建业务模块的网络设计，可在汇聚/网关层以下的网络层次使用IRF2技术进行构建。

　　

　　图13 在现有数据中心采用IRF2架构扩建新业务模块

　　如图13左图，新建业务模块的网络连接与已有业务模块区可采用相同连接拓扑，新建业务模块通过IRF2消除本模块内的环路设计，网关/汇聚节点创建两个接口分别与核心两台设备连接，如图15右图，出入此新建业务模块的访问流量可通过两条(或多条)等价路由实现连通。

3. 如何通过IRF2网络构建适应VMotion的虚拟化应用

　　VMware的VMotion是当前服务器虚拟化技术的热点内容，主要好处是解决了业务在运行过程中的动态迁移问题，使得应用可以根据计算容量需求动态调整计算资源。

　　

　　图14 VMoiton过程示意

　　如图14所示，在VMotion过程中，选择好目的物理服务器后，启动迁移流程，VMWare虚拟系统将处于工作运行中的虚拟机(VM)的实时状态，包括内存、寄存器状态等信息同步拷贝到目的VM，并激活目的VM从而完成迁移。

　　VMotion过程对于网络设计本无特殊要求，但迁移的范围要求网络二层连通，即源VM与目的VM在同一VLAN内，这就要求VM虚拟化应用所在的网络是一个二层网络。如图15所示，VMotion的网络中存在三种VLAN：管理VLAN如VLAN 10，迁移VMotion VLAN如VLAN 20，VM业务VLAN如VLAN 105/106。

　　

　　图15 VMotion的二层VLAN类型

　　传统MSTP的二层设计在小范围网络环境也基本满足VMotion的应用要求，但是随着VM 二层域规模的不断扩大，有些企业甚至要建数据中心范围内的二层网络，如果采用MSTP+VRRP构建数据中心网络，不论是前期规划还是建成后的运营都会极其复杂。

　　

　　图16 基于IRF2的大规模VMotion网络架构

　　图16提供了端到端全面构建VMotion网络的方案。由于IRF2消除了环路和冗余网关协议带来的问题，整个网络可搭建一个大范围的二层互联平台，在此平台上合理部署相应的管理VLAN、VMotion VLAN和VM业务VLAN即可满足虚拟化业务需求。

　　在虚拟化环境中遇到的另一个问题是安全策略问题，有外部流量访问VM的安全策略，也有VM之间的安全策略。对此存在不同的部署意见，有的认为安全策略需要部署到服务器内部的vSwitch上，有的建议由安全设备如防火墙集中执行。

　　安全策略部署在服务器内的vsSwitch上，便于做到控制精细，并且在VM的迁移过程中，相应的控制策略也能跟随虚拟化系统软件的迁移功能随着VM到达相应的vSwitch。但根据思博伦测试专家的观点，策略在vSwitch上部署过多对于vSwitch性能有一定影响。同时，对大二层网络，策略过于分散，不利于运行维护。并且在当前企业数据中心运维架构中，服务器虚拟化带来的Switch管理归属成为问题。(是网络运营部门?还是应用运营部门?)

　　另一种集中式的控制策略部署在网络设备上。对IRF2构建的网络，如果对外部访问VM的流量进行策略控制，则可在所有VM的网关层设置入方向的ACL控制策略，如图16所示，控制集中、便于策略维护。