用Netflow进行IP网流量和流向分析

IP网流量管理面临的挑战

　　随着宽带互联网在中国的迅速发展，中国各大电信运营商的网络规模都在不断扩张且网络结构日渐复杂。为了更好地服务企业客户，及时了解自身网络的负载状况和重要业务的带宽占用率；准确计量国际国内运营商间、骨干网/城域网间通信流量和业务类型；正确规划和评估网络扩容、升级等目的，电信运营商需要能对网络和其承载的各类业务进行及时、准确的流量和流向分析。

　　国内电信运营商当前的网络流量管理现状是，绝大多数企业的运维部门还都没有建设一套能够完全满足上述管理需求的网络及业务流量和流向分析系统。大部分网管系统还只是采用一些通用型的网络链路使用率监视软件，如MRTG，利用SNMP协议对网络的重点链路和互联点进行简单的端口级流量监视和统计；或采用在网络中部分重点POP点加装RMON探针的方式，利用RMON I/II协议对网络中部分端口进行网络流量和上层业务流量的监视和采集。

　　但是上述两种被普遍采用的网络流量分析系统都有其显著的技术局限性。

　　* 利用SNMP协议能够对被监视的各个网络端口进出的数据包数和字节数进行采集，但采集到的流量信息较为粗糙，不但包括网络层的客户业务流量信息，还包括链路层的数据帧包头，Hello数据包，出错后重新传送的数据包等流量信息。而且SNMP协议还无法区分网络层数据流量中各种不同类型客户业务在总流量中的分布状况，也无法对进出的流量进行流向分析。

　　* 利用RMON协议对运营商网络进行流量和流向管理可以部分弥补SNMP协议的技术局限性，如可以对业务流量进行统计，但同时也暴露出新的技术局限性。首先，由于RMON协议需要对网络上传送的每个数据帧进行采集和分析，会耗用大量的CPU资源因而不可能由网络设备本身实现，需要额外购买和安装内置式或外置式的RMON探针。市场上现有的 RMON探针处理能力也有限制，还不能支持监控端口速率超过1Gbps的网络端口。其次，因为RMON探针为的硬件设备，价格较贵，所以不可能为每台网络设备都配备，且由于RMON探针，特别是内置式RMON探针接入网络后不易变更，所以必然会造成出现异常事件时无法及时对特定的网络链路进行监控。最后，由于RMON探针采集到的管理数据是由分析每个数据包后得到的，数据量非常大且分散，协议缺乏内建的数据汇总机制，而且还不包括每个数据包的BGP AS号或路由Next Hop信息，所以不易对数据进行高层次的流向分析。这些因素都会阻碍利用RMON协议对大型网络进行流量和流向分析的有效性。

　　为克服现有网管系统对网络流量和流向分析功能的技术局限性，运营商迫切需要寻找一种功能丰富，成熟稳定的新技术对现有管理系统中管理信息的采集和分析方式进行改造和升级。新的信息采集和分析技术还需要对运营商的运行网络影响小，无需对网络拓扑进行改变就能平滑升级。而且新的信息采集和分析技术应该即可以对网络中各个链路的带宽使用率进行统计，也可以对每条链路上传输不同类型业务的流量和流向进行分析和统计，同时应能适应中国宽带互联网网络规模迅速扩展，链路带宽快速增长的实际状况，可以根据需要支持采用数据采集的抽样模式或对采集到的原始数据进行自动汇聚的方式，减少和压缩网管中心管理服务器需要处理的数据量，确保管理系统的处理能力能够适应网络规模的增长。

　　Netflow技术简介

　　作为业界领先的互联网解决方案提供商，思科公司不但提供了性能卓越的网络设备，还同步配套研发了专门针对客户对网络流量和流向分析需求的Netflow技术。下面对Netflow技术做一个简单介绍。

　　Netflow技术的起源

　　Netflow 技术最早是于1996年由思科公司的Darren Kerr和Barry Bruins发明的，并于同年5月注册为美国专利，专利号为6，243，667.Netflow技术首先被用于网络设备对数据交换进行加速，并可同步实现对高速转发的IP数据流（Flow）进行测量和统计。经过多年的技术演进，Netflow原来用于数据交换加速的功能已经逐步由网络设备中的专用ASIC 芯片实现，而对流经网络设备的IP数据流进行测量和统计的功能也已更加成熟，并成为了当今互联网领域公认的最主要的IP/MPLS流量分析，统计和计费行业标准。Netflow技术能对IP/MPLS网络的通信流量进行详细的行为模式分析和计量，并提供网络运行的详细统计数据。

IP网络中的数据流（Flow）信息

　　为对运营商网络中不同类型的业务流进行准确的流量和流向分析与计量，首先需要对网络中传输的各种类型数据包进行区分。由于IP网络的非面向连接特性，网络中不同类型业务的通信可能是任意一台终端设备向另一台终端设备发送的一组IP数据包，这组数据包实际上就构成了运营商网络中某种业务的一个数据流（Flow）。如果管理系统能对全网传送的所有数据流进行区分，准确记录传送时间、传送方向和数据流的大小，就可以对运营商全网所有业务流的流量和流向进行分析和统计。

　　通过分析网络中不同数据流间的差别，可以发现判断任何两个IP数据包是否属于同一个数据流实际上可以通过分析IP数据包的下属7个属性来实现，即数据包的：

　　* 源IP地址

　　* 目标IP地址

　　* 源通信端口号

　　* 目标通信端口号

　　* 第三层协议类型

　　* TOS字节（DSCP）

　　* 网络设备输入（或输出）的逻辑网络端口（ifIndex）

　　思科公司的Netflow技术就是利用分析IP数据包的上述7个属性，可以快速区分网络中传送的各种不同类型业务的数据流。对区分出的每个数据流 Netflow可以进行单独地跟踪和准确计量，记录其传送方向和目的地等流向特性，统计其起始和结束时间，服务类型，包含的数据包数量和字节数量等流量信息。对采集到的数据流流量和流向信息，Netflow可以定期输出原始记录，也可以对原始记录进行自动汇聚后输出统计结果。

Netflow的处理机制

　　从发明之初思科公司的Netflow技术就已完全融入了IOS操作系统中。由于Netflow技术支持所有类型的网络端口类型，所以每台内置有 Netflow 功能的思科网络设备都可以作为网络中一台能够测量、采集和输出网络流量和流向管理信息的数据采集器。而且因为Netflow实现的管理功能是由网络设备本身完成的，所以运营商无需购买额外的硬件设备，也无需为安装这些硬件设备占用宝贵的网络端口或改变网络链路的连接关系。这些都将转化成对网络运营成本的大幅度降低，对运营商级的大型网络优势尤其明显。

　　为进一步提高Netflow技术对网络流量和流向信息进行采集和统计的效率和灵活性，Netflow还引进了多级的处理流程，如下图所示：

　　在预处理阶段，Netflow可以首先根据网络管理的需要对特定级别的数据流进行过滤或对高速网络端口进行数据包抽样，这样可以在确保需要的管理信息被采集和统计的同时，减少网络设备的处理负荷，增加全系统的可扩展性。

　　在后处理阶段，Netflow可以选择把采集到的数据流原始统计信息全部输出，由上层管理服务器统一接收后再进行数据的分类处理和汇总；也可以选择由网络设备自身对原始统计信息进行多种形式的数据汇聚，只把汇总后的统计结果发送给上层管理服务器。由网络设备进行原始统计信息的汇聚可以大大减少网络设备输出的数据量，降低对上层管理服务器的配置要求，提高上层管理系统的扩展性和工作效率。

　　Netflow支持同时向两个管理服务器地址输出采集到的网络流量和流向统计信息，输出数据的方式有三种：

　　1. 简单高效UDP传输协议方式（传统方式）。但由于采用了UDP协议，数据传输的可靠性是不保证的。

　　2. SNMP MIB方式。管理服务器可以通过SNMP协议访问网络设备Netflow MIB库中存储的数据流Top N统计结果。

　　3. 可靠的SCTP传输协议方式。利用SCTP传输协议，支持拥塞识别，重传和排队机制，确保Netflow统计结果数据正确发送给上层管理服务器。