科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航



ZDNet>网络频道>ZD评测>骨干网络中追查异常流量威胁(图文)

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

我们以东软的NTARS系统为例,分析其对带宽高达10G以上的流量是如何进行实时监测和异常分析、解决的。

来源:IT168 2008年05月07日

关键字:局域网控制 局域网 局域网监控软件 局域网监控

 1.1 骨干网络运维面临新课题

  运营商业务承载类网络和行业客户骨干链路系统是高端网络的主要代表。而随着业务系统的逐年扩大,部分企业网络系统也越来越多的体现出高端网络的特征,包括电信运营商围绕承载网而建设的支撑类网络也逐步加入到高端网络阵营。

  高端网络由于其独有的特点决定了其无法按照一般信息系统的安全建设思路进行安全防护体系建设,而完全没有安全防护的高端网络也同时失去了面向客户提供合格服务质量的基础保障:

  * 高端网络最根本的运维要点在于如何向接入用户网络提供满足要求的服务质量承诺,尤其是带宽和响应延迟指标。但是,接入用户网络是作为一个完全的网络对等体出现的,高端网络无法确定该部分网络区域究竟需要什么样的访问控制策略,因此在接入链路近端(高端网络侧)无法设置访问控制点;

  * 传统的安全建设都是在远端的接入网络内部(Stub网络)进行的,通常由接入单位出资建设并管理。相应的,其根本宗旨也仅局限于如何保障该接入网络不受来自其他网络的攻击,而从未考虑过(也无义务考虑)如何防范该接入端网络侵害高端网络所连接的其他网络部分;

  * 接入用户网络除了发起正常业务流量之外,各类桌面系统也同时发出大量随机流量,如仅用作个人通信的P2P流量、易感蠕虫病毒的传播流量、吞噬带宽的BT类文件传输流量等,这些流量通常与接入用户网络应用业务无关。在这种情况下,接入用户网络发出的网络流量图式是非常不确定的。高端网络难以获知哪些流量是正常流量、哪些流量是不受欢迎的垃圾流量;

  * 高端网络的实际带宽远远小于所有接入用户网络的承诺带宽总和。因此,当接入用户网络链路充斥着大量垃圾流量的时候,高端网络的交换能力将受到直接挑战,这种情况对接入客户比较关注的正常业务服务质量将造成严重影响。这是高端网络在运行维护方面的主要矛盾;

  * 同时,高端网络强调的是向接入用户网络提供高度稳定的网络带宽可用性,在高端网络区域边界点上进行访问控制设备、流量限制设备部署(如防火墙、流量管理设备)将直接降低高端网络系统整体的稳定性。因此,在高端网络上部署串联式控制设备是非常不明智的;

  * 为保证高端网络有限的带宽资源能够被合理使用,高端网络运维人员迫切需要一种旁路式的流量检测分析系统来提供较为直观的带宽占用情况监控能力,并且该系统能够将流量分析、应用检测、行为判定等特征与网络运行管理传统功能高度关联,从安全管理与网络管理两个层面多管齐下,以全局性的骨干网络运行维护视角为实现大范围的用户服务质量保证提供基础支撑;

  * 然而,在异常流量分析技术出现之前,运维人员却不幸地发现已有的各种旁路监测系统根本无法满足高端网络的流量分析需求,如IDS系统无法提供高速链路流量实时分析处理能力和网络管理维护概念、网络管理系统缺乏应用层分析能力和异常行为检测能力等。

  所以在新的异常流量分析与响应机制出现之前,由于技术手段的缺乏,高端网络处在一种安全建设的空白期,正常业务流量与垃圾流量争抢骨干链路有限的带宽资源,并且因为垃圾流量的分布性特点又往往使之在这种竞争中占据了上风。

  1.2 传统技术的窘迫:不适用骨干网络的流量防护

  传统安全技术几乎都不适用高端网络骨干链路的流量防护,原因简述如下。

  1.2.1 串接式设备举步维艰

  普通企业网络通常会采用类似于防火墙、IPS、DDoS过滤器等设备,通过在企业网边界点上的部署防止异常流量由低等级区域向关键区域渗透。然而,这种解决思路并不适合高端网络,主要表现如下:

  1) 防火墙、DDos过滤器等串接设备显著降低高端网络的稳定性。高端网络是面向广大接入用户提供高速互联服务的中间网络,其宗旨在于通过高度稳定的网络带宽和服务质量满足接入用户互联互通的需求。为此,高端网络从网络设备、拓扑设计、链路资源、运维管理等各方面均不惜重金投入人力物力,为提高网络稳定性付出巨大的前期投入。然而,诸如防火墙或DDoS过滤器等设备工作重点在于提高系统安全性而非稳定性,其系统MTBF指标比主流网络设备要逊色许多。在高端网络区域边界点上部署此类设备将直接造成两个负面影响:一是人为增加了单一故障点,二是把高端网络整体稳定性直接拉低为DDoS过滤器设备本身的稳定性。因此,在高端网络上部署串联式设备是得不偿失的;

  2) 串接设备难以提供足够的处理性能。高端网络动辄采用的万兆以上链路是现有串接设备难以望之项背的。一般FW、DDoS过滤器通常针对普通企业用户进行设计,其系统处理性能往往局限在1000M bps以下,因此无法提供与保护目标相称的处理能力;

  3) 串接设备无法提供对应的接口类型。防火墙等过滤设备主要面向下游接入网络提供服务,网络接口基本局限为100/1000M以太链路,而作为中间互连通道的高端网络骨干链路中却广泛采用了10GE、OC-192 POS等规程,这对于构建在通用硬件平台上的DDoS过滤设备来难以配置相应接口板卡。

  正是由于传统串接防护设备显而易见的局限性,决定了其无法在高端网络中进行应用部署。

  1.2.2 无法准确界定DDOS

  当寻求传统DDoS解决方案受挫后,高端网络运维部门转而在网络设备管理维护体系中进行尝试,采取的方式通常包括在网络路由设备中增加静态ACL、手动调整QoS流量整形策略等。但这似乎由一个极端走向了另一个极端,完全忽略了一个现实问题——以DDoS、蠕虫为代表的异常流量本质上是一种人<—>人对垒的网络安全斗争,而非人<—>机之间刻板的流量管理配置。这主要是由于以下原因造成的:

  * ACL列表不可能事前得到异常流量特征。DDoS流量的源IP地址是极为分散的(这主要取决于Botnet),目的IP地址也并不固定(这是因为DDoS的真正目标并不在于目的IP所指向的网络单元,而是迫使DDoS流经的骨干链路遭受“池鱼之灾”即可),因此静态ACL过滤无法准确命中DDoS流量;

  * 异常流量无法通过简单的流量统计数字进行识别。一个简单的例子可以说明: 同样是10K bps/s的ICMP ECHO流量,在5G bps/s背景负载情况下并不能说明什么问题,而对于5M bps/s的背景负载则几乎等同于一次Flooding攻击。因此,通过人工调整的流量整形策略无法在链路瞬息万变的各种流量比例关系中快速定位异常流量的发生;

  * 网络设备难以识破异常流量的伪装。部分DDoS、蠕虫、P2P通信具备良好的伪装能力,能够混杂在正常业务应用中而使网络设备无法通过传输层以下的表象特征进行识别,这种应用层伪装能力已远远超出网络设备的能力范围。

  由此可见,高端网络骨干链路在应对异常流量威胁时所需要的既不是脆弱的传统DDoS过滤设备,也不能是简单粗暴的网络层ACL访问控制机制。高端网络需要的是一种既可保持网络系统健壮性又能提供较高检测命中率的新颖思路。

  2.1 NTARS流量分析系统:新的应对之道

  NTARS(Network Traffic Analyse & Response System)网络流量分析与响应系统是东软公司面向高端网络领域推出的流量分析系统,并由于一脉相承的血统缘故,NTARS不仅具备一般网络流量分析系统的仪表功能,而且着重突出系统在异常流量分析方面的专长技能并提供多种响应处理手段。

  NTARS定位于运营商骨干等高端网络的检测分析,通过对骨干流量信息的提取、分析,实时检测网络中DoS/DDoS攻击、P2P通信、Worm、Spam等网络滥用事件,进而驱动响应系统进行阻断防御。同时,面向管理员提供流量图式、趋势预警、关键应用服务质量等各类关于骨干网络运行状况的统计分析数据,帮助管理员监控和掌握骨干链路及关键资源的运行情况。

  在防护目标上,与FW、IPS等传统安全设备相比,NTARS的保护对象不再是例如内网区域、关键服务器等有形资产,而是将主要关注以链路带宽、网元处理能力为代表的无形资产上。

  2.2 ICA复合采集机制:按需获得可疑流量信息

  NTARS所实现的ICA复合采集机制,广泛吸取Netflow、Sflow、Cflowd、NetStream、Port Mirroring、SNMP等各项技术的综合优势,通过多种渠道获得采集对象的传输层以下各协议层特征甚至可按需获得可疑流量应用层完整信息,为准确检测海量背景压力下混杂的DDoS流量提供多元化的基础数据。ICA复合采集机制所呈现的技术优势表现在以下几方面:

  * 旁路接入设计。

  * ICA复合采集机制完全通过旁路接入方式实现对监控网络的分析采集,能够彻底排除串联式DDoS防护机制给原有网络稳定性所引入的负面影响,同时还利用现有设备内嵌的各类Agent自动完成数据提取,可无缝支持各种物理/链路层规程接口,如POS、MPLS、万兆以太等;

  * 高度复合的数据采集能力。

  * ICA技术所支持的各种采集方式不再是简单的并列平行运作,而是能够按照检测策略要求在彼此之间进行智能化的复合关联,一种数据采集方式所产生的分析结果能够智能驱动其他数据采集方式的启用,自动引导数据进入不同层次的分析引擎中。如基于Flow/SNMP的采集数据所产生的分析报告,在NTARS主控模块协调下能够自动触发SPAN、网元配置分析等操作,从而将可疑流量有选择的分流到高层分析模块中;

  * 疏密有致的检测作业分工。

  * ICA多种采集方式直接对应到NTARS不同的分析引擎,各分析引擎提供针对不同层面的专项作业分工。通过不同引擎的配合,NTARS不仅可以成功发现分布在传输层以下的DDoS流量,并且还有能力对应用层内部的DDoS行为进行准确检测。各引擎之间既分工独立又可智能协同,能够广泛适用于网络性能分析、异常流量检测、服务质量监控、应用层安全过滤等多种环境中。

  2.3 NTARS工作机理:针对目标系统的流量特征数据

  NTARS综合采用Flow分析技术、安全响应抑制技术和传统网络管理部分功能,以旁路部署方式提取流量摘要,对帧数、帧长、协议、端口、标志位、IP路由、物理路径、CPU/RAM消耗、带宽占用等直接特征进行监测并基于时间、拓扑、节点等进行统计分析,建立现行流量分布数学模型(Current Traffic Pattern),并与已知模型(Unified Traffic Pattern)进行实时比对分析,以期发现统计意义上的流量分布异常情况亦即流量图式偏离(Pattern Deviation)。

  

  针对每种比对结果,NTARS系统都力争将其落在已知的异常流量模型(Abnormity Model)范围中,并以此给出告警解释或进一步提供智能化的策略响应。

  以上所提及的各类流量模型是NTARS系统的运算工具,而系统的工作对象是目标系统的流量特征数据。

  2.3.1 基于统计抽样的高效基线比对

  NTARS能够通过流量基线和流量阀值两种方式提供全局流量检测服务,流量基线和流量阀值分别描述了目标链路流量分布的“正常”和“异常”:

  * 基线描述了正常情况下目标链路的流量分布和变化规律。NTARS既可以根据收集到的信息自动生成流量基线,也允许管理员手工调整定制,使得基线更加贴近目标链路的实际情况。基线功能可以通过对一个指定时间周期内各项流量图式指标的定义(如总体网络流量水平、流量波动、流量跳变等),建立流量异常监测的基础模型,并可在运行中不断自我修正以完成与实际运行特征的吻合,从而提高对异常流量报警的准确性;

  * 和流量基线相比,流量阀值则直接定义了目标链路中流量异常的情况。当指定范围内的流量指标超过该阀值时,系统则判定网络中出现流量异常,并作出报警和安全响应。

  流量基线和流量阀值,分别从正常、异常两种视角对目标链路的健康状况进行描述,两者的结合使用有效促进NTARS及时、准确的检测和定位异常行为,并为系统自动响应机制提供有关异常流量的规范性描述。

  2.3.2 基于样本描述的精准特征匹配

  为了将混杂在正常业务应用流量中、大量消耗网络带宽的类DDoS异常行为(如Worm、Spam)准确识别出来,NTARS专门增加了基于样本描述的特征匹配检测引擎,为应用层内部的异常行为进行专项检测,把DDoS防护范围从单纯的传输层以下进一步扩大到OSI所有层面。

  NetEye安全实验室提供持续更新的特征规则库。NetEye特征库采用了东软公司自主产权的NEL语言对业内已知有关网络安全的异常行为进行了严格、精确的特征描述,是NTARS进行应用层异常识别的技术基础。

  同时,NTARS体现出更多的网络管理职能色彩,例如网络接入控制、IP路由导出及策略路由注入、CAM信息检索、网络拓扑发现、网元性能监控等,使之功能不再局限在针对特定信息资产的被动防护安全范畴,而逐渐形成着眼于全网带宽资源、网络访问行为统计分布、网元状态及性能等网络基础特征的监测分析并最终提供有效的服务质量保证支撑手段。

  2.4 把行为检测与安全防护有机统一

  如果说基线概念的出现代表着网络性能分析阶段与异常行为检测阶段的临界点,那NTARS系统所具备的多种响应能力则把行为检测与安全防护两大职能分类进行了有机统一。

  NTARS名字中的" R"(esponse)清晰地传达出东软公司对其防护能力所寄托的厚望。尽管采用旁路部署方式,NTARS却轻松实现了对DDoS等异常行为的主动干预,从而将其与单纯的检测报警类设备泾渭分明的区别开来。

  2.4.1 黑洞路由导入

  对于源目的IP或者服务类型较为确定的DDoS流量,NTARS能够通过BGP、OSPF协议与指定路由设备进行通信或直接进行CLI静态路由配置,设置Black hole黑洞路由,从而使路由设备将异常流量直接抛弃。

  相对于ACL访问控制规则Deny操作而言,Black hole可实现更快的处理速度,避免NTARS所加载的反响抑制措施对路由设备造成额外的处理负荷。

  2.4.2 流量牵引及净化

  同时,NTARS支持与外挂安全过滤设备的协同,如NTPG(东软NetEye网络流量净化网关)、FW、IPS、防病毒过滤网关等。安全过滤设备将为NTARS提供作为专业的流量过滤净化服务。

  为此,NTARS在对异常流量作为正确判断后,将通过BGP或CLI方式对可疑流量进行选择性牵引,诱导路由设备将可疑流量转发至特定安全过滤设备,凭借专业化检测过滤机制对可疑流量进行深度分析和控制。经过滤净化后的流量将按照管理员预设策略重新进入原有路由路径中,从而实现对高带宽流量有选择、分层次的深度过滤分析作业。

  几乎所有主流防火墙、IPS、防病毒过滤网关等系统都可以成为NTARS外挂设备,NTARS将根据外挂设备的具体处理能力决定牵引流量的上限带宽,从而保证外挂过滤设备的介入不会对原有网络转发能力造成负面影响。除此之外,外挂设备处理能力的上限阀值也可以被NTARS作为重要参考因素,并据此完成同类别外挂设备之间的负载分流。

  2.4.3 自动调整ACL及traffic shaping

  另外,NTARS还具备通过CLI调整指定路由设备配置文件的能力。NTARS可遵循由NEL语言预设的语法规则,完成与特定路由设备的命令行交互,按照各分析引擎的检测结果自动调整路由设备的ACL和流量整形策略,迫使路由设备拒绝相应DDoS流量或按照指定阀值自动抛弃超出部分流量,对DDoS流量进行有效抑制。

  通过NTARS的多种响应手段,网络运维人员得到的不再是令人眼花缭乱的空洞报警,而是系统针对DDoS流量自动采取控制机制的切实收益。

  3、 NTARS系统的适用性

  NTARS是集检测与响应于一身的混合型防护设备,不仅通过旁路部署的方式避免了对高端网络稳定性的影响,而且又利用BGP/CLI等方式完成了对可疑流量的反向抑制。对于高端网络运维而言,NTARS综合提供了统计分析、异常检测和反向抑制三大部分功能,是对DDoS、Spam等进行有效反制的不二之选。

  应该说,NTARS几乎就是针对高端网络安全运行维护需要而量身定做的,正是这种应时而出的先天优势使之在高端网络流量监控方面呈现出高度的适用性:

  1) NTARS能够使网管人员不仅获知带宽正在被占用多少(如同常见的网管系统那样),而且能够掌握带宽在何时被何人的何种应用占据了多大比例;

  2) NTARS把流量统计分析与应用层内容检测高效结合起来,通过科学的统计/抽样分析理论解决了处理性能对检测流量带宽的局限性,从而把安全防护体系从边缘接入区域扩展到骨干链路区域;

  3) NTARS不仅可以检测特定连接中是否承载非法内容,更能判别当前网络中所有会话彼此之间的分布比例是否合理。因此,异常流量分析技术已经实现了“从单一具体目标防护到全局运行状态监控”质的跨越;

  4) NTARS采用了驱动路由/交换设备的智能响应方式,通过分布式的控制手段避免了单一访问控制点对目标系统可用性的损害;

  5) NTARS在实现安全防护的同时,丝毫未降低目标网络的稳定性,对目标网络的性能也未产生可察觉的降低;

  6) NTARS是安全防护体系与网络管理体系的结合体,能够从网络全局而非单一网元的角度给出详细的统计分析和建议,是真正针对大网运维的安全系统。

  由此可见,NTARS系统正是为填补骨干链路安全防护空白而出现的新兴技术,充分满足目标网络对可用性、稳定性的高度要求,结合网络安全技术与网络管理技术,为高端网络的流量分析、行为判别、应用检测和合理响应给出完整的解决手段,将在运行维护部门向蠕虫蔓延、BT下载、P2P通信等高带宽消耗类访问行为的战斗中发挥不可替代的决定性作用。

  NTARS系统不再仅仅作为安全管理的专用工具而出现,而逐渐在高端网络的运行维护管理中得到认同和运用。

推广二维码
邮件订阅

如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

重磅专题