科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网网络频道“招安”P2P——从限制流量到技术改良

“招安”P2P——从限制流量到技术改良

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

在过去,运营商们若看到监控系统上的P2P流量一定会感到头大。如今在对P4P、PCDN等新技术的探索中,运营商们正积极利用这种技术拓展自己的内容服务能力……

作者:闫冰 来源:网界网   2008年7月9日

关键字: p2p 限制流量 网络管理 网络管理软件

  • 评论
  • 分享微博
  • 分享邮件

  在过去,运营商们若看到监控系统上的P2P流量一定会感到头大。如今在对P4P、PCDN等新技术的探索中,运营商们正积极利用这种技术拓展自己的内容服务能力……

  “草寇” P2P横行互联网

  BitTorrent、比特精灵、迅雷(Thunder)、电驴(eMule或eDonkey)、酷狗、风行、PPLive、QQTV……这些为网络草民所津津乐道的P2P工具,差不多都快成为运营商们的噩梦了。

  根据CNNIC(中国互联网络信息中心)去年6月份的统计数据,在线下载视频和音频节目的用户分别占互联网用户总数的61.1%和68.5%;而中国电信在2006年年底的统计显示,P2P业务已成为消耗骨干网带宽的主要应用,白天占35%~60%,晚上占50%~90%,一个高清视频所占的带宽相当于35000倍Web页面消耗的带宽。

  我们看到,基于P2P技术的各类应用占据了骨干网带宽的大部分,但P2P流量的无序性和免费使用却使得运营商无法获得带宽建设的投资回报,还降低了收费业务的网络质量。

  另外,P2P技术的传输方式通常是先将大型数据文件分成小块,再通过多个Peer(对等点)来源进行传输,在收到所有的数据后,完整的文件被重新组装起来。虽然这种文件分发的方式比传统的CS(客户端服务器)模式速度要快,但由于其选择Peer的随机性,往往是从它可以找到的任意来源中下载数据而没有考虑到网络效率问题,因此给运营商造成了严重的流量管理问题。

  要命的是,这种P2P应用还有越来越风靡的趋势,更多的P2P软件工具和应用被开发出来,伴随而来的是运营商在监控系统上看到的不断上涨的带宽占有率。

  “镇压” 限制P2P有难度

  P2P的风行造成了网络带宽的极大消耗,据说连最早P2P工具的发明者都颇感后悔,甚至到后来还将P2P的特征做了收集,提出P2P缓存技术进行补救。

  对于运营商来说,一个简单可行的办法就是实时监控带宽流量,对P2P流量进行带宽限制。某运营商运行维护部的工程师介绍说,该公司所属省网和骨干网之间连接(通过一台交换机相连接)的用于流量监控的服务器就有70~80台,主要是通过宽带用户行为分析系统对IP报文头进行分析,区分出P2P文件下载和P2P流媒体等特定应用的情况。“如果P2P流量占得太多,就在链路上采取一些抑制的办法(通过软件可以设置某地区中某个群组在一定时间段内的流量阀值),把P2P压下去!”该工程师坦言,“没办法,P2P实在是太耗带宽了。不管怎么扩充出口带宽,总还是能被占尽,而且基本都是P2P流量,我们哪有那么多资金做设备投资啊!”

  而企业网中的管理人员就只能在网络设备上想办法,在网上各种技术论坛里,充满了对如何在交换机上限制P2P流量的讨论帖。一些初级的网络管理员还会使用P2P终结者、聚生网管这样的局域网控制管理软件,但这些利用ARP欺骗的软件只要在局域网中的任何一台上安装,就可以随意限制整个网络其他计算机的网速和P2P下载带宽,甚至断开某台电脑的网络,反而带来了不安全的因素。

  好在某些网络设备自身具有对P2P流量的控制管理功能。比如D-Link的DPF全能策略流控系统,就采用应用层深层次包分析技术,精确地识别和监控P2P应用,且最高处理能力可达32Gbps。而作为用户Internet出口的网关代理服务器,Blue Coat公司的ProxySG系列代理服务器的理念就是只加速“好”的应用,对于P2P流量这种与用户办公无关的应用基本采取限制措施。Blue Coat大中国区技术经理毛俊表示,这种限制措施主要是“Block”和“Control”两种方式,既可以完全阻止P2P流量,也可以控制使用。其中外企、金融行业和高科技行业等对安全策略要求很严格的公司多采取第一种方式;第二种方式则主要针对政府、国内某些企业用户对P2P应用的特殊需求,用户一方面需要P2P可用,但又担心带宽被消耗太大。ProxySG设备可实现分时段、用户、P2P软件种类进行控制,甚至还能实现对P2P应用的认证,还包括记录谁应用了P2P等审计的功能。

  “不过,对P2P流量的识别和控制其实是非常难的。”毛俊坦言,“P2P应用厂商在不断升级软件版本,不是每个厂商都能对各种类型的P2P流量进行处理。Blue Coat最近收购了Packeteer公司,后者的流量整形功能能够更细致地进行带宽管理,管理员可以自行定义应用特征库,只要输入某个种类的P2P应用特征,即可以实现对该应用的控制。”

  F5公司中国区技术总监吴静涛也表示,由于P2P是一种服务端口可变的协议,甚至可以封装在HTTP包当中传输,因此三层以下的网络设备对P2P流量都基本没辙。P2P目前只有一个办法就是抓特征码,因为一般成熟P2P软件的协议特征码是不会随意改变的。而这种方式目前只有少数几家公司的设备可以处理,采取的方式是把传输包打开对其协议特征进行判断,从而进行分流处理实现带宽管理。不过,要把每个包打开,还面临一个性能瓶颈的问题,也就是怎样处理如此大的流量。

  “用补丁式的网络解决不了P2P的问题,用户需要加强边缘交换机的控制能力。”惠普ProCurve网络业务部技术总监储斌认为,要想控制P2P流量,就必须从网络体系结构上想办法。“P2P是一种扩散渗透性的流量,它彻底打破了先前的CS结构,现在的企业网遭遇P2P问题恰恰说明传统的金字塔型局域网体系结构到了要改造的时候了。”

  “招安” 既要利用又要控制

  P2P应用发展的大潮不可倒退,而要解决P2P网络传输效率或者说对带宽的消耗问题,正面围堵也绝对不是好办法,更何况P2P又是不可能完全封堵的。从以上运营商、厂商和企业网的种种尝试来看,我们还需要寻找新的技术来引导和利用P2P。

  于是,以运营商为主的P2P“受害者”开始主动寻求合理利用这项技术的办法。不约而同地,运营商们从不同角度设想了在P2P的基础上进行分流和管理的模式,也就是在利用P2P传输机制优势的同时将P2P控制在一定范围内活动。

  中国网通在四月份推出了基于P2P技术传输的全新视频网络服务“视网计划”。希望通过可管理可运营的P2P技术,在传统网络上构建一张运营商级P2P传输播放网络,由单纯的“资源出租”转变专业化的“视频网络服务”。该网络由内容发布网络和播放网络两部分构成,由发布服务器自动地将节目内容分发到视频网络分布在各个节点内的播放服务器上,同时又在内容发布源和用户P2P网络之间加入运营服务器,实现了内容监控、流量计费、版权保护等诸多功能。拿版权保护来说,用户P2P下载到本地的电影其实是加密的,当用户使用特定的播放器打开文件时,播放器会访问上层的运营服务器查看该用户是否已付费,这样就实现了对内容资源的控制。

  另外,由于与CDN(内容分发网络)架构类似,P2P也和CDN结合在一起。某电信运营商目前就正在联合P2P应用厂商和广域网设备厂商探讨将P2P应用到CDN网络上的可行性。该运营商希望能够将CDN与P2P两种技术结合起来,在本网内部建设CDN节点,而将非本网用户的访问转为P2P流量,使得非本网用户可以在当地获得一定内容传输支持。这样既实现了增值内容在更广范围的推广,又解决了核心网的带宽压力,以及CDN的投资成本和跨网传输问题,可谓一举多得。不过,作为运营商肯定要对这些流量进行运营,这就会面临一个监管计费的实现问题,在没有利用P2P技术的时候,所有流量都通过CDN设备进行监管,但现在的模式就需要在中间加上一层监管设备对下面的P2P流量进行控制,至少要对P2P的控制流(管理信息)进行监管。

  “番号” P4P、PCDN及其他

  被“招安”的P2P也被赋予了新的名称,网通“视网计划”背后所采用的就是一种被叫做SNS(个人社会网络)的技术。网通宽带合作方,北京中视互动网络科技有限公司技术总监鲁国凌介绍说,SNS技术就是在网通主干网上部署了若干节点作为内容起始Peer,同时用户之间也方便进行数据交互。比如用户在同一局域网要下载一部电影,可能只需要从节点的服务器上下载1%,而其他99%的内容都是从其他用户那里下载,并且只要下载一份,局域网的其他用户也就可以同时观看了。

  据悉,一个SNS网络至少包含6种协议:PEER发现协议、共享传输协议、网格计算协议、组元广播协议、视频流控制协议、数字内容保护协议和商业运营服务协议。

  这种技术与传统CDN的不同之处在于,CDN只提高了网络传输速率并不节省带宽,而基于P2P的SNS技术,使得网络资源的传输更多是从用户那里进行,节省了带宽成本。此外,SNS与传统P2P的不同之处,是在于实现了P2P的可控分流模式,不会因为P2P流量造成某个区域的局部带宽阻塞,并且全新的Peer发现协议会显著地降低局部网络压力,比传统的P2P数据传输效率更高。这样,其实有3台服务器充当Peer起始端就可以在全球范围实现视频节目的高清播放。

  实际上,这种SNS技术与分布式计算行业协会(DCIA)提出的P4P(全称Proactive network Provider Participation for P2P)非常类似。P4P旨在加强服务供应商(ISP)与客户端程序的通信,降低骨干网络传输压力和运营成本,并提高改良的P2P文件传输的性能。与P2P使用几乎完全网络中立的随机对等技术不同,P4P协议可以协调网络拓扑数据,能够智能地选择Peer(对等机),从而提高网络路由效率,降低骨干网的流量。

  Verizon高级工程师、P4P工作组联合主席Doug Pasko表示,在Verizon使用Pando公司设备进行的测试中,尝试使用标准P2P技术下载文件的对等用户只能从住在同一个城市地区的人那里得到大约6%的数据;而在使用P4P时,他们通过住在同一个城市地区的人得到58%的数据。此外,现场测试还证明了使用标准P2P技术的ISP在文件传输过程中平均使用5.5条长途链路,而P4P传输平均只使用0.89条长途链路。

  上面提到的另外一个例子则比较接近一种叫做PCDN的技术,该技术实际上是在CDN节点的边缘构建了基于用户的P2P自治域,通过集中的分布式架构将P2P的流量严格限制在同一边缘节点的区域内。这种方式对于IPTV等视频的传输是比较好的,如果同时点播观看视频的人数达不到P2P要求,也就是不能流畅播放的话,还可以通过CDN进行弥补,这里CDN其实是充当了补充所缺带宽的角色。

  “类似PCDN的方式我们也考虑过。”国内CDN联盟的创始人黄万根表示,“不过这种方式对于视频加速还可以,对网页加速的效果并不好,因为PCDN需要用户安装P2P插件,在同一时间内浏览网页的概率相对较小。”实际上,CDN联盟本身就应用了P2P的模式,大家把服务器共享出来成为CDN节点,达到CDN网络优化和加速的作用。此外,CDN联盟还在针对文件分发和流媒体的CDN加速中应用到了P2P技术,也就是在CDN网络中的服务器之间实现P2P连接,这样就不用再到中心节点的存储上找内容了。这种“P2P服务器”的模式也是一种比较有意思的尝试。

  P4P、PCDN、SNS,以及基于服务器的P2P,无论是对P2P技术自身的改良,还是P2P与CDN相结合的方式,都使得“招安”后的P2P获得了良性发展的强大推动力。相信类似技术的不断涌现和发展,还将促进P2P更好地为广大网络用户服务。

  编看编想:当P2P进入企业网

  P2P通常被认为是互联网上的一种技术,因此对于运营商来说都比较看重;而P2P的最终用户都在家庭网络中使用,所以一些家用网络设备增加直接下载BT的功能也不足为奇。但企业局域网是否也能用到P2P技术呢?

  从目前来看,答案还是否定的。对于企业用户来说,P2P下载对内部带宽资源的占用,以及一些P2P的网站和共享内容携带病毒的可能性(一般的防毒墙网关扫描不到),使得P2P在效率和安全方面不得人心。另外,P2P流量也确实不是什么有用的业务,因此目前企业网对P2P流量的禁限措施很容易理解。

  但从长期的角度看,P2P有希望成为Internet上非常好的网络补充解决方案,包括在企业网上的一些应用情况也不能排除在外。谁说不会出现远程分支机构的P2P文件共享应用,或者采用P2P流量技术的视频会议系统呢?

  目前,P4P研究小组正在积极考虑向P4P框架中添加缓存技术,人们也正在尝试向P2P中添加更多的特性和服务质量协议,在解决了P2P不可控的问题后,这项技术在未来只会变得越来越流行。如果哪家企业或技术人员有先见之明,不妨尝试让“招安”后的P2P在自己的企业网中表现一把,看能否发挥作用。那个谈P2P色变的时代恐怕是要慢慢过去了。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章