扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
编者按:从一个数据中心机房,发展到15个数据中心机房,经过七年发展,TOM在线从单一的新闻门户网站,发展集到门户、短信增值业务、在线游戏等一体的综合平台,在这个过程中,其网络系统是如何保证业务的发展的呢?
众所周知,到目前为止,TOM在线是目前国内仅次于新浪、SOHU等的排名靠前的门户网站。它除了新闻、娱乐门户外,其短信、彩铃等无线增值服务,TOM易趣电子商务交易平台,成为了很多人的工作、娱乐平台。
然而你可知道,在2001年,TOM在线还仅仅是一家规模较小的新闻类门户网站,经过七年的发展,而成为了国内名列三甲的综合门户平台。在这里,TOM并不想讨论TOM在线的在线业务是如何快速发展的。
本文关注的是,当TOM的在线业务快速发展的时候,网站访问流量急速增长,在这个过程中,TOM的网络系统是如何建设的?它是如何保障TOM的在线业务稳定快速的运转的呢?
不少人有这么一种思维:当企业的关键业务快速发展后,其对网络系统的需求增长,从而出现带宽少、用户网络访问速度慢等情况,此时,再想办法去解决,去升级改造网络系统。其实,这种出了问题再解决的方法是非常有害的。对于企业网络运维部门来说,真正需要做的是:要有一种提前的思维,把未来的问题消灭在当前。让TOM看看TOM在线是怎么做的。
2001年起步:新闻门户阶段,只有一个世纪互联的数据中心
TOM在线是2001年在国内起步的,当时主要是新闻门户网站,网站的主要业务就是网络资讯频道,为大家提供新闻资讯服务。在这个时候,TOM由于网站的流量规模并非很大,因此只有一个世纪互联的数据中心,并有2G光纤的外网接入带宽。为了保证稳定性,并提供了1G的备份带宽接入。
此时,TOM的机房网络是Foundry和F5的设备在一起使用,其中,Foundry BigIron8000承担了路由、交换的角色,并且承担了部份负载均衡作用。而F5的BIGIP Blade Server(F5的早期负载均衡产品),同步承担部份负载均衡作用。
然而,经过相当时候的运转后,TOM的网络运维部门发现:Foundry路由交换负载均衡设备是建立在传统的配线架结构上的,这种传统的配线架结构容易氧化而不稳定。更重要的是,当时的Foundry为全硬件设备,集成度低,发热量大,稳定性较差。并且,Foundry仅使用了基本的四层交换功能。
与之相反的是,F5 BIGIP Blade Server则提供了多种智能的负载分配策略。此外,F5提高了HA的解决方案,对网站的稳定性有非常大的提升。可以根据服务器负载的情况选择不同的服务器,负载交换机的服务器,响应用户的请求,以此提高单个请求的用户响应时间。
在这种情况下,TOM的网络运维部门同事对网络系统提出了讨论:到底是网络系统应该全部采用Foundry的设备呢?还是采用F5的负载均衡设备?
编者注:其实,在2001年,有一个非常重要的信息:国家将对南北电信的划分有一个计划,很可能会实现南北拆分。此时,TOM的网络运维部门同事很快意识到:当电信拆分成两部份后,两者肯定会出现矛盾,而网络访问速度也肯定将受到影响。到底应该采用何种手段,来提前解决这个问题?
于是,TOM的网络运维部门同事关注到了F5的3DNS网络产品(广域网负载均衡的前身),并开始做前期的技术准备。事实证明,TOM的提前准备是很有价值的。
2002年:社区游戏+DOS攻击,促使F5取代Foundry/Netscreen
2002年中期,TOM在线上线了Web社区游戏业务—TOM游戏。这是一种Web版的在线游戏,其目的是为了活跃BBS用户的互动性。当在线游戏上线后,在一段时间内,TOM的网站访问量大增,在线游戏用户也越来越多,TOM在线的网络系统流量开始受到了考验。
其实,当时的TOM网络系统还能够满足用户的访问需求。但当DOS和DDOS攻击出现后,情况发生了变化。
2002年出现的DOS和DDOS攻击,让很多互联网站和公司都遭受了攻击,很多公司在网络的稳定性和用户的体验度上遇到了很多麻烦,而且当年由于这种攻击的出现,很多方法无法阻挡海量的分布式的攻击,导致防火墙有一种反射,很多公司迫不得已只能撤掉防火墙,增加更多的服务器抵挡攻击。
而且这种方式只能治标不治本,无法阻挡DOS的攻击,无法用增加服务器解决问题。这个时候TOM同样受到了很大的攻击,因为TOM是互联网发展中年轻的公司,有些时尚的内容在里面,所以也成为了攻击的对象。当时受到很强的DDOS攻击,混合了ICMP的攻击,互联网有很多服务器同时上网发动攻击,这造成了TOM在线新闻访问速度慢,特别是在线游戏业务受到了较严重的冲击。
然而,因为TOM网络系统中事前部署有部分F5 BIGIP Blade Server设备。此四层交换机使用的是ASIC芯片,专门对网络的流量进行解析的硬件芯片。这种硬件解决大流量的解决方法,较好地解决了DDOS攻击的问题。F5具有会话处理能力,用F5阻挡会话,把攻击的会话数截止到F5设备上,禁止攻击的会话到后端的服务器,保证了服务器处理正常业务,把攻击的流量完全挡在F5之外。
经过这次大流量的冲击,TOM网络中心下了决心,将整个网络进行了调整:
其中:在原来的网络结构下,将Netscreen防火墙放在内网中间的架构,调整为F5放在防火墙和内网中间的架构,同时对访问进行过滤,保证有效、安全的用户访问,到达后端的服务器。攻击的和非法的请求,完全被F5阻挡、过滤掉了。F5在密集型会话和高访问流量的情况下,都显得要比原来的防火墙架构要稳定的多。
另一方面,原来Foundry实现的是交换/路由/4层交换的功能,调整为Foundry只提供二层交换和三层路由功能,其四层以上的负载均衡功能交由F5执行。(调整的方法是在Foundry交换机中配置软命令,让其不执行四层以上的负载均衡功能)
经过本次大调整后,TOM在线新闻访问速度慢问题完全解决了,在线游戏业务速度也比较快,用户反应不错。
2003-2005年:增值业务起步/南北互通矛盾 机房网络大革命
提示:由于TOM在线提前部署了F5 3DNS设备,能解决了南北互通的问题,从而电信南北分拆后,有效保证TOM在线的SP增值业务快速发展。如果TOM能够把未来的问题提前解决,那将会为企业赢得关键的时间差。
2003年,对国内来说是互联网大提速的时候,大家都用ADSL宽带,很多人都享受ADSL快的拨号速度,用户访问量得到非常大的提升,访问速度也得到很大的提升。用户对网站访问的页面刷新速度和访问感受随之提升,要求页面更快的出现,更快欣赏到质量更高的图像和视频,TOM的网络流量增加了。
更重要的是:代表TOM在线未来的SP增值业务开始启动了。TOM起动了短信/彩铃业务,并且推出了玩乐吧项目,这是一种整合TOM SP资源的综合娱乐平台,它极大地吸引了用户的参与。
很快,短信/彩铃业务在2004年就实现了赢利,其快速发展,很快成为了TOM在线的支柱型赢利项目。
由于彩铃等增值业务有试听的过程,这对网络访问流量的需求进一步提升。网站流量的增加,使很多低端的设备已经无法提供服务了,于是,网络系统设备面临了新一轮的革新。
此时,F5适时推出了BIGIPv4.5.8版本,在千兆负载均衡方面,帮助TOM网络中心完全接受了所有用户的访问流量,同时稳定的处理会话请求。像百兆环境一下,能够在千兆下,为用户提供相同访问时间。
在这个时期,TOM网络中心对网络系统进行了革命性的更新:
在路由/交换方面,用思科6509路由交换机,替代了Foundry的路由/交换功能。
在四层以上交换方面,更新为F5 BIGIP2000系列,其硬件处理能力和软件功能更强大。例如引入了3DNS全域网负载均衡功能等。
机房方面,由世纪互联更迁到了电信、网通的机房,由原来的1个机房,变为了3个机房。
基本线路方面:采用了纯光纤网络,放弃了原来的配线架结构。
2004年,TOM在线成为全国最大的SP公司之一,也是与F5的设备和F5提供各种各样的功能和技术的先进性息息相关的。千兆网络的环境之内,很多防火墙更加成为了摆设。TOM网络中心2002年就已经把整个公司的网络架构变为F5代替防火墙的结构,到目前基本没有遇到很强的攻击,基本用F5一肩扛起了。
2003年里,TOM网络中心意识到南北电信正式分拆后,可能出现南北互通的问题,为了应对这种危险的出现,TOM网络中心提前采纳了F5的建议,选择了3DNS的产品,对CDN和南北电信互联互通做了技术储备,试用ChinaCache服务,通过CDN加速的短信联盟推广系统,将TOM.COM每月的短信发送量从每月几千条推向每月数千万条。
自2002年电信拆分后,2004年里南北互通的矛盾出现了,这导致了大量网站/企业网站业务受到了严重冲击。但是,由于TOM在线提前部署了F5 3DNS设备,有效地解决了南北互通的问题,从而保证了用户访问TOM网页的速度,这对于保证TOM在线的SP增值业务快速发展,领先竞争对手,起到了至关重要的作用。
同时,这一年提出了Web2.0的概念,因此,2.0会导致很多请求是小的请求,密集型的,返回的内容是大的,小请求、大内容返回,更对网络压力提出了更严峻的要求。TOM更加进一步提出了与F5紧密配合,通过F5的配合,世界杯期间,用户的加速效果非常明显,由于TOM在世界杯之前,在互联网圈内第一家建立CDN的公司,TOM可以通过自己的节点,自由分配用户的访问,当时网站访问效果相当好,很多用户访问到TOM网站,观看世界杯的直播或者观看世界杯的新闻,这让TOM在线在业内优于新浪和搜狐。
年底流量扩充了,配合公司的新的音乐现场互动活动,TOM玩乐吧,做了万人在线观看直播系统,提供了一万人流媒体在线直播观看,而且反映效果网民非常满意,一万多人在互联网上观看,在全国七八个城市组织了现场校园互动节目,效果非常好,在校园网中也反映非常活跃。
2005-2007年:网络视频+电子商务 数据中心全国化部署
提示:随着TOM的在线业务快速发展,在北京的三个机房将不能满足流量需求,于是,TOM网络中心又开始了提前全国化数据中心部署。
2005年是多媒体年,TOM在玩乐吧的基础上,进行了业务上的扩展,从原来的玩乐吧平台主要分享音乐节目,扩展到还提供短视频等服务,例如超女的视频等,从而为用户实现视频分享、富媒体享受。7月份,湖南卫视第二届超级女生,召开了网络的视频直播以及新闻媒体宣传。网络视频的流行,给TOM带来了新的挑战。
国内很多视频网站都出现了,开始做自己的短视频,学习优秀的模式。但是富媒体加速,需要提供更高的网络处理能力,对于四层交换机的压力会更大,这时F5更高的产品,像64系列、68系列、84、88系列,以及最新的新产品,都会对加速做好了准备,都能扛起更多、更高的流量。TOM网络中心逐渐采购了F5的最新产品:V9系列产品。
同时还考虑到南北电信之间仅靠CDN是满足不了的,内容还需要复制到各个节点去,所以TOM采购了F5最新的产品叫WANJet,提供的功能是在互联网的公网上可以加速访问速度,把内容压缩或者通过一些算法,通过这个技术加速中国网通和北京电信两方网络的带宽,把原来很简单的带宽变成可用的、很宽的带宽,对一些业务的开展,例如数据库的同步或者内容的复制都很方便,有更多的业务可以有更多的服务部署方式,部署起来服务更灵活。
在2005年里,TOM 的机房节点扩张到13个节点,更多的设备部署到各地去,对整个TOM的压力进行分流。当年TOM的CDN超过了10个G,到了2007年,又扩充到了15个节点。
为了适应全国用户对TOM的访问,TOM网络中心对数据中心实现了全国部署,从原来的北京发展到了北京、广州、山东、辽宁、西安、成都、武汉等七大中心,其中还在网友分布较多的地区设立流量冗余数据中心,在北京也建立多个核心机房互为备份。
在TOM的全国七大数据中心之间,采用了F5 GTM(3DNS)全域网负载均衡,每个数据中心之间实现热冗余备份。这样,每个用户在访问TOM网站时,就是实现就近访问功能,从而尽可能提高访问速度。
紧接着,TOM实现了对Ebay-易趣的收购。于是,TOM网络中心又将对电子商务平台进行部署,不过,由于TOM网络中心已经提前对全国网络进行了升级部署,TOM 易趣电子商务平台很快实现了全国部署。
2008年后:万兆网络、存储负载均衡势在必行
2008年,TOM的网络结构又将如何发展?对于TOM信息中心来说,关注未来的网络技术应用发展,成为必要的工作。
在负载均衡方面,网络服务器经历了百兆到千兆,相信会出现万兆,也出现了万兆互联的需求。从第四层到第七层的平滑能力,早在几年前推出了全线速交换,而抢掉了思科的市场,笔者相信将来L4、L7也会提出平滑的线性交换能力,达到四层交换或者七层交换多少的承诺。通常现在看到的情况,一个请求进来之后,如果用户需要检查请求的内容或者依据请求内容分配不同的服务器资源,就需要走七层的处理模块,这个是需要CPU来处理的,但是服务器的响应内容完全不需要做任何检查和处理,结果这些数据还是都要经过CPU来输出。这样就降低了效率,其实对于进入的流量需要七层交换,对于返回的流量只要四层交换就好了。所以这里提出来希望有独立的双向加速处理能力。
现在,大家谈得最多的是,对于服务器的更多的负载均衡,这主要是面对终端用户,用户过来请求,均衡到多台服务器上去,很少量的,比如对数据库进行负载均衡,服务器、P2P或者JSP访问后端的数据库,对数据库做负载均衡,或者JAVA。
但是随着富媒体的出现,有可能需要对存储、NFS或者CIFS等协议的存储做负载均衡。富媒体出现,每个文件的大小非常大,但是存储的压力又非常大,磁盘的访问速度是很难提升的,速度提升是很缓慢的,只能采用集群或者负载均衡的方式对存储进行加速,但是目前来说,没有一家公司可以对存储进行负载均衡进行加速的产品。
对存储做负载均衡技术,不单单是把请求分发到各个地方,同时还有存储的数据同步问题。只是分发,用户对存储来说,有写的请求,也有读的请求。如果不能把写的请求同步到每个存储,有很多就会读到,很多技术是一个挑战。
新技术的应用,保证了TOM在线的新业务的正常运转,很多时候,甚至成为TOM制胜的关键。甚至可以这么说,如果没有新技术的应用,可能就没有TOM的今天。
如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。
5G已至 转型当时——服务提供商如何把握转型的绝佳时机
去集群 更超群——大容量网络演进之路
2019 IBM 中国论坛
H3C 2019 Navigate 领航者峰会
助推数据中心网络现代化转型 打造灵活可靠基础架构平台