科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网网络频道如何应对大流量网站的Web2.0挑战?

如何应对大流量网站的Web2.0挑战?

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

WEB2.0时代,网络流量越来越大,这给大规模并发访问的网站造成了网络访问流量瓶颈的严重问题,如何才能解决这个流量瓶颈?让我们深入到一个具体的网站企业中去……

作者:比特网 来源:比特网 2008年4月9日

关键字: 路由交换 负载均衡

  • 评论
  • 分享微博
  • 分享邮件

互联网在日常生活中日益深入的应用,使得互联网、移动网络等越来越成为人们低成本高效率获取信息的平台,各个网站企业因而也顺势搭上了强劲成长的潮 流。随着各站点访问量和信息交流量的迅猛增长,如何使用最小的资源成本,提高网络的效率,最优化用户体验,已经成为网络管理人员不得不面对的挑战。

WEB2.0的挑战:流量压力越来越大

现在的网站平台越来越多了,例如像新浪、SOHU这样的综合新闻网站,淘宝网、阿里巴巴这样的电子商务网站,还有像网银在线等第三方电子支付网 站,以及像篱笆网这样的购物网站等。我们会发现,基本上所有的网站都涉及到一种技术:WEB2.0,WEB2.0严格意义上不是单一的技术,是一大堆的技 术,或者是一种WEB设计理念的改变。
WEB2.0的出现,让网站们在网络访问方面出现了新的特点。对此,Array Networks市场总监陈凯先生将其总结为两点:

一是,网站内容变成海量的内容。
以前一个网站可能就是几百个G就差不多了,但是现在不一样,现在一个使用WEB2.0技术的网站,内容可能就变成一个几个T、几十个T甚至更多。内容的海量,给网络访问带来了很多问题。
第二个特点就是用户访问、交互性更强。

我们以前上一个网站,输入域名,看到这个网页,输入域名按回车,那时候有一些交互,内容拿下来就是存在本地页面的内容,点击后才向后台输送新的 内容出来。WEB2.0不一样,不断有一些交互性的内容,特别是动态变化内容,比如你看到一个股市变化行情的页面的时候,发现老是在变,行情老是在变,图 线经常会变化,随着实时的行情,这就是利用了WEB2.0很多技术在里面,而这种应用的特点,带来的就是网络流量增大了,给后台服务器的压力就变大了。

用户抱怨:网络访问速度慢 
网络流量压力的增大,在不同程度上对各网站们带来了挑战。很多网站都因为网络流量压力大,出现了网络访问速度慢等问题,这给不少网站的关键业务带来了困难。

让我们把目光锁定在篱笆网(liba.com)这一家购物网的身上。篱笆网(liba.com)原名无忧团购网(51tuangou.com)),创立于 2003年,专注于年轻家庭的生活消费指导与交易服务。篱笆网现已成功地为8万多年轻家庭提供了装修、婚庆、汽车等服务;篱笆社区也已经成为中国最具影响 力的家庭生活消费交流社区,注册用户目前已达140多万,日浏览量超过1000万次,涵盖14类生活消费行业。

随着篱笆网规模的扩大,注册用户的增多,篱笆网对网络访问的需求也大大增加,有的时候,经常出现网络访问速度慢的问题,这造成了不少用户的抱怨。
 
为了解决访问速度慢问题,篱笆网的网络工程师开始追查问题,经调查得出原因:

随着网站应用用户的增多和系统应用负载的增大,各个应用服务器,特别是前置服务器上所要处理的数据量将增大,从而影响针对使用者的响应效率,造成对访问者 的请求回应越来越慢等严重影响网站应用服务质量的现象。在服务器端则直接表现为可容纳的连接数越来越小,系统性能严重下降。

常规负载均衡办法受阻
大家都知道,要解决网站大流量压力的问题,就是通过负载均衡的办法来解决,当然,篱笆网的工程师也想到了这一点。
 
于是,他们展开以下的行动:
 
一方面,篱笆网设立了两个机房数据中心:吴江机房、苏州双线机房。通过两个数据中心来分担数据访问压力,在两个机房之间,通过软件配置的DNS负载均衡来解决两者的工作协同问题。
 
另一方面,篱笆网为了加速网站的访问速度,采用了Cache技术。 篱笆网另外购买了多台服务器,并且通过Squid Cache这种开源技术,将这几台服务器配置成机房数据中心的Squid Cache服务器,从而加速网络访问速度。
 
当此方案实施后,起了一定的效果。但没过多久,网络访问速度依然很慢。这是什么原因呢?
 
据Array Networks市场总监陈凯介绍到:篱笆网之所以出现这样的问题,主要是因为一般的软件负载均衡并不能解决真正的大流量压力问题。
 
软DNS负载均衡无力

其中,DNS负载均衡由于是软件编写的DNS,无法保证网站机房的高可用性:由于DNS无法实现对IDC站点和应用内容的健康检查,所以当某个 IDC的链路或IDC内的应用出现故障时,DNS软件无法得知IDC的状况,仍然会把用户请求发送到该IDC去,从而导致部分用户出现访问不到页面的状 况。如此,篱笆网就无法真正实现吴江机房、苏州双线机房两个机房的广域网负载均衡。

Squid Cache服务器效果不佳

另外,当使用Squid服务器做Cache服务时,每台服务器缓存的内容都是一样的,这样就造成了缓存的浪费,不利于提高服务器的使用效率。如果能够根据 用户的访问,在每台服务器上分别缓存不同的内容,则可缓存的内容数量就会大大增加,同时使用N+1或N+M的方式来进行容灾,会大大提高工作效率,同时也 能极大提高业务应用的可靠性。

硬件专业负载均衡 才是良药?
 
在常规负载均衡解决不的情况下,篱笆网只好求助于专业的负载均衡设备供应商。在这种情况下,Array Networks向篱笆网提供了综合的负载均衡解决方案。

篱笆网采用Array Networks TMX产品完成对内部系统的应用加速和高可靠性保障,通过Array Networks TMX的服务器负载均衡功能实现对后台21台搜索服务器的负载均衡;通过应用Array Networks TMX产品中丰富的SLB算法、连接复用技术和Cache功能能够帮助用户提高响应速度和高可用性。

      如左图所示,Array Networks为篱笆网提供的广域网WEB应用加速服务器负载解决方案,一共采用两台TMX配置,确保服务的高可用性。

      TMX根据负载情况决定将流量分担到哪一台服务器,保障每个用户的请求都能获得最优的响应质量。如果任何一台服务器出现故障时,Array TMX的智能健康检测机制都可以随时了解到相关状况,在处理后续的流量时,将不会再向有故障的服务器发送用户请求,这一切对用户都是透明的,用户不会因此 受到任何影响。

      四大网站流量问题被解决
篱笆网通过部署Array Networks TMX负载均衡解决方案之后,一下解决了其原有的各种问题,总结起来,主要表现为以下几个方面:

1、实现了吴江机房、苏州双线机房有效负载均衡
通过TMX的GSLB广域网负载均衡功能和高性能,对客户请求快速响应并合理分配到苏州和吴江两个站点进行响应。

2、本地服务器群的负载均衡
TMX的SLB服务器负载均衡技术实现本地多台服务器流量的负载均衡,TMX可以智能寻找最佳服务器从而保证客户得到响应最快服务器所提供的最佳服务,提高网站的高可靠性、响应能力。

3、Squid Cache 效果不佳问题
TMX通过Hase URL算法实现将不同的内容的访问分发到不同的Squid上面,将不同的内容Cache到不同Squid服务器上面 ,充分利用Squid的cache能力,充分发挥每一台Squid服务器的效能,进而提高用户访问的响应速度。

4、优化了网络访问方式
TMX采用连接复用技术、Cache 技术对于某些页面可以达到提高80%的HTTP响应能力,极大提高单台服务器的响应连接数量,显著提高用户的WEB访问速度。

篱笆网在解决了以上几个问题后,网络流量压力得到了有效分担,网络访问速度大大提升,从而保证了用户的访问连续性、舒适性。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章