负载均衡实例：如何解放昼夜不眠的网管？(1)

笔者曾为客户设计过一系列项目方案，在真正施工时发现：如果客户方有24小时监控人员时，单台Nginx也是没问题的(很多为客户设计的1+2架构就能满足客户需求)，如果机器多的话，建议用Keepalived作双Nginx负载均衡器的HA。Nginx作负载均衡器的优点许多，简单概括为:①实现了可弹性化的架构，在压力增大的时候可以临时添加tomcat服务器添加到这个架构里面去;②upstream具有负载均衡能力，可以自动判断下面的机器，并且自动踢出不能正常提供服务的机器；③相对于lvs而言，正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性，避免单点故障，整个拓补如下：

布置整个环境用到的软件为:

apache-tomcat-6.0.20.tar.gz

jdk-6u16-linux-i586.bin

nginx-0.7.17.tar.gz

prce-7.7.tar.gz

①首先分别在3台tomcat主机上布置java环境，安装tomcat，具体步骤如下（apache-tomcat-6.0.tar.gz可在apache.org上下载，jdk-6u16-linux-i586.bin可是用文件挖掘者直接搜索下载http://www.fdigg.net/search_jdk-6-linux-i586.htm）：

第一步，安装java环境。

JDK的安装

#chmod +x jdk-6u16-linux-i586.bin

#./jdk-6u16-linux-i586.bin

到此JDK已经安装完成

建立符号链接

# ln -s /usr/local/jdk-1.6.0-16/bin/java /usr/bin/java

# ln -s /usr/local/jdk-1.6.0-16/bin/javac /usr/bin/javac

ln -s /usr/local/jdk-1.6.0-16 /usr/local/jdk

ln -s /usr/local/jdk-1.6.0-16/jre /usr/local/jre

TOMCAT的安装

#tar zxvf apache-tomcat-6.0.20.tar.gz

#mv apache-tomcat-6.0.20 /usr/local/tomcat

设置环境变量: vim /etc/rc.d/rc.local，以追加的形式添加如下内容

JAVA_HOME=/usr/local/jdk

export JAVA_HOME

JRE_HOME=/usr/local/jre

export JRE_HOME

CLASSPATH=/usr/local/tomcat/common/lib/:/usr/local/jdk/lib:/usr/local/jre/lib

export CLASSPATH

PATH=$PATH:/usr/local/tomcat/bin/:/usr/local/apache/bin:/usr/local/jdk/bin:/usr/local/jre/bin

export PATH

TOMCAT_HOME=/usr/local/tomcat

export TOMCAT_HOME

重启服务器，启动tomcat以检查是否存在错误：

#cd /usr/local/tomcat/bin

#./startup.sh

http://IP地址:8080 可以看到猫头:)成功了。

编辑推荐

网管天下应用实践手册

从基础知识到实践经验；从规划建设到维护管理；从设备选型到技术内容；从故障排除到网络安全。一套由国内..

：如果客户方有24小时监控人员时，单台Nginx也是没问题的(很多为客户设计的1+2架构就能满足客户需求)，如果机器多的话，建议用Keepalived作双Nginx负载均衡器的HA。

②分别在二台nginx负载均衡器上安装nginx及配置

下载及安装nginx:

wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-7.7.tar.gz

tar zxvf pcre-7.7.tar.gz

cd pcre-7.7/

./configure

make && make install

wget http://sysoev.ru/nginx/nginx-0.7.17.tar.gz

tar zxvf nginx-0.7.17.tar.gz

cd nginx-0.7.17/

./configure --prefix=/usr/local/nginx --with-http_stub_status_module

make && make install

这里贴上nginx.conf配置文件，不加任何说明，方便用X-shell直接粘贴，很人性化的噢:)二个nginx负载均衡器的文件一样，配置完成后分别用/usr/local/nginx/sbin/nginx启动。

user www www;

worker_processes 8;

pid /usr/local/nginx/logs/nginx.pid;

worker_rlimit_nofile 51200;

events

{

use epoll;

worker_connections 51200;

}

http{

include mime.types;

default_type application/octet-stream;

server_names_hash_bucket_size 128;

client_header_buffer_size 32k;

large_client_header_buffers 4 32k;

client_max_body_size 8m;

sendfile on;

tcp_nopush on;

keepalive_timeout 60;

tcp_nodelay on;

fastcgi_connect_timeout 300;

fastcgi_send_timeout 300;

fastcgi_read_timeout 300;

fastcgi_buffer_size 64k;

fastcgi_buffers 4 64k;

fastcgi_busy_buffers_size 128k;

fastcgi_temp_file_write_size 128k;

gzip on;

gzip_min_length 1k;

gzip_buffers 4 16k;

gzip_http_version 1.0;

gzip_comp_level 2;

gzip_types text/plain application/x-javascript text/css application/xml;

gzip_vary on;

upstream backend

{

server 192.168.1.102:8080;

server 192.168.1.103:8080;

server 192.168.1.105:8080;

}

server {

listen 80;

server_name www.yuhongchun027.com;

location / {

root /var/www ;

index index.jsp index.htm index.html;

proxy_redirect off;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_pass http://backend;

}

#location /nginx {

#access_log on;

#auth_basic "NginxStatus";

#auth_basic_user_file /usr/local/nginx/htpasswd;

#}

log_format access '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" $http_x_forwarded_for';

access_log /var/log/access.log access;

}

}

③在二台Nginx机上安装及配置keepalived，做双机互备。

#wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz

#tar zxvf keepalived-1.1.15.tar.gz

#cd keepalived-1.1.15

#./configure

#make

#make install

将keepalived做成启动脚务，方便管理:

#cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

#cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

#mkdir /etc/keepalived

#cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

#cp /usr/local/sbin/keepalived /usr/sbin/

#service keepalived start|stop

在二台Nginx上，我分别贴出keepalived.conf配置文件，配置完成后分别用service keepalived start启动。检验keepalived是否成功可用命令ip a

vrrp_instance VI_INET1 {

state MASTER

interface eth0

virtual_router_id 53

priority 200

advert_int 1

authentication {

auth_type pass

auth_pass yourpass

}

virtual_ipaddress {

192.168.1.108

}

}

vrrp_instance VI_INET1 {

state BACKUP

interface eth0

virtual_router_id 53

priority 100

advert_int 1

authentication {

auth_type pass

auth_pass yourpass

}

virtual_ipaddress {

192.168.1.108

}

}

编辑推荐

网管天下应用实践手册

从基础知识到实践经验；从规划建设到维护管理；从设备选型到技术内容；从故障排除到网络安全。一套由国内..

：如果客户方有24小时监控人员时，单台Nginx也是没问题的(很多为客户设计的1+2架构就能满足客户需求)，如果机器多的话，建议用Keepalived作双Nginx负载均衡器的HA。

项目实施过程中遇到的问题:

1、session复制问题

以前用apache做负载均衡的时候，是选择了用 session sticky的模式，这样的话，用户每次进来都会是同一个服务器中的session，不会被转发到其他的服务器上。在这样的情况下，tomcat即使不做session复制也不会影响用户访问;Nginx有个类似模块ip_hash能解决此问题，但采用了ip_hash后，nginx就不能正常地用轮询将客户的要求平等的分发到后端tomcat服务器，所幸客户对并发要求不高，他们更关心的是后端的tomcat的高可用问题。

2、页面同步

办法①可以采用rsync自动同步的办法。

办法②后端采用存储，读数据采用同一个源。

办法③在程序上实现动态的调取数据(如图片及文字)采用后端的唯一数据库。

3、关于测试

公司的测试组用的测试工具为windows2003下的Load Runner，很强大的一款，但有时采用了ip_hash后，结果并不准确；解决为：在多台服务器上，采用多种测试工具，如:webbench、Load Runner来进行交叉测试。此外，生产环境下，并发1000就是一个很大的数值，用户数为100万的用户系统往往并未达到此数，这点也是让我们很惊异的；

4、安全方面：最前端建议放置Cisco四层防火墙+web防火墙的方法，效果相当好；整个系统出口带宽建议为100M，cisco防火墙映射整个系统的vip地址及80端口，系统内所有服务器均关闭iptables防火墙。

5、监控方面：用传说中的监控之神Nagios吧，配合139邮箱，效果不错。另，签于生产环境下的严谨性，欢迎来信交流抚琴煮酒：yuhongchun027@163.com。

老克

编辑推荐

网管天下应用实践手册

从基础知识到实践经验；从规划建设到维护管理；从设备选型到技术内容；从故障排除到网络安全。一套由国内..