Linux负载均衡双机实现文档

浏览数：24 / 时间：2015年06月20日

安装环境

环境配置

虚拟服务器2台：

Red Hat Enterprise Linux Server release 5.4 1C 内存：512M

应用服务器：

Red Hat Enterprise Linux Server release 5.4 1C 内存：1G

VIP：192.168.90.100

GATEWAY:192.168.90.200

Vserver1:192.168.90.220

Vserver2:192.168.90.221

RealServer1:192.168.90.223

RealServer2:192.168.90.224

系统架构

概念了解

这在整个负载均衡+Ha的高可用架构中主要采用ipvsadm和KeepAlived来实现。

1、 LVS：

是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）。

2、 ipvsadm

IPVS基本上是一种高效的Layer-4交换机，它提供负载平衡的功能。当一个TCP连接的初始SYN报文到达时，IPVS就选择一台服务器，将报文转发给它。此后通过查发报文的IP和TCP报文头地址，保证此连接的后继报文被转发到相同的服务器。这样，IPVS无法检查到请求的内容再选择服务器，这就要求后端的服务器组是提供相同的服务，不管请求被送到哪一台服务器，返回结果都应该是一样的。

3、 KeepAlived

keepalived是一个类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

实现架构

在上图的结构中：

主要由ipvsadm负责分发数据实现负载均衡的作用，由keepalived检测各应用服务器是否正常工作，实现双机高可用性能。

实现功能

通过该方案能够实现WEB应用服务器访问的负载均衡功能，通过Virtual Server 的ＨＡ来保证负载均衡服务器的高可用性。

使用LVS+KeepAlived的优缺点

1、优点：整个架构完全开源免费，而且有很多相对比较标准活跃的论坛作为技术支撑

2、缺点：功能简单，缺少收费产品的服务，出现问题之后必须依靠自己来处理。

安装ipvsadm

下载ipvsadm软件

#lsmod|grep ip_vs

如果没有则进行下面的安装，ipvsadm软件一般Linux系统光盘中都会自带，或者从官方上下载（http://www.linuxvirtualserver.org/software/ipvs.html#kernel-2.6）

#uname –r

2.6.18-164.el5

查看系统版本然后下载相应版本的ipvsadm

安装ipvsadm

先为linux内核建立一个连接文件，在配置ipvsadm时需要用到内核中的一些函数库。

# ln -s /usr/src/kernels/2.6.18-164.el5 / /usr/src/linux

#tar –zxvf ipvsadm-1.24.tar.gz

#cd ipvsadm-1.24

#configure

#make(这一步显示成功之后再进行make install)

#make install

然后在命令行中敲入ipvsadm确认是否已经安装成功

[root@wpg u01]# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

如上则表明正确安装了ipvsadm

安装keepalived

下载keepalived

官网下载地址：http://www.keepalived.org/download.html

安装kee

#tar zxvf keepalived-1.1.15.tar.gz

#cd keepalived-1.1.15

#./configure

Keepalived configuration

------------------------

Keepalived version : 1.1.15

Compiler : gcc

Compiler flags : -g -O2

Extra Lib : -lpopt -lssl -lcrypto

Use IPVS Framework : Yes

IPVS sync daemon support : Yes

Use VRRP Framework : Yes

Use LinkWatch : Yes

Use Debug flags : No

执行完configure之后会出现上面的显示结果，红色标出部分为ＬＶＳ所需服务状态必须为YES。

#make(这一步成功之后进行安装)

#make install

安装完成之后查看一下是否安装成功。

#find / -name keepalived # 查看keepalived位置以便于后面复制文件

#cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

#cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

#mkdir /etc/keepalived

#cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

#cp /usr/local/sbin/keepalived /usr/sbin/

#chkconfig --add keepalived #设置为开启启动

#chkconfig keepalived on

到此keepalived也已经安装完毕，后面我需要对其进行配置来实现，负载均衡+双机的功能。

配置LVS

这一步需要在做负载均衡的两台vserver上都要执行

编写LVS配置脚本

vi /usr/local/sbin/lvs-dr.sh

#!/bin/bash

# description: start LVS of DirectorServer

GW=192.168.90.254

# website director vip.

WEB_VIP=192.168.90.200

WEB_RIP1=192.168.90.220

WEB_RIP2=192.168.90.221

. /etc/rc.d/init.d/functions

logger $0 called with $1

case "$1" in

start)

# Clear all iptables rules.

/sbin/iptables -F

# Reset iptables counters.

/sbin/iptables -Z

# Clear all ipvsadm rules/services.

/sbin/ipvsadm -C

#set lvs vip for dr

/sbin/ipvsadm --set 30 5 60

/sbin/ifconfig eth0:0 $WEB_VIP broadcast $WEB_VIP netmask 255.255.255.255 up

/sbin/route add -host $WEB_VIP dev eth0:0

/sbin/ipvsadm -A -t $WEB_VIP:80 -s wrr -p 3

/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP1:80 -g -w 1

/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP2:80 -g -w 1

touch /var/lock/subsys/ipvsadm >/dev/null 2>&1

# set Arp

/sbin/arping -I eth0 -c 5 -s $WEB_VIP $GW >/dev/null 2>&1

/sbin/ipvsadm -ln

;;

stop)

/sbin/ipvsadm -C

/sbin/ipvsadm -Z

ifconfig eth0:0 down

route del $WEB_VIP >/dev/null 2>&1

rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1

/sbin/arping -I eth0 -c 5 -s $WEB_VIP $GW

echo "ipvsadm stoped"

;;

status)

if [ ! -e /var/lock/subsys/ipvsadm ];then

echo "ipvsadm is stoped"

exit 1

else

ipvsadm -ln

echo "..........ipvsadm is OK."

;;

echo "Usage: $0 {start|stop|status}"

exit 1

esac

exit 0

#------------------------The end of the Scripts-------------------------------------------

脚本编写完成之后分别在分别在两个节点上跑一次如果跑成功之后应该显示如下结果：

[root@wpg u01]# ./lvsdr.sh status

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.90.100:80 wrr persistent 3

-> 192.168.90.221:80 Route 1 0 0

-> 192.168.90.220:80 Local 1 0 0

..........ipvsadm is OK.

192.168.90.100为我们设置的虚拟IP下面的两个为Real Server的IP。

这时候查看系统IP会发现多了一个浮动IP地址。

eth0 Link encap:Ethernet HWaddr 00:0C:29:18:CB:8D

inet addr:192.168.90.220 Bcast:192.168.90.255 Mask:255.255.255.0

inet6 addr: fe80::20c:29ff:fe18:cb8d/64 Scope:Link

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:2973 errors:0 dropped:0 overruns:0 frame:0

TX packets:10151 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:297588 (290.6 KiB) TX bytes:533370 (520.8 KiB)

Interrupt:67 Base address:0x2024

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:18:CB:8D

inet addr:192.168.90.100 Bcast:192.168.90.100 Mask:255.255.255.255

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

Interrupt:67 Base address:0x2024

到此我们就完成了负载均衡的配置。

配置KeepaLived

Vserver1端配置

编辑keepalived的配置文件，在/etc/keepalived/目录下

#vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

router_id LVS_DEVEL

}

vrrp_sync_group lvs_1 {

group {

VI_1

VI_GATEWAY

}

vrrp_instance VI_1 {

state MASTER

interface eth0

virtual_router_id 51

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.90.100

}

vrrp_instance VI_GATEWAY {

state MASTER

interface eth0

virtual_router_id 52

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.90.200

}

virtual_server 192.168.100 80 {

delay_loop 6

lb_algo wlc

lb_kind NAT

nat_mask 255.255.255.0

persistence_timeout 1200

protocol TCP

real_server 192.168.90.223 80 {

weight 1

inhibit_on_failure

TCP_CHECK {

connect_port 80

connect_timeout 4

}

real_server 192.168.90.224 80 {

weight 1

TCP_CHECK {

connect_port 80

connect_timeout 4

}

#-----------------------The End-------------------

Vserver2配置

#vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

router_id LVS_DEVEL

}

vrrp_sync_group lvs_1 {

group {

VI_1

VI_GATEWAY

}

vrrp_instance VI_1 {

state BACKUP

interface eth0

virtual_router_id 51

priority 90

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.90.100

}

vrrp_instance VI_GATEWAY {

state BACKUP

interface eth0

virtual_router_id 52

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.90.200

}

virtual_server 192.168.100 80 {

delay_loop 6

lb_algo wlc

lb_kind NAT

nat_mask 255.255.255.0

persistence_timeout 1200

protocol TCP

real_server 192.168.90. 223 80 {

weight 1

inhibit_on_failure

TCP_CHECK {

connect_port 80

connect_timeout 4

}

real_server 192.168.90.224 80 {

weight 1

TCP_CHECK {

connect_port 80

connect_timeout 4

}

开启IP转发

分别在两台vserver服务器的/etc/sysctl.conf文件中添加如下配置：

net.ipv4.ip_forward=1

配置RealServer

配置IP转发功能

每个web服务器节点都需要进行配置

＃vim /etc/sysctl.conf

net.ipv4.ip_forward=1

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

配置网关

＃vim /etc/sysconfig/network-scripts/ifcfg-eth0添加

GATEWAY＝172.168.90.200

＃service network restart

设置开启启动

将编写的lvsdr.sh配置脚本拷贝到/usr/local/sbin/目录下，然后将下面两个命令添加到/etc/rc.local文件中这样，就能在开机之后自动启动LVS服务了。

＃ /usr/local/sbin/lvsdr.sh start （把这条语句写到/etc/rc.local中，开机启动）

＃/etc/init.d/keepalived start 启动keepalived 服务，keepalived就能利用keepalived.conf 配置文件，实现负载均衡和高可用.

功能测试

负载均衡测试

双机切换测试

压力测试

LVS基本管理

启动、关闭

1、 ipvsadm 的启动和关闭

使用编写的lvsdr.sh脚本即可

#lvsdr.sh start 启动

#lvsdr.sh stop 关闭

2、 keepalived的启动和关闭

#/etc/init.d/keepalived start 启动

#/etc/init.d/keepalived stop 关闭

查看服务状态

1、 ipvsadm的服务状态

#ipvsadm -ln

2、 keepalived的服务状态

#/etc/init.d/keepalived status

添加节点

#/sbin/ipvsadm -a -t $WEB_VIP:port -r $WEB_RIP2:port -g -w 1

通过该命令来添加节点 $WEB_VIP:port代表虚拟服务器的IP和端口，$WEB_RIP2:port

代表真实应用服务器的IP和端口。

监控日志

通过监控日志来检测服务信息：

#tail –f /var/log/messages

LVS之IP负载均衡

在下面我们主要介绍三种IP负载均衡技术的原理

VS/NAT

通过 NAT 实现虚拟服务器（ VS/NAT ）。

NAT 的工作原理是报文头（目标地址、源地址和端口等）被正确改写后，客户相信它们连接一个 IP 地址，而不同 IP 地址的服务器组也认为它们是与客户直接相连的。由此，可以用 NAT 方法将不同 IP 地址的并行网络服务变成在一个 IP 地址上的一个虚拟服务。

客户通过 Virtual IP Address （虚拟服务的 IP 地址）访问网络服务时，请求报文到达调度器，调度器根据连接调度算法从一组真实服务器中选出一台服务器，将报文的目标地址 Virtual IP Addres s改写成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将修改后的报文发送给选出的服务器。同时，调度器在连接 Hash 表中记录这个连接，当这个连接的下一个报文到达时，从连接 Hash 表中可以得到原选定服务器的地址和端口，进行同样的改写操作，并将报文传给原选定的服务器。当来自真实服务器的响应报文经过调度器时，调度器将报文的源地址和源端口改为 Virtual IP Address 和相应的端口，再把报文发给用户。我们在连接上引入一个状态机，不同的报文会使得连接处于不同的状态，不同的状态有不同的超时值。在 TCP 连接中，根据标准的 TCP 有限状态机进行状态迁移；在 UDP 中，我们只设置一个 UDP 状态。不同状态的超时值是可以设置的，在缺省情况下， SYN 状态的超时为 1 分钟， ESTABLISHED 状态的超时为15 分钟， FIN 状态的超时为 1 分钟； UDP 状态的超时为 5 分钟。当连接终止或超时，调度器将这个连接从连接 H ash 表中删除。

这样，客户所看到的只是在 Virtual IP Address 上提供的服务，而服务器集群的结构对用户是透明的。

如下是我的测试环境：

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.130.200:80 wrr persistent 3

-> 192.168.130.184:80 Route 1 0 0

-> 192.168.130.183:80 Route 1 0 0

现在有一个web请求从客户端:202.100.1.123：80端口发出，这时调度器会把该请求均衡的分配到每个真实的服务器，假设选择了192.168.130.183这台应用服务器。这样调度器（Vserver）收到的请求报文中源地址和目标地址为：

SOURCE 202.100.1.123：80 DES 192.168.130.200:80

这时调度器会选择一台这时服务器来处理这个请求，该报文就会被改写为：

SOURCE 202.100.1.123：80 DES 192.168.130.183:80

然后应用服务器处理完请求之后，返回到调度器的报文为：