Linux集群之LVS


一、LVS简介

  LVSLinux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在19985月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。

  负载均衡集群(Load Balancing,简称为LB)从工作在协议层来划分为TCP和应用层;TCP协议层是根据请求的目标地址和端口进行调度;应用层协议是根据请求的内容进行调度,而且此种调度为“代理”方式,即反向代理。

 

二、LVS组成

  LVS软件由ipvsipvsadm两个程序组成,ipvs是工作在内核中的;ipvsadm是工作在用户空间,将为工作在内核空间的ipvs定义集群服务,作出调度决策算法的功能的一种工具,从功能上来看类似于netfilt.

2.1 LVS工作原理

  ipvs工作于netfilterINPUT链上;ipvsadm用于在ipvs上定义集群服务:同时也得定义此集群服务对应于有哪个后端主机可用;根据所指定的调度方法(算法)作出调度决策;

技术分享

  当用户的请求到达本机时,首先经由PREROUTING链,到达PREROUTING链后进行路由判断,经路由判断后发现是送往本机的,将用户请求送往INPUT链接中,此时ipvs将检查INPUT链上的所有经过的报文,判断是不是请求的集群服务,如果请求的是集群服务,ipvs将“拦下”服务,经过调度算法挑选出一个时先定义好的主机,并将用户请求服务转发出去,经由网络将用户请求送往后端主机并为用户提供服务响应。

 

2.2 LVS常见术语约定

  为用户提供挑选后端服务器的主机称为调度器(Director);后端提供服务的主机称为Real Server (简写为RS)。

  客户端(Client)的IP称为CIP;被DNS域名解析后的IP称为VIPDirector Virtual IP);调度器面向后方的集群的IP称为DIPDirector IP);Real Server服务器上的IP称为RIPReal Server)。

技术分享

2.3 LVS的类型

  LVS的类型分为lvs-natlvs-drlvs-tunlvs-fullnat

 

三、lvs-nat

  lvs-nat非常类似于DNAT,支持多目标转发,它是通过修改请求报文的目标地址并根据调度算法所挑选出的某RSRIP来进行转发。

技术分享

  当用户请求报文到达Director时,源地址为CIP目标地址为VIPDirector经过内部路由后发现是送往本机的,就送往INPUT链,ipvs将检查在INPUT链发现对CIP请求的是集群服务,根据在ipvs中指明的RS1RS2,并根据内部的调度算法,挑选出一台RS为本次请求服务,此时更改请求报文中的目标地址改为挑选出的RSIP地址如“CIPRIP1”,并经由forward链转发出去,在报文到达RS1服务器是源地址是CIP目标地址是RS1IP地址(即本机的IP地址),本机运行着有用户请求服务,RS1进行报文响应,响应报文的源地址是RIP1,目标地址是CIP,即“RIP1CIP”;到响应报文达到Director时,Director根据内部的NAT追踪机制,发现用户访问的是CIP,因此Director将进行修改源地址为VIP,报文格式“VIPCIP”。

lvs-nat架构特性:

 (1) RS应该使用私有地址,即RIP应该为私有地址;各RS的网关必须指向DIP

 (2) 请求和响应报文都经由Director转发;高负载场景中,Director易于成为系统瓶颈;

 (3) 支持端口映射;

 (4) RS可以使用任意类型的OS;

 (5) RSRIP必须与DirectorDIP在同一网络;

 

四、lvs-dr

  lvs-dr模型即为直接路由;Director在实现转发时不修改请求的IP首部,而是通过直接封装MAC首部完成转发;目标MACDirector根据调度方法挑选出某RSMAC地址;拓扑结构有别有NAT类型;

技术分享

  当用户请求到达路由器,路由器经过路由到达交换机,并把用户请求交给DirectorDirector经过调度至RS服务器,RS服务器在响应是并不经过Director,而是直接经交换机-->路由器送往用户。

技术分享

  在Director服务器的网卡上配置DIP,在网卡别名上配置VIP;在RS服务器上的网卡配置RIP,把VIP配置到RS服务器内部的lo网卡的别名上如lo:1。当用户请求到达时,首先到达路由器,路由器通过路由送往另一个接口,此接口经过ARP广播,解析到内网中VIPMAC地址。此时路由器会收到三个VIPMAC地址,显然这不是我们希望得到的结果,我们得想办法让RS服务器不能响应路由器ARP广播请求解析得到VIPMAC地址,或者响应了不让响应请求出去;这样就能保证只有DirectorVIP会响应ARP广播请求解析VIPMAC地址。当路由器得到VIPMAC地址时,路由器会进行封装报文帧,在源报文的基础上加上自己的MAC地址和ARP广播请求解析VIPMAC地址,然后报文到达Director服务器,Director发现请求的报文是本机的地址,把报文送往INPUT链,ipvs发现这是一个请求的集群服务,根据调度算法挑选出一个RSRS1,并ARP广播请求解析RS1RIP地址的MAC得到RS1RIP地址的MAC地址,源IP地址和目标IP没有变,只是修改源MAC和目标MAC地址变成了Director的和RS1RIPMac地址。当报文送往RS1服务器,RS1服务器判断源IP和目标IP是自己本机上,并响应服务封装报文,源IPVIP,目标IPCIP,将报文发送给RS1设置的网关地址路由器接口。

  此时会有一个问题,在Linux中由哪块网卡发送出去目标IP就是哪块网卡的IP地址,这里可以要求强求报文必须由lo出去,但lo出不去的,可以通过forward链转发出去的。

架构特性:

(1) 保证前端路由器将目标地址为VIP的请求报文通过ARP地址解析后送往Director;

解决方案:

   静态绑定:在前端路由直接将VIP对应的目标MAC静态配置为DirectorMAC地址;

    arptables:在各RS上,通过arptables规则拒绝其响应对VIPARP广播请求;

   内核参数:在RS上修改内核参数,并结合地址的配置方式实现拒绝响应对VIPARP广播请求;

(2) RSRIP可以使用私有地址;但也可以使用公网地址,此时可通过互联网上的主机直接对此RS发起管理操作(不安全);

(3) 请求报文必须经由Director调度,但响应报文必须不能经由Director;

(4) RIP必须与DIP在同一个物理网络中;

(5) 不支持端口映射;

(6) RS可以使用大多数的OS

(7) RS的网关一定不能指向Director

 

五、lvs-tun

  lvs-tun不修改请求报文IP首部,而是通过IP隧道机制在原有的IP报文之外再封装IP首部,经由互联网把请求报文交给选定的RS

技术分享

架构特性:

(1) RIP, DIP, VIP都是公网地址;

(2) RS的网关不能,也不可能指向DIP;

(3) 请求报文由Director分发,但响应报文直接由RS响应给Client

(4) 不支持端口映射;

(5) RSOS必须得支持IP隧道;

 

六、lvs-fullnat

  lvs-fullnat并不是LVS官方的模型,这是由淘宝开发团队开发的一种模型,并没有被官方收录至LVS中,要使用lvs-fullnat模型需要重新经内核打补丁,并重新编译内核。

  lvs-fullnat:通过请求报文的源地址为DIP,目标为RIP来实现转发;对于响应报文而言,修改源地址为VIP,目标地址为CIP来实现转发;

技术分享

架构特性:

(1) RIP,DIP可以使用私有地址;

(2) RIPDIP可以不在同一个网络中,且RIP的网关未必需要指向DIP

(3) 支持端口映射;

(4) RSOS可以使用任意类型;

(5) 请求报文经由Director,响应报文经由Director

 

七、LVS调度算法

类型算法
说明
静态方法RR
round-robin, 轮询;
WRRweighted round-robin, 加权轮询;Overhead=conn/weight
SHSource ip Hashing,源地址哈希;把来自同一个地址请求,统统定向至此前选定的RS;
DHDestination ip Hashing, 目标地址哈希;把访问同一个目标地址的请求,统统定向至此前选定的某RS;
动态方法LCleast connection:最小连接,Overhead=Active*256+Inactive
WLCweighted least connection:加权最小连接,Overhead=(Active*256+Inactive)/weight;默认的调度算法
SEDShorted Expection Delay:最短期望延迟,Overhead=(Active+1)*256/weight
NQNever Queue:永不排序
LBLCLocal-Based Least Connection,基于本地的最小连接:动态方式的DH算法
LBLCRReplicated LBLC:带复制的LBLCR


八、LVS-NAT实现

  通过前面的原理介绍,这里来实现一下lvs-nat模型,将要使用三台虚拟机,客户端就用物理机来访问;RS-1RS-2的网卡要使用Vmware Workstation中的仅主机模式,Director要使用两张网卡,一个用于当VIP一个用于当DIPDIP网卡要使用仅主机模式与后端RS使用一个私有网络地址;

技术分享

  Real Server分别开启Web服务器用于测试,页面就是种RealServer的名称,使用rr调度算法进行轮询,这样更容易看出效果。

8.1 RealServer的配置

1)配置IP地址及网关

ifconfig 192.168.190.81/24 up  #设置IP地址,如果你已经设置好了,此步可以省略的

route add default gw 192.168.190.100   设置默认网关

[root@RS-1 ~]# route  -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.190.0   0.0.0.0         255.255.255.0   U    0      0        0 eth0
0.0.0.0         192.168.190.100 0.0.0.0         UG   0      0        0 eth0


2)启动httpd服务

# service httpd start

8.2 Director的配置

1)配置IP地址

如果你已经设置好了,此步可以省略;

 

ifconfigeth0 172.16.9.100/16 up
 ifconfigeth1 192.168.190.100/24 up

2)开启路由间转发

echo 1 > /proc/sys/net/ipv4/ip_forward
[root@LVS ~]# cat/proc/sys/net/ipv4/ip_forward

1

3)配置LVS

如果你没有安装ipvsadm,需要在配置好yum源之后直接yum install ipvsadm即可;

ipvsadm -C
 ipvsadm -A -t 172.16.9.100:80 -s rr
 ipvsadm -a -t 172.16.9.100:80 -r192.168.190.81:80 -m
 ipvsadm -a -t 172.16.9.100:80 -r192.168.190.82:80 -m

#-C:表示清空ipvsadm中的所有定义的集群服务

#-A:定义集群服务

#-t:承载的应用层协议为基于TCP协议提供服务的协议;其service-address的格式为“VIP:PORT”,如“172.16.100.6:80”;

#-s:指定调度算法,默认为wlc

#-a:创建集群服务上的RS

#-r:指明RSserver-address格式一般为“IP[:PORT]”;注意,只支持端口映射的lvs类型中才应该显式定义此处端口

#-m:指明LVS的类型为nat

[root@LVS ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port          Forward Weight ActiveConn InActConn
TCP 172.16.9.100:80 rr
 -> 192.168.190.81:80           Masq    1      0         0         
 -> 192.168.190.82:80           Masq    1      0         0

 

4)在浏览器中访问测试

在浏览器中输入VIP的地址,不断的刷新将会出现轮询的效果。

技术分享

技术分享


 

 

九、LVS-DR实现

 

技术分享

  Real Server分别开启Web服务器用于测试,页面就是种RealServer的名称,使用rr调度算法进行轮询,这样更容易看出效果。

9.1 Real Server的配置

         Real Server的配置都是一样的,这们就介绍一个Real Server的配置即可。

1)抵制ARPVIP的请求

echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce

2)配置VIP地址及路由

ifconfig lo:0 172.16.9.100 netmask255.255.255.255 broadcast 172.16.9.100 up
route add -host 172.16.9.100 dev lo:0

3)启动HTTP服务

service httpd start

4)在浏览器中访问测试

技术分享

技术分享


 

9.2 Director上的配置

1)配置VIP

ifconfig eth0:0 172.16.9.100 netmask255.255.255.255 broadcast 172.16.9.100 up
route add -host 172.16.9.100 dev eth0:0

2)配置ipvs服务

 ipvsadm-A -t 172.16.9.100:80 -s rr
 ipvsadm -a -t 172.16.9.100:80 -r 172.16.9.81-g
 ipvsadm -a -t 172.16.9.100:80 -r 172.16.9.82-g

3)检查ipvs配置信息

[root@node-03 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port          Forward Weight ActiveConn InActConn
TCP 172.16.9.100:80 rr
 -> 17.16.9.81:80               Route   1      0         0        
 -> 17.16.9.82:80               Route   1      0         0

4)在浏览器中浏览

不断的刷新将会出现轮询的效果。


技术分享

技术分享

 


本文出自 “乌大宛” 博客,请务必保留此出处http://wuday.blog.51cto.com/2623944/1657817

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。