LVS详解与配置

最新推荐文章于 2024-08-11 00:11:49 发布

话多必失丶

最新推荐文章于 2024-08-11 00:11:49 发布

阅读量1.4w

点赞数 8

本文链接： https://blog.csdn.net/u010489158/article/details/86776691

版权

一、LVS简介

LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器，是一个由章文嵩博士发起的自由软件项目，官方站点是： http://www.linuxvirtualserver.org。现在LVS已经是Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须重新编译内核以支持LVS功能模块，但是从Linux2.4内核心之后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。
使用LVS技术要达到的目标是：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能，高可用的服务器群集，它具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

二、LVS体系架构

使用LVS架设的服务器集群系统有三个部分组成：最前端的负载均衡层（Loader Balancer），中间的服务器群组层，用Server Array表示，最底层的数据共享存储层，用Shared Storage表示。在用户看来所有的应用都是透明的，用户只是在使用一个虚拟服务器提供的高性能服务。

LVS的体系架构如图：

LVS的各个层次的详细介绍：

Load Balancer层：位于整个集群系统的最前端，有一台或者多台负载调度器（Director Server）组成，LVS模块就安装在Director Server上，而Director的主要作用类似于一个路由器，它含有完成LVS功能所设定的路由表，通过这些路由表把用户的请求分发给Server Array层的应用服务器（Real Server）上。同时，在Director Server上还要安装对Real Server服务的监控模块Ldirectord，此模块用于监测各个Real Server服务的健康状况。在Real Server不可用时把它从LVS路由表中剔除，恢复时重新加入。
Server Array层：由一组实际运行应用服务的机器组成，Real Server可以是WEB服务器、MAIL服务器、FTP服务器、DNS服务器、视频服务器中的一个或者多个，每个Real Server之间通过高速的LAN或分布在各地的WAN相连接。在实际的应用中，Director Server也可以同时兼任Real Server的角色。
Shared Storage层：是为所有Real Server提供共享存储空间和内容一致性的存储区域，在物理上，一般有磁盘阵列设备组成，为了提供内容的一致性，一般可以通过NFS网络文件系统共享数据，但是NFS在繁忙的业务系统中，性能并不是很好，此时可以采用集群文件系统，例如Red hat的GFS文件系统，oracle提供的OCFS2文件系统等。
从整个LVS结构可以看出，Director Server是整个LVS的核心，目前，用于Director Server的操作系统只能是Linux和FreeBSD，linux2.6内核不用任何设置就可以支持LVS功能，而FreeBSD作为 Director Server的应用还不是很多，性能也不是很好。对于Real Server，几乎可以是所有的系统平台，Linux、windows、Solaris、AIX、BSD系列都能很好的支持。

三、LVS基本工作原理

1、当用户向负载均衡调度器（Director Server）发起请求，调度器将请求发往至内核空间
2、 PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发往INPUT链
3、 IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链
4、 POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器，那么此时通过选路，将数据包最终发送给后端的服务器

四、LVS相关术语

1、 DS：Director Server。指的是前端负载均衡器节点。
2、 RS：Real Server。后端真实的工作服务器。
3、 VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。
4、 DIP：Director Server IP，主要用于和内部主机通讯的IP地址。
5、 RIP：Real Server IP，后端服务器的IP地址。
6、 CIP：Client IP，访问客户端的IP地址

五、三种模式及原理

1、LVS-NAT原理和特点

LVS-NAT的原理实现

通过将请求报文中的目标IP地址与目标端口修改，来实现报文的传送

1.当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP
2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
3. IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，后将数据包发至POSTROUTING链。此时报文的源IP为CIP，目标IP为RIP
4. POSTROUTING链通过选路，将数据包发送给Real Server
5. Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。此时报文的源IP为RIP，目标IP为CIP
6. Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。此时报文的源IP为VIP，目标IP为CIP

LVS-NAT模式的特性

(1) RS应该和DIP应该使用私网地址，且RS的网关要指向DIP；
(2) 请求和响应报文都要经由director转发；极高负载的场景中，director可能会成为系统瓶颈；
(3) 支持端口映射；
(4) RS可以使用任意OS；
(5) RS的RIP和Director的DIP必须在同一IP网络；
缺陷：对Director Server压力会比较大，请求和响应都需经过director server，director往往会成为系统的性能瓶颈

2、LVS-DR原理和特点

LVS-DR原理

通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变

1、当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP
2、PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
3、 IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址
4、由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
5、 RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP，目标IP为CIP
6、响应报文最终送达至客户端

LVS-DR模式的特性

(1) 确保前端路由器将目标IP为VIP的请求报文发往Director：
(a) 在前端网关做静态绑定；
(b) 在RS上使用arptables；
© 在RS上修改内核参数以限制arp通告及应答级别；
修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。
(2) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；
(3) RS跟Director要在同一个物理网络；
(4) 请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client；
(5) 不支持端口映射；
缺陷：RS和DS必须在同一机房中，因为它是由二层进行转发的根据MAC地址来进行匹配

3、LVS-Tun原理和特点

LVS-Tun原理

在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IIP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)

1、当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP 。
2、 PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
3、IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。此时源IP为DIP，目标IP为RIP
4、 POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。此时源IP为DIP，目标IP为RIP
5、 RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。此时的源IP地址为VIP，目标IP为CIP
6、响应报文最终送达至客户端

LVS-Tun模式的特性

(1) DIP, VIP, RIP都应该是公网地址；
(2) RS的网关不能，也不可能指向DIP；
(3) 请求报文要经由Director，但响应不能经由Director；
(4) 不支持端口映射；
(5) RS的OS得支持隧道功能；

六、LVS的十种调度算法

一）静态调度：
①RR（Round Robin）:轮询调度
轮询调度算法的原理是每一次把来自用户的请求轮流分配给内部中的服务器，从1开始，直到N(内部服务器个数)，然后重新开始循环。算法的优点是其简洁性，它无需记录当前所有连接的状态，所以它是一种无状态调度。【提示：这里是不考虑每台服务器的处理能力】
②WRR：weight,加权轮询（以权重之间的比例实现在各主机之间进行调度）
由于每台服务器的配置、安装的业务应用等不同，其处理能力会不一样。所以，我们根据服务器的不同处理能力，给每个服务器分配不同的权值，使其能够接受相应权值数的服务请求。
③SH:source hashing,源地址散列。主要实现会话绑定，能够将此前建立的session信息保留了
源地址散列调度算法正好与目标地址散列调度算法相反，它根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的并且没有超负荷，将请求发送到该服务器，否则返回空。它采用的散列函数与目标地址散列调度算法的相同。它的算法流程与目标地址散列调度算法的基本相似，除了将请求的目标IP地址换成请求的源IP地址，所以这里不一个一个叙述。
④DH:Destination hashing:目标地址散列。把同一个IP地址的请求，发送给同一个server。
目标地址散列调度算法也是针对目标IP地址的负载均衡，它是一种静态映射算法，通过一个散列（Hash）函数将一个目标IP地址映射到一台服务器。目标地址散列调度算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
二）动态调度：
①LC（Least-Connection）：最少连接
最少连接调度算法是把新的连接请求分配到当前连接数最小的服务器，最小连接调度是一种动态调度短算法，它通过服务器当前所活跃的连接数来估计服务器的负载均衡，调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1，当连接中止或超时，其连接数减一，在系统实现时，我们也引入当服务器的权值为0时，表示该服务器不可用而不被调度。
简单算法：active256+inactive(谁的小，挑谁)
②WLC(Weighted Least-Connection Scheduling)：加权最少连接。
加权最小连接调度算法是最小连接调度的超集，各个服务器用相应的权值表示其处理性能。服务器的缺省权值为1，系统管理员可以动态地设置服务器的权限，加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。
简单算法：（active256+inactive）/weight【（活动的连接数+1）/除以权重】（谁的小，挑谁）
③SED(Shortest Expected Delay)：最短期望延迟
基于wlc算法
简单算法：（active+1)*256/weight 【（活动的连接数+1）*256/除以权重】
④NQ（never queue）:永不排队（改进的sed）
无需队列，如果有台realserver的连接数＝0就直接分配过去，不需要在进行sed运算。
⑤LBLC（Locality-Based Least Connection）：基于局部性的最少连接
基于局部性的最少连接算法是针对请求报文的目标IP地址的负载均衡调度，不签主要用于Cache集群系统，因为Cache集群中客户请求报文的布标IP地址是变化的，这里假设任何后端服务器都可以处理任何请求，算法的设计目标在服务器的负载基本平衡的情况下，将相同的目标IP地址的请求调度到同一个台服务器，来提高个太服务器的访问局部性和主存Cache命中率，从而调整整个集群系统的处理能力。
基于局部性的最少连接调度算法根据请求的目标IP地址找出该目标IP地址最近使用的RealServer，若该Real Server是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用“最少链接”的原则选出一个可用的服务器，将请求发送到该服务器。
⑥LBLCR（Locality-Based Least Connections withReplication）：带复制的基于局部性最少链接
带复制的基于局部性最少链接调度算法也是针对目标IP地址的负载均衡，该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按“最小连接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

七、IPVS的基本使用

ipvsadm组件定义规则的格式：
1.定义集群服务格式：
(1).添加集群服务：
ipvsadm -A|E -t|u|f service-address [-s scheduler]
              [-p [timeout]] [-M netmask]
-A：                  表示添加一个新的集群服务
-E：                  编辑一个集群服务
-t：                  表示tcp协议
-u：                  表示udp协议
-f：                  表示firewall-Mark,防火墙标记
service-address：     集群服务的IP地址，即VIP
-s                    指定调度算法
-p                    持久连接时长，如#ipvsadm -Lcn ，查看持久连接状态
-M                    定义掩码
ipvsadm -D -t|u|f service-address      删除一个集群服务
ipvsadm -C                             清空所有的规则
ipvsadm -R                             重新载入规则
ipvsadm -S [-n]                        保存规则

2.向集群服务添加RealServer规则：
(1).添加RealServer规则
ipvsadm -a|e -t|u|f service-address -r server-address
              [-g|i|m] [-w weight]
-a                 添加一个新的realserver规则
-e                 编辑realserver规则
-t                 tcp协议
-u                 udp协议
-f                 firewall-Mark，防火墙标记
service-address    realserver的IP地址
-g                 表示定八义为LVS-DR模型
-i                 表示定义为LVS-TUN模型
-m                 表示定义为LVS-NAT模型
-w                 定义权重，后面跟具体的权值
ipvsadm -d -t|u|f service-address -r server-address          --删除一个realserver
ipvsadm -L|l [options]                                       --查看定义的规则
如：#ipvsadm -L -n  
ipvsadm -Z [-t|u|f service-address]                          --清空计数器

八、ipvs配置

NAT模型配置

（1）server1配置
开启server1内核路由机制

vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
sysctl -p #刷新配置
如果做实验的话，可以执行临时设定
sysctl -w net.ipv4.ip_forward=1
sysctl -a | grep ip_forward
net.ipv4.ip_forward = 1

server1添加一块网卡eth1并激活网卡

 ip addr add 172.25.254.100/24 dev eth1
 ip link set up eth1

加载 nat 模块
modprobe iptable_nat
注:如果不加载此模块,可以在第一次访问成功,但是会在再次访问时出现延迟过长,或访问超时现象
在server1上添加调度策略：

ipvsadm -A -t 172.25.254.100:80 -s rr
ipvsadm -a -t 172.25.254.100:80 -r 172.25.1.2:80 -m
ipvsadm -a -t 172.25.254.100:80 -r 172.25.1.3:80 -m
ipvsadm -a -t 172.25.254.100:80 -r 172.25.1.4:80 -m
保存 rule
service ipvsadm save

（2）RS配置

route add default gw 172.25.1.1   #添加网关
ping 172.25.1.1                   #测试与网关之间是否相通
/etc/init.d/httpd start           #后端服务器的httpd

LVS-DR模式配置

（1）server1配置

[root@server1 ~]# ifconfig eth0:0 172.25.1.100 netmask 255.255.255.0
[root@server1 ~]# route add -host 172.25.1.100 dev eth0
[root@server1 ~]# yum -y install ipvsadm
[root@server1 ~]# ipvsadm -C
[root@server1 ~]# ipvsadm -A -t 172.25.1.100:80 -s rr　　#添加虚拟服务指定VIP
[root@server1 ~]# ipvsadm -a -t 172.25.1.100:80 -r 172.25.1.2:80 -g　　#针对虚拟服务添加RS节点
[root@server1 ~]# ipvsadm -a -t 172.25.1.100:80 -r 172.25.1.3:80 -g
[root@server1 ~]# ipvsadm -L -n　　#查看VIP和RS是否已经配置成功
[root@server1 ~]# ipvsadm -L -n　　#查看VIP和RS是否已经配置成功
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.1.100:80 rr
  -> 172.25.1.2:80              Route   1      0          0         
  -> 172.25.1.3:80              Route   1      0          0

（2）RS配置

arp抑制技术参数说明

arp_ignore

0-(默认值)：回应任何网络接口上对任何本地IP地址的ARP查询请求。

1-只回答目标IP地址是来访问网络接口笨的地址的ARP查询请求

2-只回答目标IP地址是来访问网络接口本地地址的ARP查询请求，且来访IP必须在该网络接口的子网段内。

3-不回应网络界面的ARP请求，而只对设置的唯一和连接地址做出回应。

4-7-保留未使用

8-不回应所有（本地地址）的ARP查询。

arp_announce

对网络接口上，本地IP地址的发出的，ARP回应，做出相应级别的限制：

确定不同程度的限制，宣布对来自本地源IP地址发出ARP请求的接口

0-（默认）在任意网络接口（eth0,eth1,lo）上的任何本地地址

1-尽量避免不在该网络接口子网段的本地地址做出ARP回应，当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用。此时会检查来访IP是否为所有接口上的子网段内IP之一。如果该来访IP不属于各个网络接口上的子网段内，那么将采用级别2的方式进行处理

2-对查询目标使用最适当的本地地址，在此模式下将忽略这个Ip数据包的源地址并尝试选择能与该地址通信的本地地址，首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址。如果没有合适的地址被发现，将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送。限制了使用本地的VIP地址作为优先的网络接口。

[root@server2 ~]#vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1 #只回答目的IP为本网口IP地址的arp包的请求
net.ipv4.conf.all.arp_announce = 2 #对查询目标使用最适当的本机地址
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@server2 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@server2 ~]# ifconfig lo:0 172.25.1.100 netmask 255.255.255.255　　(由于RS的VIP不是用来通讯，并且这里一定要设置24位掩码）
[root@server2 ~]# route add -host 172.25.1.100 dev lo:0   #对于访问172.25.1.100的数据包，响应报文的源地址也为172.25.1.100

LVS-TUN模式配置

（1）server1配置

modprobe ipip   #打开隧道

ip link set up tunl0    #启动tunl0

ip addr add 172.25.1.100/24 dev tunl0    #给tunl0添加vip

yum install ipvsadm                 #安装lvs

ipvsadm -A -t 172.25.1.100:80 -s rr
ipvsadm -a -t 172.25.1.100:80 -r 172.25.1.2:80 -i         #-i就是采用tun模式
ipvsadm -a -t 172.25.1.100:80 -r 172.25.1.3:80 -i

**（2）RS配置**

RS端（都需要做配置）：

modprobe ipip   #打开隧道

ip link set up tunl0    #启动tunl0

ip addr add 172.25.1.100/24 dev tunl0    #给tunl0添加vip

# DR使用了限制报文的响应，这里演示通过arptables_jf来限制报文响应
yum install arptables_jf

arptables -A IN -d 172.25.1.100 -j DROP            #将访问100的数据包丢弃
arptables -A OUT -s 172.25.1.100 -j mangle --mangle-ip-s 172.25.1.2      #从100进来的数据从172.25.1.2出去

/etc/init.d/arptables_jf save

/etc/init.d/arptables_jf start            #需要将规则写进去并且保存，不然无法启动

sysctl -w net.ipv4.conf.tunl0.rp_filter=0
sysctl -a |grep rp_filter                 查看net.ipv4.conf.tunl0.rp_filter是否打开
sysctl -w net.ipv4.conf.tunl0.rp_filter=0          

为什么要修改这个参数呢？是因为：
rp_filter参数用于控制系统是否开启对数据包源地址的校验。
有三个值，0、1、2，具体含义：
0：不开启源地址校验。
1：开启严格的反向路径校验。对每个进来的数据包，校验其反向路径是否是最佳路径。如果反向路径不是最佳路径，则直接丢弃该数据包。
2：开启松散的反向路径校验。对每个进来的数据包，校验其源地址是否可达，即反向路径是否能通（通过任意网口），如果反向路径不同，则直接丢弃该数据包。

TUN模式可以解决DR模式下不能跨网段的问题，甚至可以跨公网进行