你的位置:首页 > 信息动态 > 新闻中心
信息动态
联系我们

负载均衡相关

2021-10-26 7:47:57

目录

一、LVS-DR

1.LVS-DR 模式的特点

2、LVS-DR 中的 ARP 问题

3、部署 LVS-DR 负载均衡集群

架构概述

安装环境

正式部署

 配置 NFS 共享存储

 配置 WEB 节点服务器

 WEB2

二、Keepalived

1. 概述

为什么需要 keepalived

keepalived 是什么

 keepalived 服务重要功能 

keepalived 高可用故障切换转移原理

2、LVS + DR + Keepalived 高可用集群构建

 集群概述

正式部署

(1) 从负载调度器配置

(2) 主-从负载调度器安装配置 keepalived

Windows 10 测试访问


一、LVS-DR

1.LVS-DR 模式的特点

- Director Server 和 Real Server 必须在同一个物理网络中。
- Real Server 可以使用私有地址,也可以使用公网地址。如果使用公网地址,可以通过互联网对 RIP 进行直接访问。
- Director Server 作为群集的访问入口,但不作为网关使用。
- 所有的请求报文经由 Real Server,但回复响应报文不能经过 Director Server。
- Real Server 的网关不允许指向 Director Server IP,即 Real Server 发送的数据包不允许经过 Director Server。
- Real Server上的 lo 接口配置 VIP 地址。

2、LVS-DR 中的 ARP 问题

在这里插入图片描述

 在局域网中具有相同的 IP 地址,势必会造成各服务器 ARP 通信的紊乱

当 ARP 广播发送到 LVS-DR 集群时,因为负载均衡器和节点服务器都是连接到相同网络上,它们都会接收到 ARP 广播设置

只有前端的负载均衡器进行响应,其他节点服务器均不响应 ARP 广播

//解决方法:
使用虚接口 lo:0 承载 VIP 地址
设置内核参数 arp_ignore=1(系统只响应目的 IP 为本地 IP 的 ARP 请求)

RealServer 返回报文(源 IP 是 VIP)经路由器转发,重新封装报文时,需要先获取路由器的 MAC 地址
且发送 ARP 请求时,Linux 默认使用 IP 包的源 IP 地址(即 VIP)作为 ARP 请求包中的源 IP 地址,而不使用发送接口的 IP 地址
路由器收到 ARP 请求后,将更新 ARP 表项
原有的 VIP 对应 Director 的 MAC 地址会被更新为 VIP 对应 RealServer 的 MAC 地址,而路由器根据 ARP 表项,会将新来的请求报文转发给 RealServer,导致 Director 的 VIP 失效
 

//解决方法:
对节点服务器进行处理,设置内核参数 arp_announce=2(系统不使用 IP 包的源地址来设置 ARP 请求的源地址,而选择发送接口的 IP 地址)

3、部署 LVS-DR 负载均衡集群

架构概述

在 DR 模式的群集中,LVS 负载调度器作为群集的访问入口,但不作为网关使用
服务器池中的所有节点都各自接入 Internet,发送给客户机的 Web 响应数据包不需要经过 LVS 负载调度器
这种方式入站、出站访问数据被分别处理,因此 LVS 负载调度器和所有节点服务器都需要配置有 VIP 地址,以便响应应对整个群集的访问
考虑到数据存储的安全性,共享存储设备会放在内部的专用网络内

安装环境

  • 宿主机:Win10 专业工作站版本
  • VMware Pro 16
  • CentOS 7
  • 网络适配器:均为 NAT 模式
  • 网卡配置:均为静态获取 IP
  • YUM 源:本地

正式部署

加载 LVS 内核模块

systemctl stop firewalld.service && systemctl disable firewalld.service 
setenforce 0
modprobe ip_vs
cat /proc/net/ip_vs
yum install -y ipvsadm

配置虚拟地址(VIP)

cd /etc/sysconfig/network-scripts/ && cp ifcfg-ens33 ifcfg-ens33:0
echo > /etc/sysconfig/network-scripts/ifcfg-ens33:0

cat > /etc/sysconfig/network-scripts/ifcfg-ens33:0 <<EOF
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.25
NETMASK=255.255.255.255
EOF

ifup ens33:0
ifconfig ens33:0

调整 proc 响应参数

cat >> /etc/sysctl.conf <<EOF
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
EOF

sysctl -p	#使配置生效

 配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm && systemctl enable ipvsadm

ipvsadm -C
#清除原有策略

ipvsadm -A -t 192.168.10.25:80 -s rr
ipvsadm -a -t 192.168.10.25:80 -r 192.168.10.30:80 -g
ipvsadm -a -t 192.168.10.25:80 -r 192.168.10.40:80 -g
#若使用隧道模式,则结尾处 -g 替换为 -i

ipvsadm

ipvsadm -ln
#查看节点状态,Route 代表 DR 模式

 配置 NFS 共享存储

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
yum install -y nfs-utils rpcbind
systemctl start nfs && systemctl enable nfs
systemctl start rpcbind && systemctl enable rpcbind
mkdir /opt/test1 /opt/test2
chmod 777 /opt/test1/ /opt/test2/

cat > /etc/exports <<EOF
/usr/share *(ro,sync)
/opt/test1 192.168.10.0/24(rw,sync)
/opt/test2 192.168.10.0/24(rw,sync)
EOF

exportfs -rv
showmount -e

 配置 WEB 节点服务器

使用 DR 模式时,WEB 节点服务器也需要配置 VIP 地址,并调整内核的 ARP 响应参数以组织更新 VIP 的 MAC 地址,避免发生冲突
除此之外,Web 服务的配置与 NAT 方式类似

WEB1

 准备

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
#为了模拟内网环境,可将两个 WEB 节点服务器的网关和 DNS 注释掉后重启网卡
#如果有网关服务器则指向网关服务器
#需要下载软件使用本地 YUM 仓库

配置虚拟 IP 地址

#此地址仅用做发送 Web 响应数据包的源地址,并不需要监听客户机的访问请求(改由调度器监听并分发)
#因此使用虚接口 lo:0 来承载 VIP 地址,并为本机添加一条路由记录,将访问 VIP 的数据限制在本地,以避免通信紊乱
cd /etc/sysconfig/network-scripts/ && cp ifcfg-lo ifcfg-lo:0
echo > /etc/sysconfig/network-scripts/ifcfg-lo:0

cat > /etc/sysconfig/network-scripts/ifcfg-lo:0 <<EOF
DEVICE=lo:0
IPADDR=192.168.10.25
NETMASK=255.255.255.255
ONBOOT=yes
EOF

ifup lo:0
ifconfig lo:0
route add -host 192.168.10.25 dev lo:0
route -n

cat >> /etc/rc.local <<EOF
/sbin/route add -host 192.168.10.25 dev lo:0
EOF

chmod +x /etc/rc.d/rc.local

调整内核的 ARP 响应参数,以阻止更新 VIP 的 MAC 地址,避免发生冲突

cat >> /etc/sysctl.conf <<EOF
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
EOF

sysctl -p

挂载共享目录

yum -y install nfs-utils rpcbind httpd
systemctl start rpcbind && systemctl enable rpcbind
systemctl start httpd && systemctl enable httpd
mount.nfs 192.168.10.50:/opt/test1 /var/www/html/
echo 'Hello test1~' > /var/www/html/index.html
echo "192.168.10.50:/opt/test1 /var/www/html nfs defaults,_netdev 0 0" >> /etc/fstab
mount -a

 WEB2

除了共享目录,其他配置同 WEB1

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
cd /etc/sysconfig/network-scripts/ && cp ifcfg-lo ifcfg-lo:0
echo > /etc/sysconfig/network-scripts/ifcfg-lo:0

cat > /etc/sysconfig/network-scripts/ifcfg-lo:0 <<EOF
DEVICE=lo:0
IPADDR=192.168.10.25
NETMASK=255.255.255.255
ONBOOT=yes
EOF

ifup lo:0
route add -host 192.168.10.25 dev lo:0

cat >> /etc/rc.local <<EOF
/sbin/route add -host 192.168.10.25 dev lo:0
EOF

chmod +x /etc/rc.d/rc.local

cat >> /etc/sysctl.conf <<EOF
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
EOF

sysctl -p

yum -y install nfs-utils rpcbind httpd
systemctl start rpcbind && systemctl enable rpcbind
systemctl start httpd && systemctl enable httpd
mount.nfs 192.168.10.50:/opt/test2 /var/www/html/
echo 'Hello test2~' > /var/www/html/index.html
echo "192.168.10.50:/opt/test2 /var/www/html nfs defaults,_netdev 0 0" >> /etc/fstab
mount -a

二、Keepalived

1. 概述

为什么需要 keepalived

企业应用中,单台服务器承担应用存在单点故障的危险,单点故障一旦发生,企业服务将发生中断,造成极大的危害和损失。

keepalived 是什么

  keepalived 软件起初是专为 LVS 负载均衡软件设计的,用来管理并监控 LVS 集群中各个服务节点的状态,后来又加入了可以实现高可用的 VRRP 功能。因此,keepalived 除了能够管理 LVS 集群外,还可以为其他服务(例如:Nginx、Haproxy、MySQL等)实现高可用。
  keepalived 软件主要是通过 VRRP 协议实现高可用功能的。VRRP 是 Virtual Router Redundancy Protocol(虚拟路由器冗余协议)的缩写,VRRP 出现的目的就是为了解决静态路由单点故障的问题,它能够保证当个别节点宕机时,整个网络可以不间断地运行。
  所以,keepalived 一方面具有配置管理 LVS 的功能,同时还具有对 LVS 下面节点进行健康检查的功能,另一方面也可实现系统网络服务的高可用。 

 keepalived 服务重要功能 

管理 LVS 负载均衡软件
支持故障自动切换(Failover)
实现 LVS 集群中节点的健康检查(Health Checking)
实现 LVS 负载调度器、节点服务器的高可用性(HA)
  一般企业集群需要满足的三个特点:负载均衡、健康检查、故障切换,使用 LVS + Keepalived 完全可以满足需求。

keepalived 高可用故障切换转移原理

keepalived 高可用服务对集群之间的故障切换转移,是通过 VRRP(虚拟路由器冗余协议)来实现的。
  在 keepalived 服务正常工作时,主(Master)节点会不断地向备(Backup)节点发送(多播的方式)心跳消息,用以告诉备节点自己还活看,当主节点发生故障时,就无法发送心跳消息,备节点也就因此无法继续检测到来自主节点的心跳了,于是调用自身的接管程序,接管主节点的 IP 资源及服务。而当主节点恢复时,备节点又会释放主节点故障时自身接管的 IP 资源及服务,恢复到原来的备用角色。


2、LVS + DR + Keepalived 高可用集群构建

 集群概述

keepalived 的设计目标是构建高可用的 LVS 负载均衡集群,可以调用 ipvsadm 工具来创建虚拟服务器、管理服务器池,而不仅仅用作双机热备
使用 keepalived 构建 LVS 集群更加简便易用,主要优势在于:对 LVS 负载调度器实现热备切换,提高可用性;对服务器池中的节点进行健康检查,自动移除失效节点,恢复后再重新加入
案列将以 DR 模式的 LVS 集群为基础,增加一台从负载调度器,使用 keepalived 实现主、从调度器的热备,搭建兼有负载均衡、高可用性两种能力的 LVS 集群架构
使用 keepalived 构建 LVS 集群时,也需要用到 ipvsadm 管理工具,但大部分工作会由 keepalived 自动完成,不需要手动执行 ipvsadm (除了查看和监控集群以外)
 

正式部署

(1) 从负载调度器配置

systemctl stop firewalld.service && systemctl disable firewalld.service 
setenforce 0
modprobe ip_vs
cat /proc/net/ip_vs
yum install -y ipvsadm
cd /etc/sysconfig/network-scripts/ && cp ifcfg-ens33 ifcfg-ens33:0
echo > /etc/sysconfig/network-scripts/ifcfg-ens33:0

cat > /etc/sysconfig/network-scripts/ifcfg-ens33:0 <<EOF
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.25
NETMASK=255.255.255.255
EOF

ifup ens33:0	#lvs_01 已经有 VIP 了,直接用 ifup 会执行失败
systemctl restart network
ifup ens33:0	#再次执行
ip a			#确认一下 ens33:0 是否生效

cat >> /etc/sysctl.conf <<EOF
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
EOF

sysctl -p
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm && systemctl enable ipvsadm
ipvsadm -C
ipvsadm -A -t 192.168.10.25:80 -s rr
ipvsadm -a -t 192.168.10.25:80 -r 192.168.10.30:80 -g
ipvsadm -a -t 192.168.10.25:80 -r 192.168.10.40:80 -g
ipvsadm
ipvsadm -ln

(2) 主-从负载调度器安装配置 keepalived

yum -y install keepalived
#安装软件包

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
#备份


vim keepalived.conf
#配置文件只需要从 global_defs 开始的内容,上面无用的配置也清掉
global_defs {						#定义全局参数
    #第10行,邮件服务指向本地
	smtp_server 127.0.0.1
    #第12行,指定服务器(路由器)的名称,主备服务器名称须不同,主为 LVS_01,备为 LVS_02
	router_id LVS_01
}

vrrp_instance VI_1 {				#定义 VRRP 热备实例参数
#20行,指定热备状态,主为 MASTER,备为 BACKUP
    state MASTER
    #21行,指定承载 vip 地址的物理接口
    interface ens33
    #第22行,指定虚拟路由器的 ID 号,每个热备组保持一致	
    virtual_router_id 10
    #第23行,指定优先级,数值越大优先级越高,主为 100,备为 99
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
        #第27行,指定验证密码,主备服务器保持一致
        auth_pass 123123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.10.25
    }
}
#第34行,指定虚拟服务器地址(VIP)、端口,定义虚拟服务器和 Web 服务器池参数
virtual_server 192.168.10.25 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法,轮询(rr)
    #第37行,指定群集工作模式,直接路由(DR)
    lb_kind DR
    persistence_timeout 50			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
    #第41行,指定第一个Web节点的地址、端口
    real_server 192.168.10.30 80 {
        weight 1					#节点的权重
        #第43行,添加以下健康检查方式,删掉不需要的配置		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}

	real_server 192.168.10.40 80 {		#添加第二个 Web 节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
}
#可删除后面多余的网段



systemctl start keepalived && systemctl enable keepalived
#两个负载调度器开启 keepalived 服务

ip addr show dev ens33
#查看虚拟网卡 vip

Windows 10 测试访问

  • 在客户机的浏览器中,能够通过 LVS + Keepalived 群集的 VIP 地址正常访问 Web 页面内容
  • 当主、从调度器任何一个失效时,Web 站点仍然可以访问(可能需要刷新或者重新打开浏览器)
  • 只要有两台及以上的真实服务器可用,就可以实现访问量的负载均衡