你的位置：首页 > 信息动态 > 新闻中心
信息动态
联系我们

中恒嘉业

地址：北京市海淀区苏州街大河庄苑底4号楼0105号

电话：15910357833

QQ：：823598168

邮件：823598168@qq.com

网站：http://www.zizl.cn

更多
更多

负载均衡相关

2021/10/26 7:47:57

目录

一、LVS-DR

1.LVS-DR 模式的特点

2、LVS-DR 中的 ARP 问题

3、部署 LVS-DR 负载均衡集群

架构概述

安装环境

正式部署

 配置 NFS 共享存储

 配置 WEB 节点服务器

 WEB2

二、Keepalived

1. 概述

为什么需要 keepalived

keepalived 是什么

 keepalived 服务重要功能 

keepalived 高可用故障切换转移原理

2、LVS + DR + Keepalived 高可用集群构建

 集群概述

正式部署

(1) 从负载调度器配置

(2) 主-从负载调度器安装配置 keepalived

Windows 10 测试访问

一、LVS-DR

1.LVS-DR 模式的特点

- Director Server 和 Real Server 必须在同一个物理网络中。
- Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。
- Director Server 作为群集的访问入口，但不作为网关使用。
- 所有的请求报文经由 Real Server，但回复响应报文不能经过 Director Server。
- Real Server 的网关不允许指向 Director Server IP，即 Real Server 发送的数据包不允许经过 Director Server。
- Real Server上的 lo 接口配置 VIP 地址。

2、LVS-DR 中的 ARP 问题

在这里插入图片描述

 在局域网中具有相同的 IP 地址，势必会造成各服务器 ARP 通信的紊乱

当 ARP 广播发送到 LVS-DR 集群时，因为负载均衡器和节点服务器都是连接到相同网络上，它们都会接收到 ARP 广播设置

只有前端的负载均衡器进行响应，其他节点服务器均不响应 ARP 广播

//解决方法：
使用虚接口 lo:0 承载 VIP 地址
设置内核参数 arp_ignore=1（系统只响应目的 IP 为本地 IP 的 ARP 请求）

RealServer 返回报文（源 IP 是 VIP）经路由器转发，重新封装报文时，需要先获取路由器的 MAC 地址
且发送 ARP 请求时，Linux 默认使用 IP 包的源 IP 地址（即 VIP）作为 ARP 请求包中的源 IP 地址，而不使用发送接口的 IP 地址
路由器收到 ARP 请求后，将更新 ARP 表项
原有的 VIP 对应 Director 的 MAC 地址会被更新为 VIP 对应 RealServer 的 MAC 地址，而路由器根据 ARP 表项，会将新来的请求报文转发给 RealServer，导致 Director 的 VIP 失效
 

//解决方法：
对节点服务器进行处理，设置内核参数 arp_announce=2（系统不使用 IP 包的源地址来设置 ARP 请求的源地址，而选择发送接口的 IP 地址）

3、部署 LVS-DR 负载均衡集群

架构概述

在 DR 模式的群集中，LVS 负载调度器作为群集的访问入口，但不作为网关使用
服务器池中的所有节点都各自接入 Internet，发送给客户机的 Web 响应数据包不需要经过 LVS 负载调度器
这种方式入站、出站访问数据被分别处理，因此 LVS 负载调度器和所有节点服务器都需要配置有 VIP 地址，以便响应应对整个群集的访问
考虑到数据存储的安全性，共享存储设备会放在内部的专用网络内

安装环境

  • 宿主机：Win10 专业工作站版本
  • VMware Pro 16
  • CentOS 7
  • 网络适配器：均为 NAT 模式
  • 网卡配置：均为静态获取 IP
  • YUM 源：本地

正式部署

加载 LVS 内核模块

systemctl stop firewalld.service && systemctl disable firewalld.service 
setenforce 0
modprobe ip_vs
cat /proc/net/ip_vs
yum install -y ipvsadm

配置虚拟地址（VIP）

cd /etc/sysconfig/network-scripts/ && cp ifcfg-ens33 ifcfg-ens33:0
echo > /etc/sysconfig/network-scripts/ifcfg-ens33:0

cat > /etc/sysconfig/network-scripts/ifcfg-ens33:0 <<EOF
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.25
NETMASK=255.255.255.255
EOF

ifup ens33:0
ifconfig ens33:0

调整 proc 响应参数

cat >> /etc/sysctl.conf <<EOF
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
EOF

sysctl -p	#使配置生效

 配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm && systemctl enable ipvsadm

ipvsadm -C
#清除原有策略

ipvsadm -A -t 192.168.10.25:80 -s rr
ipvsadm -a -t 192.168.10.25:80 -r 192.168.10.30:80 -g
ipvsadm -a -t 192.168.10.25:80 -r 192.168.10.40:80 -g
#若使用隧道模式，则结尾处 -g 替换为 -i

ipvsadm

ipvsadm -ln
#查看节点状态，Route 代表 DR 模式

 配置 NFS 共享存储

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
yum install -y nfs-utils rpcbind
systemctl start nfs && systemctl enable nfs
systemctl start rpcbind && systemctl enable rpcbind
mkdir /opt/test1 /opt/test2
chmod 777 /opt/test1/ /opt/test2/

cat > /etc/exports <<EOF
/usr/share *(ro,sync)
/opt/test1 192.168.10.0/24(rw,sync)
/opt/test2 192.168.10.0/24(rw,sync)
EOF

exportfs -rv
showmount -e

 配置 WEB 节点服务器

使用 DR 模式时，WEB 节点服务器也需要配置 VIP 地址，并调整内核的 ARP 响应参数以组织更新 VIP 的 MAC 地址，避免发生冲突
除此之外，Web 服务的配置与 NAT 方式类似

WEB1

 准备

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
#为了模拟内网环境，可将两个 WEB 节点服务器的网关和 DNS 注释掉后重启网卡
#如果有网关服务器则指向网关服务器
#需要下载软件使用本地 YUM 仓库

配置虚拟 IP 地址

#此地址仅用做发送 Web 响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）
#因此使用虚接口 lo:0 来承载 VIP 地址，并为本机添加一条路由记录，将访问 VIP 的数据限制在本地，以避免通信紊乱
cd /etc/sysconfig/network-scripts/ && cp ifcfg-lo ifcfg-lo:0
echo > /etc/sysconfig/network-scripts/ifcfg-lo:0

cat > /etc/sysconfig/network-scripts/ifcfg-lo:0 <<EOF
DEVICE=lo:0
IPADDR=192.168.10.25
NETMASK=255.255.255.255
ONBOOT=yes
EOF

ifup lo:0
ifconfig lo:0
route add -host 192.168.10.25 dev lo:0
route -n

cat >> /etc/rc.local <<EOF
/sbin/route add -host 192.168.10.25 dev lo:0
EOF

chmod +x /etc/rc.d/rc.local

调整内核的 ARP 响应参数，以阻止更新 VIP 的 MAC 地址，避免发生冲突

cat >> /etc/sysctl.conf <<EOF
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
EOF

sysctl -p

挂载共享目录

yum -y install nfs-utils rpcbind httpd
systemctl start rpcbind && systemctl enable rpcbind
systemctl start httpd && systemctl enable httpd
mount.nfs 192.168.10.50:/opt/test1 /var/www/html/
echo 'Hello test1~' > /var/www/html/index.html
echo "192.168.10.50:/opt/test1 /var/www/html nfs defaults,_netdev 0 0" >> /etc/fstab
mount -a

 WEB2

除了共享目录，其他配置同 WEB1

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
cd /etc/sysconfig/network-scripts/ && cp ifcfg-lo ifcfg-lo:0
echo > /etc/sysconfig/network-scripts/ifcfg-lo:0

cat > /etc/sysconfig/network-scripts/ifcfg-lo:0 <<EOF
DEVICE=lo:0
IPADDR=192.168.10.25
NETMASK=255.255.255.255
ONBOOT=yes
EOF

ifup lo:0
route add -host 192.168.10.25 dev lo:0

cat >> /etc/rc.local <<EOF
/sbin/route add -host 192.168.10.25 dev lo:0
EOF

chmod +x /etc/rc.d/rc.local

cat >> /etc/sysctl.conf <<EOF
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
EOF

sysctl -p

yum -y install nfs-utils rpcbind httpd
systemctl start rpcbind && systemctl enable rpcbind
systemctl start httpd && systemctl enable httpd
mount.nfs 192.168.10.50:/opt/test2 /var/www/html/
echo 'Hello test2~' > /var/www/html/index.html
echo "192.168.10.50:/opt/test2 /var/www/html nfs defaults,_netdev 0 0" >> /etc/fstab
mount -a

二、Keepalived

1. 概述

为什么需要 keepalived

企业应用中，单台服务器承担应用存在单点故障的危险，单点故障一旦发生，企业服务将发生中断，造成极大的危害和损失。

keepalived 是什么

  keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS 集群中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。因此，keepalived 除了能够管理 LVS 集群外，还可以为其他服务（例如：Nginx、Haproxy、MySQL等）实现高可用。
  keepalived 软件主要是通过 VRRP 协议实现高可用功能的。VRRP 是 Virtual Router Redundancy Protocol（虚拟路由器冗余协议）的缩写，VRRP 出现的目的就是为了解决静态路由单点故障的问题，它能够保证当个别节点宕机时，整个网络可以不间断地运行。
  所以，keepalived 一方面具有配置管理 LVS 的功能，同时还具有对 LVS 下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用。 

 keepalived 服务重要功能 

管理 LVS 负载均衡软件
支持故障自动切换（Failover）
实现 LVS 集群中节点的健康检查（Health Checking）
实现 LVS 负载调度器、节点服务器的高可用性（HA）
  一般企业集群需要满足的三个特点：负载均衡、健康检查、故障切换，使用 LVS + Keepalived 完全可以满足需求。

keepalived 高可用故障切换转移原理

keepalived 高可用服务对集群之间的故障切换转移，是通过 VRRP（虚拟路由器冗余协议）来实现的。
  在 keepalived 服务正常工作时，主（Master）节点会不断地向备（Backup）节点发送（多播的方式）心跳消息，用以告诉备节点自己还活看，当主节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主节点的心跳了，于是调用自身的接管程序，接管主节点的 IP 资源及服务。而当主节点恢复时，备节点又会释放主节点故障时自身接管的 IP 资源及服务，恢复到原来的备用角色。


2、LVS + DR + Keepalived 高可用集群构建

 集群概述

keepalived 的设计目标是构建高可用的 LVS 负载均衡集群，可以调用 ipvsadm 工具来创建虚拟服务器、管理服务器池，而不仅仅用作双机热备
使用 keepalived 构建 LVS 集群更加简便易用，主要优势在于：对 LVS 负载调度器实现热备切换，提高可用性；对服务器池中的节点进行健康检查，自动移除失效节点，恢复后再重新加入
案列将以 DR 模式的 LVS 集群为基础，增加一台从负载调度器，使用 keepalived 实现主、从调度器的热备，搭建兼有负载均衡、高可用性两种能力的 LVS 集群架构
使用 keepalived 构建 LVS 集群时，也需要用到 ipvsadm 管理工具，但大部分工作会由 keepalived 自动完成，不需要手动执行 ipvsadm （除了查看和监控集群以外）
 

正式部署

(1) 从负载调度器配置

systemctl stop firewalld.service && systemctl disable firewalld.service 
setenforce 0
modprobe ip_vs
cat /proc/net/ip_vs
yum install -y ipvsadm
cd /etc/sysconfig/network-scripts/ && cp ifcfg-ens33 ifcfg-ens33:0
echo > /etc/sysconfig/network-scripts/ifcfg-ens33:0

cat > /etc/sysconfig/network-scripts/ifcfg-ens33:0 <<EOF
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.25
NETMASK=255.255.255.255
EOF

ifup ens33:0	#lvs_01 已经有 VIP 了，直接用 ifup 会执行失败
systemctl restart network
ifup ens33:0	#再次执行
ip a			#确认一下 ens33:0 是否生效

cat >> /etc/sysctl.conf <<EOF
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
EOF

sysctl -p
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm && systemctl enable ipvsadm
ipvsadm -C
ipvsadm -A -t 192.168.10.25:80 -s rr
ipvsadm -a -t 192.168.10.25:80 -r 192.168.10.30:80 -g
ipvsadm -a -t 192.168.10.25:80 -r 192.168.10.40:80 -g
ipvsadm
ipvsadm -ln

(2) 主-从负载调度器安装配置 keepalived

yum -y install keepalived
#安装软件包

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
#备份


vim keepalived.conf
#配置文件只需要从 global_defs 开始的内容，上面无用的配置也清掉
global_defs {						#定义全局参数
    #第10行，邮件服务指向本地
	smtp_server 127.0.0.1
    #第12行，指定服务器（路由器）的名称，主备服务器名称须不同，主为 LVS_01，备为 LVS_02
	router_id LVS_01
}

vrrp_instance VI_1 {				#定义 VRRP 热备实例参数
#20行，指定热备状态，主为 MASTER，备为 BACKUP
    state MASTER
    #21行，指定承载 vip 地址的物理接口
    interface ens33
    #第22行，指定虚拟路由器的 ID 号，每个热备组保持一致	
    virtual_router_id 10
    #第23行，指定优先级，数值越大优先级越高，主为 100，备为 99
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
        #第27行，指定验证密码，主备服务器保持一致
        auth_pass 123123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.10.25
    }
}
#第34行，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和 Web 服务器池参数
virtual_server 192.168.10.25 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
    #第37行，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 50			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
    #第41行，指定第一个Web节点的地址、端口
    real_server 192.168.10.30 80 {
        weight 1					#节点的权重
        #第43行，添加以下健康检查方式，删掉不需要的配置		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}

	real_server 192.168.10.40 80 {		#添加第二个 Web 节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
}
#可删除后面多余的网段



systemctl start keepalived && systemctl enable keepalived
#两个负载调度器开启 keepalived 服务

ip addr show dev ens33
#查看虚拟网卡 vip

Windows 10 测试访问

  • 在客户机的浏览器中，能够通过 LVS + Keepalived 群集的 VIP 地址正常访问 Web 页面内容
  • 当主、从调度器任何一个失效时，Web 站点仍然可以访问（可能需要刷新或者重新打开浏览器）
  • 只要有两台及以上的真实服务器可用，就可以实现访问量的负载均衡