你的位置:首页 > 信息动态 > 新闻中心
信息动态
联系我们

Lvs企业级负载均衡入门到精通(学习笔记)——集群和分布式及互联网构架

2021/12/10 0:24:26

Linux Virtual Server

原视频:https://www.bilibili.com/video/BV18f4y1U7St?p=1

1集群和分布式

系统性能扩展方式

  • Scale UP:垂直扩展,向上扩展,增强,性能更强的计算机运行同样的服务
  • Scale Out:水平扩展,向外扩展,增加设备,并行地运行多个服务调度分配问题,Cluster垂直扩展不再提及:

随着计算机性能的增长,其价格会成倍增长
单台计算机的性能是有上限的,不可能无限制地垂直扩展多核CPU意味着即使是单台计算机也可以并行的。那么,为什么不一开始就并行化技术?

1.1集群 Cluster

Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统Cluster分为三种类型:

  • LB:Load Balancing,负载均衡;多个主机组成,每个主机只承担一部分访问请求

  • HA:High Availiablity,高可用,避免SPOF(single Point Of failure)
    MTBF:Mean Time Between Failure 平均无故障时间
    MTTR:Mean Time To Restoration(repair)平均恢复前时间
    A=MTBF/(MTBF+MTTR)(0,1):99%,99.5%,99.9%,99.99%,99.999%

    SLA:服务等级协议(简称:SLA,全称:service level agreement)。是在一定开销下为保障服务的性能和可用性,服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在常规的领域中,总是设定所谓的三个9,四个9来进行表示,当没有达到这种水平的时候,就会有一些列的惩罚措施,而运维,最主要的目标就是达成这种服务水平。

    1年=365天=8760小时
    99.9=8760 X 0.1%=8760 X *0.001=8.76小时
    99.99=8760 X 0.0001=0.876小时=0.876 X 60=52.6分钟
    99.999=8760 X 0.00001=0.0876小时=0.0876 X 60=5.26分钟

    停机时间又分为两种,一种是计划内停机时间,一种是计划外停机时间,而运维则主要关注计划外停机时间。

  • HPC:High-performance computing,高性能www.top500.org

1.2分布式系统

分布式存储:Ceph,GlusterFS,FastDFS,MogileFS

分布式计算:hadoop,Spark

分布式常见应用

  • 分布式应用-服务按照功能拆分,使用微服务
  • 分布式静态资源-静态资源放在不同的存储集群上
  • 分布式数据和存储-使用key-value缓存系统
  • 分布式计算-对特殊业务使用分布式计算,比如Hadoop集群

1.3集群和分布式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zm28Ruab-1639066361664)(.assets/image-20211209234718073.png)]

集群:同一个业务系统,部署在多台服务器上。集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的
分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务

分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。

对于大型网站,访问用户很多,实现一个群集,在前面部署一个负载均衡服务器,后面几台服务器完成同一业务。如果有用户进行相应业务访问时,负载均衡器根据后端哪台服务器的负载情况,决定由给哪一台去完成响应,并且一台服务器垮了,其它的服务器可以顶上来。分布式的每一个节点,都完成不同的业务,如果一个节点垮了,那这个业务可能就会失败

1.4集群设计原则

可扩展性一集群的横向扩展能力

可用性一无故障时间(SLA service level agreement)

性能一访问响应时间

容量一单位时间内的最大并发吞吐量(C10K并发问题)

1.5集群设计实现

1.5.1基础设施层面

提升硬件资源性能一从入口防火墙到后端web server均使用更高性能的硬件资源

多域名一DNS轮询A记录解析

多入口一将A记录解析到多个公网IP入口

多机房一同城+异地容灾

CDN(Content Delivery Network)一基于GSLB(Global Server Load Balance)实现全局负载均衡,如:DNS

1.5.2业务层面

分层:安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化

分割:基于功能分割大业务为小服务

分布式:对于特殊场景的业务,使用分布式计算

1.6LB Cluster 负载均衡集群

1.6.1按实现方式划分
  • 硬件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HwO876D5-1639066361674)(.assets/image-20211210000024170.png)]

F5 Big-IP

Citrix Netscaler

A10A10

  • 软件

lvs:Linux Virtual Server,阿里四层SLB(Server Load Balance)使用

nginx:支持七层调度,阿里七层SLB使用Tengine

haproxy:支持七层调度

ats:Apache Traffic Server,yahoo捐助给apache

perlbal:Perl编写

pound

1.6.2基于工作的协议层次划分
  • 传输层(通用):DNAT和DPORT

    LVS:

    nginx:stream

    haproxy:mode tcp

  • 应用层(专用):针对特定协议,常称为proxy server

    http:nginx,httpd,haproxy(mode http).…

    fastcgi:nginx,httpd.…

    mysql:mysql-proxy.…

1.6.3负载均衡的会话保持
  1. session sticky:同一用户调度固定服务器

    Source IP:LVS sh算法(对某一特定服务而言)

    Cookie

  2. session replication:每台服务器拥有全部session

    session multicast cluster

  3. session server:专门的session服务器

    Memcached,Redis

1.7HA高可用集群实现

keepalived:vrrp协议

Ais:应用接口规范

​ heartbeat

​ cman+rgmanager(RHCS)

​ coresync_pacemaker