Linux Virtual Server
原视频:https://www.bilibili.com/video/BV18f4y1U7St?p=1
1集群和分布式
系统性能扩展方式:
- Scale UP:垂直扩展,向上扩展,增强,性能更强的计算机运行同样的服务
- Scale Out:水平扩展,向外扩展,增加设备,并行地运行多个服务调度分配问题,Cluster垂直扩展不再提及:
随着计算机性能的增长,其价格会成倍增长
单台计算机的性能是有上限的,不可能无限制地垂直扩展多核CPU意味着即使是单台计算机也可以并行的。那么,为什么不一开始就并行化技术?
1.1集群 Cluster
Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统Cluster分为三种类型:
-
LB:Load Balancing,负载均衡;多个主机组成,每个主机只承担一部分访问请求
-
HA:High Availiablity,高可用,避免SPOF(single Point Of failure)
MTBF:Mean Time Between Failure 平均无故障时间
MTTR:Mean Time To Restoration(repair)平均恢复前时间
A=MTBF/(MTBF+MTTR)(0,1):99%,99.5%,99.9%,99.99%,99.999%SLA:服务等级协议(简称:SLA,全称:service level agreement)。是在一定开销下为保障服务的性能和可用性,服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在常规的领域中,总是设定所谓的三个9,四个9来进行表示,当没有达到这种水平的时候,就会有一些列的惩罚措施,而运维,最主要的目标就是达成这种服务水平。
1年=365天=8760小时
99.9=8760 X 0.1%=8760 X *0.001=8.76小时
99.99=8760 X 0.0001=0.876小时=0.876 X 60=52.6分钟
99.999=8760 X 0.00001=0.0876小时=0.0876 X 60=5.26分钟停机时间又分为两种,一种是计划内停机时间,一种是计划外停机时间,而运维则主要关注计划外停机时间。
-
HPC:High-performance computing,高性能www.top500.org
1.2分布式系统
分布式存储:Ceph,GlusterFS,FastDFS,MogileFS
分布式计算:hadoop,Spark
分布式常见应用
- 分布式应用-服务按照功能拆分,使用微服务
- 分布式静态资源-静态资源放在不同的存储集群上
- 分布式数据和存储-使用key-value缓存系统
- 分布式计算-对特殊业务使用分布式计算,比如Hadoop集群
1.3集群和分布式
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zm28Ruab-1639066361664)(.assets/image-20211209234718073.png)]
集群:同一个业务系统,部署在多台服务器上。集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的
分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务
分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。
对于大型网站,访问用户很多,实现一个群集,在前面部署一个负载均衡服务器,后面几台服务器完成同一业务。如果有用户进行相应业务访问时,负载均衡器根据后端哪台服务器的负载情况,决定由给哪一台去完成响应,并且一台服务器垮了,其它的服务器可以顶上来。分布式的每一个节点,都完成不同的业务,如果一个节点垮了,那这个业务可能就会失败
1.4集群设计原则
可扩展性一集群的横向扩展能力
可用性一无故障时间(SLA service level agreement)
性能一访问响应时间
容量一单位时间内的最大并发吞吐量(C10K并发问题)
1.5集群设计实现
1.5.1基础设施层面
提升硬件资源性能一从入口防火墙到后端web server均使用更高性能的硬件资源
多域名一DNS轮询A记录解析
多入口一将A记录解析到多个公网IP入口
多机房一同城+异地容灾
CDN(Content Delivery Network)一基于GSLB(Global Server Load Balance)实现全局负载均衡,如:DNS
1.5.2业务层面
分层:安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化
分割:基于功能分割大业务为小服务
分布式:对于特殊场景的业务,使用分布式计算
1.6LB Cluster 负载均衡集群
1.6.1按实现方式划分
- 硬件
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HwO876D5-1639066361674)(.assets/image-20211210000024170.png)]
F5 Big-IP
Citrix Netscaler
A10A10
- 软件
lvs:Linux Virtual Server,阿里四层SLB(Server Load Balance)使用
nginx:支持七层调度,阿里七层SLB使用Tengine
haproxy:支持七层调度
ats:Apache Traffic Server,yahoo捐助给apache
perlbal:Perl编写
pound
1.6.2基于工作的协议层次划分
-
传输层(通用):DNAT和DPORT
LVS:
nginx:stream
haproxy:mode tcp
-
应用层(专用):针对特定协议,常称为proxy server
http:nginx,httpd,haproxy(mode http).…
fastcgi:nginx,httpd.…
mysql:mysql-proxy.…
1.6.3负载均衡的会话保持
-
session sticky:同一用户调度固定服务器
Source IP:LVS sh算法(对某一特定服务而言)
Cookie
-
session replication:每台服务器拥有全部session
session multicast cluster
-
session server:专门的session服务器
Memcached,Redis
1.7HA高可用集群实现
keepalived:vrrp协议
Ais:应用接口规范
heartbeat
cman+rgmanager(RHCS)
coresync_pacemaker