1. 文章大纲

      一、基础知识学习
      二、Redis常见的几种架构及优缺点总结
      三、Redis之Redis Sentinel(哨兵)实战
      四、Redis之Redis Cluster(分布式集群)实战
      五、Java之Jedis连接Redis(Redis Cluster版本)
      六、Redis之云平台介绍
      七、项目源码与资料下载
      八、参考文章

        Redis之高可用、集群、云平台搭建 Hadoop 第1张

      一、基础知识学习

        Redis的基础包括以下内容,可参考文章https://www.cnblogs.com/WUXIAOCHANG/p/10832330.html进行学习
      (1)安装并设置开机自动启动
      (2)Redis文件结构
      (3)Redis启动方式
      (4)Redis持久化
      (5)Redis配置文件详解
      (7)Redis图形化工具
      (8)Java之Jedis连接Redis单机

      SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

      二、Redis常见的几种架构及优缺点总结

      1. Redis单副本

      Redis单副本,采用单个Redis节点部署架构,没有备用节点实时同步数据,不提供数据持久化和备份策略,适用于数据可靠性要求不高的纯缓存业务场景。

        Redis之高可用、集群、云平台搭建 Hadoop 第2张

      优点
      架构简单,部署方便;
      高性价比:缓存使用时无需备用节点(单实例可用性可以用supervisor或crontab保证),当然为了满足业务的高可用性,也可以牺牲一个备用节点,但同时刻只有一个实例对外提供服务;
      高性能。

      缺点
      不保证数据的可靠性;
      在缓存使用,进程重启后,数据丢失,即使有备用的节点解决高可用性,但是仍然不能解决缓存预热问题,因此不适用于数据可靠性要求高的业务;
      高性能受限于单核CPU的处理能力(Redis是单线程机制),CPU为主要瓶颈,所以适合操作命令简单,排序、计算较少的场景。也可以考虑用Memcached替代。

      2. Redis多副本(主从)

      Redis多副本,采用主从(replication)部署结构,相较于单副本而言最大的特点就是主从实例间数据实时同步,并且提供数据持久化和备份策略。主从实例部署在不同的物理服务器上,根据公司的基础环境配置,可以实现同时对外提供服务和读写分离策略。

        Redis之高可用、集群、云平台搭建 Hadoop 第3张

      优点
      高可靠性:一方面,采用双机主备架构,能够在主库出现故障时自动进行主备切换,从库提升为主库提供服务,保证服务平稳运行;另一方面,开启数据持久化功能和配置合理的备份策略,能有效的解决数据误操作和数据异常丢失的问题;
      读写分离策略:从节点可以扩展主库节点的读能力,有效应对大并发量的读操作。

      缺点
      故障恢复复杂,如果没有RedisHA系统(需要开发),当主库节点出现故障时,需要手动将一个从节点晋升为主节点,同时需要通知业务方变更配置,并且需要让其它从库节点去复制新主库节点,整个过程需要人为干预,比较繁琐;
      主库的写能力受到单机的限制,可以考虑分片;
      主库的存储能力受到单机的限制,可以考虑Pika;
      原生复制的弊端在早期的版本中也会比较突出,如:Redis复制中断后,Slave会发起psync,此时如果同步不成功,则会进行全量同步,主库执行全量备份的同时可能会造成毫秒或秒级的卡顿;又由于COW机制,导致极端情况下的主库内存溢出,程序异常退出或宕机;主库节点生成备份文件导致服务器磁盘IO和CPU(压缩)资源消耗;发送数GB大小的备份文件导致服务器出口带宽暴增,阻塞请求,建议升级到最新版本。

      3. Redis Sentinel(哨兵)

        Redis Sentinel是社区版本推出的原生高可用解决方案,其部署架构主要包括两部分:Redis Sentinel集群和Redis数据集群。
        其中Redis Sentinel集群是由若干Sentinel节点组成的分布式集群,可以实现故障发现、故障自动转移、配置中心和客户端通知。Redis Sentinel的节点数量要满足2n+1(n>=1)的奇数个。

        Redis之高可用、集群、云平台搭建 Hadoop 第4张   Redis之高可用、集群、云平台搭建 Hadoop 第5张

      优点
      Redis Sentinel集群部署简单;
      能够解决Redis主从模式下的高可用切换问题;
      很方便实现Redis数据节点的线形扩展,轻松突破Redis自身单线程瓶颈,可极大满足Redis大容量或高性能的业务需求;
      可以实现一套Sentinel监控一组Redis数据节点或多组数据节点。

      缺点
      部署相对Redis主从模式要复杂一些,原理理解更繁琐;
      资源浪费,Redis数据节点中slave节点作为备份节点不提供服务;
      Redis Sentinel主要是针对Redis数据节点中的主节点的高可用切换,对Redis的数据节点做失败判定分为主观下线和客观下线两种,对于Redis的从节点有对节点做主观下线操作,并不执行故障转移。
      不能解决读写分离问题,实现起来相对复杂。

      建议
      如果监控同一业务,可以选择一套Sentinel集群监控多组Redis数据节点的方案,反之选择一套Sentinel监控一组Redis数据节点的方案。
      sentinel monitor <master-name> <ip> <port> <quorum> 配置中的<quorum>建议设置成Sentinel节点的一半加1,当Sentinel部署在多个IDC的时候,单个IDC部署的Sentinel数量不建议超过(Sentinel数量 – quorum)。
      合理设置参数,防止误切,控制切换灵敏度控制:
      a. quorum
      b. down-after-milliseconds 30000
      c. failover-timeout 180000
      d. maxclient
      e. timeout

      部署的各个节点服务器时间尽量要同步,否则日志的时序性会混乱。
      Redis建议使用pipeline和multi-keys操作,减少RTT次数,提高请求效率。
      自行搞定配置中心(zookeeper),方便客户端对实例的链接访问。

      4. Redis Cluster

        Redis Cluster是社区版推出的Redis分布式集群解决方案,主要解决Redis分布式方面的需求,比如,当遇到单机内存,并发和流量等瓶颈的时候,Redis Cluster能起到很好的负载均衡的目的。
        Redis Cluster集群节点最小配置6个节点以上(3主3从),其中主节点提供读写操作,从节点作为备用节点,不提供请求,只作为故障转移使用。
        Redis Cluster采用虚拟槽分区,所有的键根据哈希函数映射到0~16383个整数槽内,每个节点负责维护一部分槽以及槽所印映射的键值数据。

        Redis之高可用、集群、云平台搭建 Hadoop 第6张

      优点
      无中心架构;
      数据按照slot存储分布在多个节点,节点间数据共享,可动态调整数据分布;
      可扩展性:可线性扩展到1000多个节点,节点可动态添加或删除;
      高可用性:部分节点不可用时,集群仍可用。通过增加Slave做standby数据副本,能够实现故障自动failover,节点之间通过gossip协议交换状态信息,用投票机制完成Slave到Master的角色提升;
      降低运维成本,提高系统的扩展性和可用性。

      缺点
      Client实现复杂,驱动要求实现Smart Client,缓存slots mapping信息并及时更新,提高了开发难度,客户端的不成熟影响业务的稳定性。目前仅JedisCluster相对成熟,异常处理部分还不完善,比如常见的“max redirect exception”。
      节点会因为某些原因发生阻塞(阻塞时间大于clutser-node-timeout),被判断下线,这种failover是没有必要的。
      数据通过异步复制,不保证数据的强一致性。
      多个业务使用同一套集群时,无法根据统计区分冷热数据,资源隔离性较差,容易出现相互影响的情况。
      Slave在集群中充当“冷备”,不能缓解读压力,当然可以通过SDK的合理设计来提高Slave资源的利用率。
      Key批量操作限制,如使用mset、mget目前只支持具有相同slot值的Key执行批量操作。对于映射为不同slot值的Key由于Keys不支持跨slot查询,所以执行mset、mget、sunion等操作支持不友好。
      Key事务操作支持有限,只支持多key在同一节点上的事务操作,当多个Key分布于不同的节点上时无法使用事务功能。
      Key作为数据分区的最小粒度,不能将一个很大的键值对象如hash、list等映射到不同的节点。
      不支持多数据库空间,单机下的redis可以支持到16个数据库,集群模式下只能使用1个数据库空间,即db 0。
      复制结构只支持一层,从节点只能复制主节点,不支持嵌套树状复制结构。
      避免产生hot-key,导致主库节点成为系统的短板。
      避免产生big-key,导致网卡撑爆、慢查询等。
      重试时间应该大于cluster-node-time时间。
      Redis Cluster不建议使用pipeline和multi-keys操作,减少max redirect产生的场景。

      5. Redis自研

      Redis自研的高可用解决方案,主要体现在配置中心、故障探测和failover的处理机制上,通常需要根据企业业务的实际线上环境来定制化。

        Redis之高可用、集群、云平台搭建 Hadoop 第7张   Redis之高可用、集群、云平台搭建 Hadoop 第8张

      优点
      高可靠性、高可用性;
      自主可控性高;
      贴切业务实际需求,可缩性好,兼容性好。

      缺点
      实现复杂,开发成本高;
      需要建立配套的周边设施,如监控,域名服务,存储元数据信息的数据库等;
      维护成本高。

      三、Redis之Redis Sentinel(哨兵)实战

      1. 实战的项目架构

        采用一主(MASTER)二从(SLAVE)三哨兵(SENTINEL)的架构

      2. 将下载的Redis复制3分,分别命名如下:

        Redis之高可用、集群、云平台搭建 Hadoop 第9张

      3. 修改三个Reids的配置文件

      3.1 配置主从

      (1)master_6379文件夹中redis.windows.conf文件配置

          port 6379
      

      (2)slave_6380文件夹中redis.windows.conf文件配置

                       port 6380 slaveof 127.0.0.1 6379 

      (3)slave_6381文件夹中redis.windows.conf文件配置

                       port 6381 slaveof 127.0.0.1 6379 

      3.2 哨兵配置
      每一个redis目录中都创建一个文sentinel.conf文件
      master_6379的sentinel.conf文件配置如下

      #当前Sentinel服务运行的端口 port 26379 #master #Sentinel去监视一个名为mymaster的主redis实例,这个主实例的IP地址为本机地址127.0.0.1,端口号为6379, #而将这个主实例判断为失效至少需要2个 Sentinel进程的同意,只要同意Sentinel的数量不达标,自动failover就不会执行 sentinel monitor mymaster 127.0.0.1 6379 1 #指定了Sentinel认为Redis实例已经失效所需的毫秒数。当 实例超过该时间没有返回PING,或者直接返回错误,那么Sentinel将这个实例标记为主观下线。 #只有一个 Sentinel进程将实例标记为主观下线并不一定会引起实例的自动故障迁移:只有在足够数量的Sentinel都将一个实例标记为主观下线之后,实例才会被标记为客观下线,这时自动故障迁移才会执行 sentinel down-after-milliseconds mymaster 5000 #指定了在执行故障转移时,最多可以有多少个从Redis实例在同步新的主实例,在从Redis实例较多的情况下这个数字越小,同步的时间越长,完成故障转移所需的时间就越长 sentinel config-epoch mymaster 12 #如果在该时间(ms)内未能完成failover操作,则认为该failover失败 sentinel leader-epoch mymaster 13 

      slave_6380中的sentinel.conf文件配置

      #当前Sentine2服务运行的端口 port 26479 #slave1 sentinel monitor mymaster 127.0.0.1 6379 1 sentinel down-after-milliseconds mymaster 5000 sentinel config-epoch mymaster 12 sentinel leader-epoch mymaster 13 

      slave_6381中的sentinel.conf文件配置

      #当前Sentine3服务运行的端口 port 26579 #slave2 sentinel monitor mymaster 127.0.0.1 6379 1 sentinel down-after-milliseconds mymaster 5000 sentinel config-epoch mymaster 12 sentinel leader-epoch mymaster 13 

      4. 启动服务

      编写启动redis脚本
      编写一个 bat 来启动 redis,在每个节点目录下建立 startup.bat,内容如下:

      title master_6379 redis-server.exe redis.windows.conf 

      温馨提示:
      (1)title后名称需与Reids文件夹名称一致
      (2)可以直接运行startup.bat来启动redis,也可以在redis安装目录下用命令redis-server.exe redis.windows.conf直接启动

      编写sentinel启动脚本
      编写一个 bat 来启动 sentinel,在每个节点目录下建立 startup_sentinel.bat,内容如下:

       title master_6379 redis-server.exe sentinel.conf --sentinel 

      温馨提示:
      (1) title命名规则 redis文件夹名, 注意“--sentinel”不是注释,必须存在
      (2) 另外启动sentinel还可以在redis安装目录下用命令redis-sentinel sentinel.conf 来启动

      5. Redis服务启动成功

      master 6379

        Redis之高可用、集群、云平台搭建 Hadoop 第10张

      slave 6380

        Redis之高可用、集群、云平台搭建 Hadoop 第11张

      slave 6381

        Redis之高可用、集群、云平台搭建 Hadoop 第12张

      6. sentinel服务启动成功

      sentinel 26379

        Redis之高可用、集群、云平台搭建 Hadoop 第13张

      sentinel 26479

        Redis之高可用、集群、云平台搭建 Hadoop 第14张

      sentinel 26579

        Redis之高可用、集群、云平台搭建 Hadoop 第15张

      7. 服务查看

      7.1 查看redis服务状态,命令: info replication
      master 6379

        Redis之高可用、集群、云平台搭建 Hadoop 第16张

      slave 6380

        Redis之高可用、集群、云平台搭建 Hadoop 第17张

      slave 6381

        Redis之高可用、集群、云平台搭建 Hadoop 第18张

      7.2 查看sentinel的状态,命令: info sentinel

        Redis之高可用、集群、云平台搭建 Hadoop 第19张

      8. redis主从自动failover测试

      停止master服务器,查看剩余服务器的状态
      slave 6380

        Redis之高可用、集群、云平台搭建 Hadoop 第20张

      slave 6381

        Redis之高可用、集群、云平台搭建 Hadoop 第21张

      从上图中可以看出来,master的服务器端口从6379变成了6380,也就是说redis自动的实现了主从切换,
      我们可以在查看下sentinel的状态,如下:

        Redis之高可用、集群、云平台搭建 Hadoop 第22张

      我们发现sentinel监控到127.0.0.1:6379已经无法ping通了,切换master服务器为127.0.0.1:6380

      温馨提示:在实际操作中,不一定master为6380,可能是6381,具体看当时执行策略。

      四、Redis之Redis Cluster(分布式集群)实战

      1. 实战的项目架构

      (1)3个主节点,建议配置3个从节点,其余3个作为各个主节点的从节点(也是官网推荐的模式),所以需要6台虚拟机。主节点崩溃,从节点的Redis就会提升为主节点,代替原来的主节点工作,崩溃的主Redis恢复工作后,会再成为从节点
      (2)集群
      (3)主从复制
      (4)哨兵模式
      (5)分片

      2. 所需软件

      (1)Redis
      (2)Ruby语言运行环境
      (3)Redis的Ruby驱动redis-xxxx.gem
      (4)创建Redis集群的工具redis-trib.rb

      3. 下载Redis并创建相应集群目录

        把 redis 解压后,再复制出 5 份,配置 三主三从集群。 由于 redis 默认端口号为 6379,那么其它5份的端口可以为6380,6381,6382,6383,6384。 并且把目录使用端口号命名

        Redis之高可用、集群、云平台搭建 Hadoop 第23张

      4. 修改配置文件

      打开每个Redis目录下的文件 redis.windows.conf,修改里面的端口号分别对应相对应的文件夹名:6379、6380、6381、6382、6383、6384,再修改集群支持配置,将以下配置前面的#去掉。

        Redis之高可用、集群、云平台搭建 Hadoop 第24张
      cluster-enabled yes cluster-config-file nodes-6379.conf cluster-node-timeout 15000 appendonly yes 

      cluster-config-file nodes-6379.conf 是为该节点的配置信息,这里使用 nodes-端口.conf命名方法。服务启动后会在目录生成该文件(为cluster-config-file nodes-文件夹名字.conf)

      编写启动脚本,或者进入每个端口命名的文件夹下启动服务,具体可以参考第三的内容
      编写一个 bat 来启动 redis,在每个节点目录下建立 startup.bat,内容如下:

      title redis-6379 redis-server.exe redis.windows.conf 

      温馨提示:title后面为文件夹名称

      5. 安装Ruby

      redis的集群使用 ruby脚本编写,所以系统需要有 Ruby 环境 ,下载地址
      https://rubyinstaller.org/downloads/

        Redis之高可用、集群、云平台搭建 Hadoop 第25张   Redis之高可用、集群、云平台搭建 Hadoop 第26张

      安装时3个选项都勾选。

      6. 安装Redis的Ruby驱动redis-xxxx.gem

      下载地址 :https://rubygems.org/pages/download

        Redis之高可用、集群、云平台搭建 Hadoop 第27张

        下载后解压,当前目录切换到解压目录中,如 D:\Program Files\Redis_cluster\rubygems-2.7.7 然后命令行执行 ruby setup.rb
        再用 GEM 安装 Redis :切换到redis安装目录,需要在命令行中,执行 gem install redis

        Redis之高可用、集群、云平台搭建 Hadoop 第28张

      7. 安装集群脚本redis-trib

        下载地址 https://raw.githubusercontent.com/antirez/redis/unstable/src/redis-trib.rb
         打开该链接把里面的脚本保存为redis-trib.rb,建议保存到一个Redis的目录下(不用每个都放),例如放到6379目录下。

      温馨提示:现在打开这个链接中的代码已不支持redis 5.0以下的版本了,因为redis5.0以上不再需要redis-trib.rb了,而是使用自带的redis-cli作为创建集群的命令了,老版本的redis-trib.rb可在文章的项目源码与参考资料中进行下载

      8. 启动每个节点并且执行集群构建脚本

      把每个节点下的 start.bat双击启动, 在切换到存放了redis-trib.rb的redis目录在命令行中执行以下内容:

      redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 

      温馨提示:
      (1)--replicas 1 表示每个主数据库拥有从数据库个数为1。master节点不能少于3个,所以我们用了6个redis
      (2)三个主从之间的对应关系由策略进行决定,不一定是6379是主,6380是它的从,但是分配完之后,会有三主三从
      (3)如果出现 redis-trib.rb is not longer available! 如果redis版本是5.0以上,则使用如下命令:

      redis-cli --cluster create 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 --cluster-replicas 1 

      (4) 集群命令创建一次后,以后都不需要再次执行,就算服务器重启都不需要,集群伸缩应该需要

      在出现 Can I set the above configuration? (type 'yes' to accept): 请确定并输入 yes 。成功后的结果如下:

        Redis之高可用、集群、云平台搭建 Hadoop 第29张   Redis之高可用、集群、云平台搭建 Hadoop 第30张

      9. 连接集群进行测试

      使用Redis客户端Redis-cli.exe来查看数据记录数,以及集群相关信息
      命令:redis-cli –c –h ”地址” –p "端口号" ; c 表示集群

        Redis之高可用、集群、云平台搭建 Hadoop 第31张

      查看集群的信息,命令:cluster info

        Redis之高可用、集群、云平台搭建 Hadoop 第32张

      查看主从关系,命令: info replication

       

      主库显示信息:   Redis之高可用、集群、云平台搭建 Hadoop 第33张

      从库显示信息:

        Redis之高可用、集群、云平台搭建 Hadoop 第34张

      查看各个节点分配slot,命令 cluster nodes

        Redis之高可用、集群、云平台搭建 Hadoop 第35张

      可以看到有3个master,3个slave
      以及可以看到master各自的slot分布情况

      10. Redis集群数据分配策略

      采用一种叫做哈希槽 (hash slot)的方式来分配数据,redis cluster 默认分配了 16384 个slot,当我们set一个key 时,会用CRC16算法来取模得到所属的slot,然后将这个key分到哈希槽区间的节点上,具体算法就是:CRC16(key) % 16384
      注意的是:必须要3个以上的主节点,否则在创建集群时会失败,三个节点分别承担的slot 区间是:
      节点A覆盖0-5460;
      节点B覆盖5461-10922;
      节点C覆盖10923-16383.

      五、Java之Jedis连接Redis(Redis Cluster版本)

      1. 使用idea新建maven项目

        Redis之高可用、集群、云平台搭建 Hadoop 第36张   Redis之高可用、集群、云平台搭建 Hadoop 第37张   Redis之高可用、集群、云平台搭建 Hadoop 第38张   Redis之高可用、集群、云平台搭建 Hadoop 第39张

      创建后的项目结构如下:

        Redis之高可用、集群、云平台搭建 Hadoop 第40张

      2. pom.xml文件添加jar包依赖

      <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.wxc</groupId> <artifactId>com-redis2</artifactId> <version>1.0-SNAPSHOT</version> <dependencies> <!--添加测试依赖--> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <!--添加redis依赖--> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.3.2</version> </dependency> </dependencies> </project> 

      3. 新建JedisclusterTest.java进行集群连接测试

      package com.wxc.redis; import org.junit.Test; import redis.clients.jedis.HostAndPort; import redis.clients.jedis.JedisCluster; import redis.clients.jedis.JedisPoolConfig; import java.io.IOException; import java.util.HashSet; import java.util.Set; public class JedisclusterTest { //连接redis集群 @Test public void testJedisCluster() throws Exception { //创建一个JedisCluster对象 Set<HostAndPort> nodes = new HashSet<HostAndPort>(); nodes.add(new HostAndPort("127.0.0.1", 6379)); nodes.add(new HostAndPort("127.0.0.1", 6380)); nodes.add(new HostAndPort("127.0.0.1", 6381)); nodes.add(new HostAndPort("127.0.0.1", 6382)); nodes.add(new HostAndPort("127.0.0.1", 6383)); nodes.add(new HostAndPort("127.0.0.1", 6384)); System.out.println("开始连接redis集群"); //在nodes中指定每个节点的地址 //jedisCluster在系统中是单例的。 JedisCluster jedisCluster = new JedisCluster(nodes); System.out.println("初始化数据"); jedisCluster.set("name2", "zhangsan"); jedisCluster.set("value2", "100"); String name = jedisCluster.get("name"); String value = jedisCluster.get("value"); System.out.println(name); System.out.println(value); //系统关闭时关闭jedisCluster jedisCluster.close(); } } 

      4. 运行项目

        Redis之高可用、集群、云平台搭建 Hadoop 第41张

      5. 测试集群故障转移与主从备份

      5.1 查看主从关系

        Redis之高可用、集群、云平台搭建 Hadoop 第42张

      从图中我们可以看出,6379,6381,6383是主节点,其他是从节点

      5.2 测试故障自动转移
      现在我们将6381的服务断开,之后再查看一次服务

        Redis之高可用、集群、云平台搭建 Hadoop 第43张

      我们可以看到这两个服务已经挂了,之后我们再次运行java项目,这次我们把key改为name3、value3

        Redis之高可用、集群、云平台搭建 Hadoop 第44张

      再次运行java项目

        Redis之高可用、集群、云平台搭建 Hadoop 第45张

      可以看到集群数据操作成功

      5.3 查看集群自动主从备份
      现在我们用Redis客户端工具打开连接,进行数据查看,我们可以看到name3和value3都插入成功了

        Redis之高可用、集群、云平台搭建 Hadoop 第46张

      刚刚我们的6381服务是关闭的,我们现在重新打开,再看看6381数据是否会自动同步

        Redis之高可用、集群、云平台搭建 Hadoop 第47张

      打开之后,我们发现其数据已经自动同步

      七、项目源码与资料下载

      链接:https://pan.baidu.com/s/1wcWcXO-qEFfVb9ujcjRvMA
      提取码:pe01

      八、参考文章

      1. http://database.ctocio.com.cn/239/14564239.shtml
      2. https://blog.csdn.net/weixin_41846320/article/details/83654766
      3. https://blog.csdn.net/weixin_41846320/article/details/83753182
扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄