为了避免单点Redis服务器故障,准备多台服务器,互相联通。将数据复制多个副本保存在不同的服务器,连接在一起,并保证数据是同步的。即使有其中一台服务器宕机,其他服务器依然可以继续提供服务,实现Redis的高可用,同时实现数据冗余备份。
-
多台服务器连接方案
- 提供数据方:master(主服务器,主节点,主库,主客户端)
- 接收数据方:slave(从服务器,从节点,从库,从客户端)
- 需要解决的问题:数据同步
- 核心工作:master的数据复制到slave中
-
主从复制概念
- 主从复制就是将master中的数据即时、有效的复制到slave中
- 特征:一个master可以拥有多个slave,一个slave只对应一个master
- master:写数据、执行写操作时,将出现变化的数据自动同步到slave、读数据(可忽略)
- slave:读数据(禁止写数据)
-
主从复制的作用
- 读写分离:master写,slave读,提高服务器的读写负载能力
- 负载均衡:基于主从结构,配合读写分离,由slave分担master负载,并根据需求的变化,改变slave的数量,通过多个节点分担数据读取负载,大大提高Redis服务器并发量与数据吞吐量
- 故障恢复:当master出现问题时,有slave提供服务,实现快速的故障恢复
- 数据冗余:实现数据热备份,是持久化之外的一种数据冗余方式
- 高可用基石:基于主从复制,构建哨兵模式与集群,实现Redis的高可用方案
-
主从复制工作流程
- 主从复制过程大体分为3个阶段:
- 建立连接阶段
- 数据同步阶段
- 命令传播阶段
- 主从复制过程大体分为3个阶段:
-
阶段一:建立连接
- 步骤1:设置master的地址和端口,保存master信息
- 步骤2:建立socket连接
- 步骤3:发送ping命令(定时器任务)
- 步骤4:身份验证
- 步骤5:发送slave端口信息
- 最终状态:slave保存master的地址与端口,master保存slave的端口,master和slave之间创建了连接的socket
- 主从连接(slave连接master)
- 方式一:客户端发送命令
slaveof <masterip> <masterport>
- 方式二:启动服务器参数
redis-server --slaveof <masterip> <masterport>
- 方式三:服务器配置
slaveof <masterip> <masterport>
- 方式一:客户端发送命令
- 授权访问
- master配置文件设置密码:
requirepass <password>
- master客户端发送命令设置密码:
config set requirepass <password>
,config get requirepass
- slave客户端发送命令设置密码:
auth <password>
- slave配置文件设置密码:
masterauth <password>
- 启动客户端设置密码:
redis-cli -a <password>
- master配置文件设置密码:
-
阶段二:数据同步
- 步骤1:请求同步数据
- 步骤2:创建RDB同步数据
- 步骤3:恢复RDB同步数据
- 步骤4:请求部分同步数据
- 步骤5:恢复部分同步数据
- 状态:slave具有master端的全部数据,包含RDB过程接收的数据;master保存slave当前数据同步的位置
- 总体:slave和master之间完成了数据克隆
-
阶段三:命令传播
部分复制有三个核心:服务器运行ID、复制缓冲区和偏移量
-
服务器运行id(runid)
- 概念:服务器运行id是每一台服务器每次运行的身份识别码,一台服务器多次运行可以生成多个运行id
- 组成:运行id由40位字符组成,是一个随机的十六进制字符
- 作用:运行id被用于在服务器间进行传输,识别身份。如果想两次操作均对同一台服务器进行,必须每次操作携带对应的运行id,用于对方识别
- 实现方式:运行id在每台服务器启动时自动生成,master在首次连接slave时,会将自己的运行id发送给slave,slave保存此id,通过info Server命令,可以查看节点的runid
-
复制缓冲区
- 概念:又名复制积压缓冲区,是一个先进先出的队列,用于储存服务器执行过的命令,每次传播命令,master都会将传播的命令记录下来,并存储在复制缓冲区(当入队元素的数量大于队列长度,最先入队的元素会被弹出,而新的元素会被放入队列)
- 由来:每台服务器启动时,如果开启有AOF或被连接成master节点,就会创建复制缓冲区
- 作用:用于保存master收到的所有指令(仅影响数据变更的指令,例如set、select)
- 数据来源:当master接收到主客户端的指令时,除了将指令执行,会将该指令存储到缓冲区中
-
主从服务器复制偏移量(offset)
- 概念:一个数字,描述复制缓冲区中指令字节位置
- 分类:master复制偏移量(记录发送给所有slave的指令字节对应的位置,多个)、slave复制偏移量(记录slave接收master发送过来的指令字节对应的位置,一个)
- 数据来源:master端是发送一次记录一次,slave端是接收一次记录一次
- 作用:同步信息,比对master与slave的差异,当slave断线后,恢复数据使用
- 心跳机制
- 进入命令传播阶段时,master与slave间需要进行信息交换,使用心跳机制进行维护,实现双方连接保持在线
- master心跳:
- 指令:PING
- 周期:由repl-ping-slave-period决定,默认10秒
- 作用:判断slave是否在线
- 查询:INFO replication 获取slave最后一次连接时间间隔,lag项维持在0或者1为正常
- slave心跳:
- 指令:REPLCONF ACK{offset}
- 周期:1秒
- 作用:汇报slave自己复制偏移量、获取最新的数据并更指令,判断master是否在线
-
主从复制完整流程图: