Redis-RDB持久化

概述

RDB持久化既可以手动执行,也可以根据服务器配置选项进行定期执行,该功能可以将某个时间点上的数据库状态保存到一个RDB文件中;RDB持久化功能所生成的RDB文件是一个经过压缩的二进制文件,通过该文件可以还原生成RDB文件生成时的数据库状态

RDB文件的创建与载入

SAVE命令和BGSAVE命令可以用于生成RDB文件,SAVE命令会阻塞Redis服务器进程,直到RDB文件创建完毕为止,在服务器阻塞期间,服务器不能处理任何命令请求;BGRDB命令会派生出一个子进程,然后由子进程负责创建RDB文件,服务器进程继续处理命令请求.

另外,因为AOF文件的更新频率通常比RDB文件的更新频率更高,所以如果服务器开启了AOF持久化功能,那么服务器会优先使用AOF文件来还愿数据库状态,只要在AOF持久化功能处于关闭状态时,服务器才会使用RDB文件来还愿数据库状态.

SAVE命令执行时的服务器状态

阻塞

BGSAVE命令执行时的服务器状态

继续处理客户端的命令请求,但是,在BGSAVE命令执行期间,服务器处理SAVE,BGSAVE,BGWRITEAOF三个命令的方式会和平时有所不同

在BGSAVE命令执行期间,客户端发送的SAVE和BGSAVE命令会被服务器拒绝

其次,BGWRITEAOF和BGSAVE两个命令不能同时进行,如果BGSAVE命令正在执行,那么客户端发送的BGWRITEAOF命令会被延迟到BGSAVE命令执行完毕之后执行;如果BGWRITE命令正在执行,那么客户端发送的BGSAVE命令会被服务器拒绝.
因为BGWRITEAOF和BGSAVE两个命令的实际工作都由子进程执行,所以两个命令在操作方面并没有冲突的地方,不能同时执行它们值是一个性能方面的考虑.

RDB文件载入时的服务器状态

阻塞

自动间隔保存

用户可以通过save选项设置多个保存条件,只要其中任意一个条件被满足,服务器就会执行BGSAVE命令

比如,我们的配置如下:

1
2
3

save 900 1
save 300 10
save 60 10000

那么只要满足以下三个条件中的任意一个,BGSAVE命令就会被执行:

服务器在900s之内对数据库进行了至少1次修改
服务器在300s之内对数据库进行了至少10次修改
服务器在60s之内对数据库进行了至少10000次修改

dirty计数器和lastsave属性

除了saveParams数组之外,服务器状态还维持着一个dirty计数器,以及一个lastsave属性:

dirty计数器距离上一次成功执行SAVE命令或者BGSAVE命令之后,服务器对数据库状态进行了多少次修改
lastsave属性是一个UNIX时间戳,记录了服务器上一次成功执行SAVE命令或者BGSAVE命令的时间

检查保存条件是否满足

Redis的服务器周期性操作函数serverCron默认每隔100毫秒会执行一次,该函数用于对正在运行的服务器进行维护,它的其中一项工作就是检查save选项锁设置的保存条件是否已经满足,如果满足的话,就执行BGSAVE命令

RDB文件结构

一个完整的RDB文件包含的各个部分:

REDIS	db_version	databases	EOF	check_num

上表中的字母大写的单词表示常量,小写的单词表示变量

REDIS
RDB文件最开头是"REDIS"五个字符.通过这五个字符,程序可以在载入文件时,快速检查锁载入的文件是不是RDB文件(类似魔数?)
db_version
记录RDB文件版本号的整数
database
database部分包含着零个或任意多个数据库,以及各个数据库中的键值对数据
EOF
EOF常量的长度为1字节,标志着RDB文件正文内容的结束,当读入程序遇到EOF的时候,他知道所有数据库的所有键值对都已经载入完毕了
check_num
check_num是一个8字节长度的无符号证书,保存着一个校验和,这个校验和是程序通过对REDIS,db_version,database,EOF四个部分内容进行计算得出的,服务器在载入RDB文件时会将载入数据所计算得出的校验和与check_num所记录的校验和进行对比,以此来检查RDB文件是否有出错或者损坏的情况出现.(类似于下载文件后,用于校验的md5?)

database部分

一个RDB文件的database部分可以保存任意多个非空数据库

例如,如果服务器的0号数据库和3号数据库非空,那么服务器将创建一个如下所示的RDB文件:

REDIS	db_version	database0	database3	EOF	check_num

每个非空数据库在RDB文件中都保存为SELECTDB,db_number,key_value_pairs三个部分:

SELECTDB	db_number	key_value_pairs

SELECTDB常量
长度为1字节,当读入程序遇到这个值的时候,它知道接下来要读入的将是一个数据库号码
db_number
保存着一个数据库号码,当程序读入db_number部分之后,服务器会调用SELECT命令,根据读入的数据库号码进行数据库切换,似的之后读入的键值对可以载入到正确的数据库中
key_value_pairs
保存了数据库中的所有键值对数据,如果键值对带有过期时间,那么过期时间也会和键值对保存在一起.

key_value_pairs部分

RDB文件中每个key_value_pairs部分都保存了一个活以上数量的键值对,如果键值对带有过期时间的话,那么键值对的过期时间也会被保存在内.

不带过期时间的键值对在RDB文件中由TYPE,key,value三部分组成.

TYPE	key	value

TYPE记录了value的类型

TYPE值可以是以下常量的其中一个

REDIS_RDB_TYPE_STRING
REDIS_RDB_TYPE_LIST
REDIS_RDB_TYPE_SET
REDIS_RDB_TYPE_ZSET
REDIS_RDB_TYPE_HASH
REDIS_RDB_TYPE_LIST_ZIPLIST
REDIS_RDB_TYPE_SET_INTLIST
REDIS_RDB_TYPE_ZSET_ZIPLIST
REDIS_RDB_TYPE_HASH_ZIPLIST

当服务器读入RDB文件中的键值对数据时,程序会根据TYPE的值来决定如何读入和解释value的数据

设有过期时间的键值对在RDB文件中的结构:

EXPIRETIME_MS	ms	TYPE	key	value

EXPIRETIME_MS常量告知读入程序,接下来要读入的僵尸一个以毫秒为单位的过期时间

ms是一个8字节长的带符号的证书,记录着一个以毫秒为单位的UNIX时间戳,代表键值对的过期时间

value的编码

TODO

分析RDB文件

od命令

不包含任何键值对的RDB文件

redis> FLUSHALL
OK

redis> SAVE
OK

然后调用od命令,打印RDB文件

$ od -c dump.rdb
0000000   R E D I S 0 0 0 6 377 334 263 C 360 Z 334
0000020 362 V
0000022

最开头是"REDIS"字符串,之后的006是版本号,再之后的一个字节377代表EOF常量,最后的334 263 C 360 Z 334 362 V八个字节则代表RDB文件的校验和

包含字符串键的RDB文件

TODO

重点回顾

RDB文件用于保存和还原Redis服务器所有数据库中的所有键值对数据
SAVE命令由服务器进程直接执行保存操作,所以该命令会阻塞服务器
BGSAVE命令由子进程执行保存操作,所以该命令不会阻塞服务器
服务器状态中会保存所有用save选项设置的保存条件,当任意一个条件被满足时,服务器会自动执行BGSAVE命令
RDB文件是一个经过压缩的二进制文件,由多个部分组成
对于不同的键值对,RDB文件会用不同的方式保存它们