Redis数据库

数据库键空间

Redis是一个键值对数据库服务器,服务器中的每个数据库都由一个redisDb结构表示,其中,redisDb结构的dict字典保存了数据库中的所有键值对,我们将这个字典成为键空间(key space)

键空间和用户所见的数据库时直接对应的:

键空间的键也就是数据库的键,每个键都是一个字符串对象
键空间的值也就是数据库的值,每个值都可以是字符串对象,列表对象,哈希表对象,集合对象和有序集合对象中的任意一种Redis对象

添加新建

1 2	redis> SET date "2013.12.1" OK

新增一个键为"date"字符串对象,而键值对的值则是一个"2013.12.1"的字符串对象

删除键

1 2	redis> DEL book (integer) 1

更新键

1 2	redis> SET date "2019.09.10" OK

对键取值

1 2	redis> GET date "2019.09.10"

其他键空间操作

除了上面的操作之外,还有很多针对数据库本身的Redis命令,也是通过对键空间进行处理来完成的

比如,用于清空整个数据库的FLUSHDB命令,就是通过删除键空间的所有键值对来实现的;用于随机返回数据库中某个键的RANDOMKEY命令,就是通过在键空间中随机返回一个键来实现的

另外,用于返回数据库键数量的DBSIZE命令,就是通过返回键空间中包含的键值对的数量来实现的.类似的命令还有EXISTS,RENAME,KEYS等,这些命令都是通过对键值对进行操作来实现的

读写键空间时的维护操作

当使用Redis命令对数据库进行读写时,服务器不仅会对键空间执行指定的读写操作,还会执行一些额外的维护操作:

在读取一个键之后(读操作和写操作都需要对键进行读取),服务器会根据键是否存在来更新服务器的键空间命中次数或键空间不命中次数,这两个值可以在INFO stats命令的keyspace_hits属性或者keyspace_misses属性中查看
在读取一个键之后,服务器会更新键的LRU时间,这个值可以用于计算键的闲置时间
如果服务器在读取一个键时发现该键已经过期,那么服务器会先删除这个过期键,然后才执行余下的其他操作
如果有客户端使用WATCH命令监视了某个键,那么服务器在对被监视的键进行修改之后,会将这个键标记为脏,从而让食物程序注意到这个键已经被修改过
服务器每次修改一个键之后,都会对脏舰计算器的值增1,这个计数器会触发服务器的持久化以及复制操作
如果服务器开启了数据库通知功能,那么在对键进行修改之后,服务器将按配置发送相应的数据库通知

设置键的生存时间或过期时间

通过EXPIRE命令或者PRXPIRE命令,客户端可以以喵或者毫秒精度为数据库中的某个键设置生存时间(Time To Live, TTL),在经过指定的秒数或者毫秒数后,服务器就会自动删除生存时间为0的键

redis> SET key value
OK

redis> EXPIRE key 5
(integer) 1

redis> GET key // 5秒内
"value"

redis> GET key // 5秒后
(nil)

EXPIRE命令以秒为单位,PEXPIRE命令以毫秒为单位,代表键的生存时间
EXPIREAT命令以秒为单位,PEXPIREAT命令以毫秒为单位,为某个键设置过期时间

过期时间是一个UNIX时间戳,当键的过期时间来临时,服务器就会自动从数据库中删除这个键

保存过期时间

redisDb结构的expires字典保存了上课中所有键的过期时间

过期字典的键是一个指针,这个指针指向键空间中某个键对象(也即是某个数据库键)
过期字典的值是一个long long类型的证书,这个证书保存了键所指向的数据库键的过期时间,一个毫秒精度的UNIX时间戳

过期键的判定

通过过期字典,程序可以用以下步骤检查一个给定的键是否过期:

检查给定键是否存在于过期字典:如果存在,那么获取键的过期时间
检查当前UNIX时间戳是否大于键的过期时间:如果是的话,那么舰已过期;否则键未过期

过期键删除策略

定时删除

在设置键的过期时间同时,创建一个定时器(timer),让定时器在键的过期时间来临时,立即执行对键的删除操作

定时删除策略对内存是友好的:通过使用定时器,定时删除策略可以保证过期键会尽可能快地被删除,并释放过期键所占用的内存

另一方面,定时删除策略的缺点是,它对CPU时间是最不友好的:在过期键比较多的qingkuangxia,删除过期键这一行为可能会占用相当一部分CPU时间,在内存不紧张但是CPU时间非常紧张的情况下,将CPU时间用在删除和当前任务无关的过期键上,会对服务器的响应时间和吞吐量造成影响

除此之外,创建一个定时器需要用到Redis服务器中的时间事件,而当前时间时间的实现方式是无序链表,查找一个事件的时间复杂度是O(N),并不能高效的处理大量时间事件

因此,要让服务器创建大量的定时器,从而实现定时删除策略,在现阶段来说并不现实

惰性删除

放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话就删除该键,如果没有过期则返回该键

惰性删除策略对CPU时间来说是最友好的,程序只会在取出键时才对键进行过期检查,这可以保证删除过期键的操作只会在非做不可的情况下进行,并且删除的目标仅限于当前处理的键,这个策略不会再删除其它无关的过期键上花费任何CPU时间

惰性删除策略的缺点是,它对内存是最不友好的,如果一个键已经过期,而这个键又仍然保留在数据库中,那么只要这个过期键不被删除,它所占用的内存就不会释放

在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远不会被删除,我们甚至可以将这种情况看作是一种内存泄漏

定期删除

每隔一段时间,程序就对数据库进行一次检查,删除里面的过期键

定期策略时前两种策略的一种整合和折中:

定期删除策略每隔一段时间执行一次删除过期键的操作,并通过限制删除操作执行的时长和频率来尖山删除操作对CPU时间的影响
除此之外,通过定期删除过期键,定期删除策略有效地减少了因为过期键而带来的内存浪费

定期删除策略的难点是确定删除操作执行的时长和频率:

如果删除操作执行得太频繁,或者执行时间太长,定期删除策略就会退化成定时删除策略,以至于将CPU时间过多地消耗在删除过期键上面
如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除策略一样,出现浪费内存的情况

Redis的过期键删除策略

Redis服务器实际使用的是惰性删除和定期删除两种策略,通过配合使用这两种删除策略,服务器可以很好地在合理使用CPU时间和避免浪费内存空间之间取得平衡

惰性删除策略的实现

所有读写数据库的Redis命令在执行之前都会调用expireIfNeeded函数对输入键进行检查:

如果输入键已经过期,那么expireIfNeeded函数将输入键从数据库中删除
如果键未过期,那么expireIfNeeded函数将不做动作

expireIfNeed函数就像一个过了长期,它可以在命令真正执行之前,过滤掉过期的输入键,从而避免命令接触到过期键

另外,因为每个被访问的键都可能因为过期而被expireIfNeeded函数删除,所以每个命令的实现函数都必须能处理键存在以及键不存在这两种情况

定期删除策略的实现

过期键的定期删除策略由activeExpireCycle函数实现.每当Redis的服务器周期性操作serverCron函数执行时,activeExpireCycle函数就会被调用.

它在规定的时间内,分多次遍历服务器中的各个数据库,从数据库的expires字典中随机检查一部分键的过期时间,并删除其中的过期键

函数每次运行时,都从一定数量的数据库中取出一定数量的随机键进行检查,并删除其中的过期键
全局变量current_db会记录当前activeExpireCycle函数检查的进度,并在下一次activeExpireCycle函数调用时,接着上一次的进度进行处理
随着activeExpireCycle函数的不断执行,服务器中的所有数据库都会被检查一遍,这时函数将current_db变量重置为0,然后再次开始新一轮的检查

AOD,RDB和复制功能对过期键的处理

生成RDB文件

在执行SAVE命令或者BGSAVE命令创建一个新的RDB文件时,程序会对数据库中的键进行检查,已过期的键不会被保存到新创建的RDB文件中
// TODO

数据库通知

数据库通知可以让客户端通过订阅给定的频道或者模式,来货值数据库中键的变化,以及数据库中命令的执行情况

// TODO