Redis---持久化 ( RDB AOF )

一、Redis提供了哪些持久化机制:

  • 1). RDB持久化:
    该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘。
  • 2). AOF持久化:
    机制将以日志的形式记录服务器所处理的每一个写操作,在Redis服务器启动之初会读取该文件来重新构建数据库,以保证启动后数据库中的数据是完整的。比如,一直在执行自加一的命令,然后我们可以直接用一个set来代替N个自加啊,自减的命令,意思就是直接记录结果
  • 3). 无持久化:
    我们可以通过配置的方式禁用Redis服务器的持久化功能,这样我们就可以将Redis视为一个功能加强版的memcached了。
  • 4). 同时应用AOF和RDB。

看个配置文件的例子

我是这样做的,先把之前的服务杀死,然后就进连上去,发现所有的key都不在了,然后我现在就去体验RDB的持久化机制,在配置文件里配置多长时间写过一次就刷一次什么的。

这就是快照的频率

这个是快照的路径

仔细看配置文件

配置文件CSDN下载地址

可以看到开始我们设置的/var/redis这个文件夹里面是没有内容的,然后我们用redis自带的性能测试工具,模拟10W条数据。

然后再去看,/var/redis 这个文件夹里面多了dump.rdb快照文件

然后再去查,keys,本来是没有的,就会有,而且你如果不删除那个/var/redis里面的文件,这个keys就算是你重启服务器,也不会丢失,这就是一种持久化的方式。

二、RDB机制的优势和劣势:

RDB存在哪些优势呢?

  • 1). 一旦采用该方式,那么你的整个Redis数据库将只包含一个文件,这对于文件备份而言是非常完美的。比如,你可能打算每个小时归档一次最近24小时的数据,同时还要每天归档一次最近30天的数据。通过这样的备份策略,一旦系统出现灾难性故障,我们可以非常容易的进行恢复。
  • 2). 对于灾难恢复而言,RDB是非常不错的选择。因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上。
  • 3). 性能最大化。对于Redis的服务进程而言,在开始持久化时,它唯一需要做的只是fork出子进程,之后再由子进程完成这些持久化的工作,这样就可以极大的避免服务进程执行IO操作了。
  • 4). 相比于AOF机制,如果数据集很大,RDB的启动效率会更高。

RDB又存在哪些劣势呢?

  • 1). 如果你想保证数据的高可用性,即最大限度的避免数据丢失,那么RDB将不是一个很好的选择。因为系统一旦在定时持久化之前出现宕机现象,此前没有来得及写入磁盘的数据都将丢失。
  • 2). 由于RDB是通过fork子进程来协助完成数据持久化工作的,因此,如果当数据集较大时,可能会导致整个服务器停止服务几百毫秒,甚至是1秒钟。

三、AOF机制的优势和劣势:

AOF的优势有哪些呢?

  • 1). 该机制可以带来更高的数据安全性,即数据持久性。Redis中提供了3中同步策略,即每秒同步、每修改同步和不同步。事实上,每秒同步也是异步完成的,其效率也是非常高的,所差的是一旦系统出现宕机现象,那么这一秒钟之内修改的数据将会丢失。而每修改同步,我们可以将其视为同步持久化,即每次发生的数据变化都会被立即记录到磁盘中。可以预见,这种方式在效率上是最低的。至于无同步,无需多言,我想大家都能正确的理解它。
  • 2). 由于该机制对日志文件的写入操作采用的是append模式,因此在写入过程中即使出现宕机现象,也不会破坏日志文件中已经存在的内容。然而如果我们本次操作只是写入了一半数据就出现了系统崩溃问题,不用担心,在Redis下一次启动之前,我们可以通过redis-check-aof工具来帮助我们解决数据一致性的问题。
  • 3). 如果日志过大,Redis可以自动启用rewrite机制。即Redis以append模式不断的将修改数据写入到老的磁盘文件中,同时Redis还会创建一个新的文件用于记录此期间有哪些修改命令被执行。因此在进行rewrite切换时可以更好的保证数据安全性。
  • 4). AOF包含一个格式清晰、易于理解的日志文件用于记录所有的修改操作。事实上,我们也可以通过该文件完成数据的重建。

    AOF的劣势有哪些呢?
    1). 对于相同数量的数据集而言,AOF文件通常要大于RDB文件。
    2). 根据同步策略的不同,AOF在运行效率上往往会慢于RDB。总之,每秒同步策略的效率是比较高的,同步禁用策略的效率和RDB一样高效。

四、其它:

  1. Snapshotting:
    缺省情况下,Redis会将数据集的快照dump到dump.rdb文件中。此外,我们也可以通过配置文件来修改Redis服务器dump快照的频率,在打开6379.conf文件之后,我们搜索save,可以看到下面的配置信息:
    save 900 1 #在900秒(15分钟)之后,如果至少有1个key发生变化,则dump内存快照。
    save 300 10 #在300秒(5分钟)之后,如果至少有10个key发生变化,则dump内存快照。
    save 60 10000 #在60秒(1分钟)之后,如果至少有10000个key发生变化,则dump内存快照。
  2. Dump快照的机制:
    1). Redis先fork子进程。
    2). 子进程将快照数据写入到临时RDB文件中。
    3). 当子进程完成数据写入操作后,再用临时文件替换老的文件。
  3. AOF文件:
    上面已经多次讲过,RDB的快照定时dump机制无法保证很好的数据持久性。如果我们的应用确实非常关注此点,我们可以考虑使用Redis中的AOF机制。对于Redis服务器而言,其缺省的机制是RDB,如果需要使用AOF,则需要修改配置文件中的以下条目:
    将appendonly no改为appendonly yes
    从现在起,Redis在每一次接收到数据修改的命令之后,都会将其追加到AOF文件中。在Redis下一次重新启动时,需要加载AOF文件中的信息来构建最新的数据到内存中。
  4. AOF的配置:
    在Redis的配置文件中存在三种同步方式,它们分别是:
    appendfsync always #每次有数据修改发生时都会写入AOF文件。
    appendfsync everysec #每秒钟同步一次,该策略为AOF的缺省策略。
    appendfsync no #从不同步。高效但是数据不会被持久化。
  5. 如何修复坏损的AOF文件:
    1). 将现有已经坏损的AOF文件额外拷贝出来一份。
    2). 执行”redis-check-aof –fix ”命令来修复坏损的AOF文件。
    3). 用修复后的AOF文件重新启动Redis服务器。
  6. Redis的数据备份:
    在Redis中我们可以通过copy的方式在线备份正在运行的Redis数据文件。这是因为RDB文件一旦被生成之后就不会再被修改。Redis每次都是将最新的数据dump到一个临时文件中,之后在利用rename函数原子性的将临时文件改名为原有的数据文件名。因此我们可以说,在任意时刻copy数据文件都是安全的和一致的。鉴于此,我们就可以通过创建cron job的方式定时备份Redis的数据文件,并将备份文件copy到安全的磁盘介质中。
时间: 2024-09-17 03:51:14

Redis---持久化 ( RDB AOF )的相关文章

redis 持久化 RDB 和 AOF

Redis 持久化: 提供了多种不同级别的持久化方式:一种是 RDB ,另一种是 AOF . RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(points-to-time snapshot) AOF 持久化记录服务器执行的所有写操作命令,并在服务器启动时,通过重新执行这些命令来还原数据集.AOF 文件中的命令全部以Redis协议的格式来保存,新命令会被追加到文件的末尾.Redis还可以在后台对AOF 文件进行重写(rewrite),使得 AOF 文件的体积不会超出保存数据集状态所需的

Redis持久存储-AOF&RDB

Redis中数据存储模式有2种:cache-only,persistence;cache-only即只做为"缓存"服务,不持久数据,数据在服务终止后将消失,此模式下也将不存在"数据恢复"的手段,是一种安全性低/效率高/容易扩展的方式:persistence即为缓存中的数据持久备份到磁盘文件,在服务重启后可以恢复,此模式下数据相对安全.       持久化数据的方式很多,基于各种考虑面,可能最终导致的设计手段有所差异.针对互联网应用,服务提供者必须具备并发访问/数据安

Redis持久化

Redis持久化 今天在被电话面试的时候问到Redis持久化的问题了,说实话还是自己对Redis并不是太熟悉,导致这块回答的并不是太好,因此打算用这篇文章帮助自己整理一下.文章参考了互联网上的诸多文章,文章末尾给出了原文地址,在此感谢原作者. 持久化 持久化,简单来讲就是将数据放到断电后数据不会丢失的设备中.也就是我们通常理解的硬盘上. 写操作的流程 首先我们来看一下数据库在进行写操作时到底做了哪些事,主要有下面五个过程. 客户端向服务端发送写操作(数据在客户端的内存中) 数据库服务端接收到写请

深度剖析Redis持久化

Redis是一种面向"key-value"类型数据的分布式NoSQL数据库系统,具有高性能.持久存储.适应高并发应用场景等优势.它虽然起步较晚,但发展却十分迅速.  近日,Redis的作者在博客中写到,他看到的所有针对Redis的讨论中,对Redis持久化的误解是最大的,于是他写了一篇长文来对Redis的持久化进行了系统性的论述.文章主要包含三个方面:Redis持久化是如何工作的.这一性能是否可靠以及和其它类型的数据库比较.以下为文章内容:  一.Redis持久化是如何工作的?  什么

Redis持久化之大数据服务暂停问题

Redis持久化是有两种方式:RDB和AOF 对这两种方式的官方文档的翻译请看: http://latteye.com/2011/11/redis-persistence.html   RDB就是快照存储,比如"每1个小时对redis进行快照存储".那么, save这个参数就应该设置 save 3600 1000 //前一次快照3600秒后,当有超过1000个key被改动的时候就进行一次快照更新 RDB快照产生dump.rdb文件,当每到快照时间,更新文件. AOF是存储所有的写操作,

redis持久化问题,修改dump快照配置文件不产生预期效果

问题描述 redis持久化问题,修改dump快照配置文件不产生预期效果 redis修改了配置文件rdb存放位置, 用redis-benchmark执行10000次命令,为啥在指定路径下不生成dump.rdb文件? 具体操作如下: 在redis-conf中修改: 1.save 60 3000 2.dir /var/rdb #此路径我已经mkdir 然后,kill掉redis进程,重启redis-server,借用redis自带的压力测试工具,执行10000次命令: ./bin/redis-benc

Redis持久化方案

前言:Redis的高性能是由于其将所有数据都存储在了内存中,为了使Redis在重启之后仍能保证数据不丢失,需要将数据从内存中同步到硬盘中,这一过程就是持久化.    Redis支持两种方式的持久化,一种是RDB方式,一种是AOF方式.可以单独使用其中一种或将二者结合使用. RDB持久化 RDB方式的持久化是通过快照(snapshotting)完成的,当符合一定条件时Redis会自动将内存中的数据进行快照并持久化到硬盘. RDB是Redis默认采用的持久化方式,在redis.conf配置文件中默认

redis持久化机制

一.Redis提供了哪些持久化机制:       1). RDB持久化:     该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘.        2). AOF持久化:     该机制将以日志的形式记录服务器所处理的每一个写操作,在Redis服务器启动之初会读取该文件来重新构建数据库,以保证启动后数据库中的数据是完整的.     3). 无持久化:     我们可以通过配置的方式禁用Redis服务器的持久化功能,这样我们就可以将Redis视为一个功能加强版的memcached了.   

Redis · 特性分析 · AOF Rewrite 分析

AOF介绍 Redis提供两种持久化机制 RDB: 将数据库的快照以二进制的方式保存到磁盘: AOF: 将所有写入命令及相关参数以协议文本的方式写入文件并持久保存磁盘. 本文只关心AOF,简单介绍一下:Redis Server将所有写入的命令转换成协议文本的方式写入AOF文件,例如:Server收到 set key value的的写入命令,server会进行以下几步操作: 将命令转换成协议文本,转换后的结果:*3\r\n$3\r\nSET\r\n$3\r\nKEY\r\n$5\r\nVALUE\