Redis开发与运维. 导读

数据库技术丛书

Redis开发与运维

付磊
张翼军编著

 

Redis作为基于键值对的NoSQL数据库,具有高性能、丰富的数据结构、持久化、高可用、分布式等特性,同时Redis本身非常稳定,已经得到业界的广泛认可和使用。掌握Redis已经逐步成为开发和运维人员的必备技能之一。

本书关注了Redis开发运维的方方面面,尤其对于开发运维中如何提高效率、减少可能遇到的问题进行详细分析,但本书不单单介绍怎么解决这些问题,而是通过对Redis重要原理的解析,帮助开发运维人员学会找到问题的方法,以及理解背后的原理,从而让开发运维人员不仅知其然,而且知其所以然。

本书涵盖内容

第1章 初识Redis,带领读者进入Redis的世界,了解它的前世今生、众多特性、应用场景、安装配置、简单使用,最后对Redis发展过程中的重要版本进行说明,可以让读者对Redis有一个全面的认识。

第2章 API的理解和使用,全面介绍了Redis提供的5种数据结构字符串(string)、哈希(hash)、列表(list)、集合(set)、有序集合(zset)的数据模型、常用命令、典型应用场景,并且每个小节都会给出在Redis开发过程可能要注意的坑和技巧。同时本章还会对Redis的单线程处理机制、键值管理做一个全面介绍,通过对这些原理的理解,读者可以在合适的应用场景选择合适的数据结构和命令进行开发,有效提高程序效率,降低可能产生的问题和隐患。

第3章 小功能大用处,除了5种数据结构外,Redis还提供了诸如慢查询、Redis Shell、Pipeline、Lua脚本、Bitmaps、HyperLogLog、发布订阅、GEO等附加功能,在这些功能的帮助下,Redis的应用场景更加丰富。

第4章 客户端,本章重点关注Redis客户端的开发,介绍了Redis的客户端通信协

议、详细讲解了Java客户端Jedis的使用技巧,同时通过从原理角度剖析在开发运维中,客户端的监控和管理技巧,最后给出客户端开发中常见问题以及案例讲解。

第5章 持久化,Redis的持久化功能有效避免因进程退出造成的数据丢失问题,本章首先介绍RDB和AOF两种持久化配置和运行流程,其次对常见的持久化问题进行定位和优化,最后结合Redis常见的单机多实例部署场景进行优化。

第6章 复制,在分布式系统中为了解决单点问题,通常会把数据复制多个副本部署到其他机器,用于故障恢复和负载均衡等需求,Redis也是如此。它为我们提供了复制(replication)功能,实现了多个相同数据的Redis副本。复制功能是高可用Redis的基础,后面章节的哨兵和集群都是在复制的基础上实现高可用。

第7章 Redis的噩梦:阻塞,Redis是典型的单线程架构,所有的读写操作都在一条主线程中完成的。当Redis用于高并发场景时这条线程就变成了它的生命线。如果出现阻塞哪怕是很短时间对于我们的应用来说都是噩梦。导致阻塞问题的场景大致分为内在原因和外在原因,本章将进行详细分析。

第8章 理解内存,Redis所有的数据存在于内存中,如何高效利用Redis内存变得非常重要。高效利用Redis内存首先需要理解Redis内存消耗在哪里,如何管理内存,最后再深入到如何优化内存。掌握这些知识后相信读者能够实现用更少的内存存储更多的数据从而降低成本。

第9章 哨兵,Redis从2.8版本开始正式提供了Redis Sentinel,它有效解决了主从复制模式下故障转移的若干问题,为Redis提供了高可用功能。本章将一步步解析Redis Sentinel的相关概念、安装部署、配置、命令使用、原理解析,最后分析了Redis Sentinel运维中的一些问题。

第10章 集群,是本书的重头戏,Redis Cluster是Redis 3提供的Redis分布式解决方案,有效解决了Redis分布式方面的需求,理解应用好Redis Cluster将极大的解放我们对分布式Redis的需求,同时它也是学习分布式存储的绝佳案例。本章将针对RedisCluster的数据分布,搭建集群,节点通信,请求路由,集群伸缩,故障转移等方面进行分析说明。

第11章 缓存设计,缓存能够有效加速应用的读写速度,以及降低后端负载,对于开发人员进行日常应用的开发至关重要,但是将缓存加入应用架构后也会带来一些问题,本章将介绍缓存使用和设计中遇到的问题,具体包括:缓存的收益和成本、缓存更新策略、缓存粒度控制、穿透问题优化、无底洞问题优化、雪崩问题优化、热点key优化。

第12章 开发运维的“陷阱”,介绍Redis开发运维中的一些棘手问题,具体包括:Linux配置优化、flush误操作数据恢复、如何让Redis变得安全、bigkey问题、热点key问题。

第13章 Redis监控运维云平台CacheCloud,介绍笔者所在团队开源的Redis运维工具CacheCloud,它有效解决了Redis监控和运维中的一些问题,本章将按照快速部署、机器部署、接入应用、用户功能、运维功能多个维度全面的介绍CacheCloud,相信在它的帮助下,读者可以更好的监控和运维好Redis。

第14章 Redis配置统计字典,会对Redis的系统状态信息以及全部配置做一个全面的梳理,希望本章能够成为Redis配置统计字典,协助大家分析和解决日常开发和运维中遇到的问题。

目标读者

本书深入浅出地介绍了Redis相关知识,因此可以作为Redis新手的入门教程,同时本书凝聚了两位笔者在Redis开发运维的多年经验,对于需要进一步提高Redis开发运维能力的读者也非常适合。读者可以参考下图,结合自身对于开发运维的需求进行阅读,但笔者依然建议读者对每一章都进行阅读。

 

读者反馈和勘误

由于笔者能力有限,书中难免会存在错误和疏漏,读者有任何意见和建议可以通过发送邮件、网站留言,或者直接在QQ群留言,我们会在第一时间进行反馈。

邮箱:redis_devops_book@163.com

网站:https://cachecloud.github.io/,该网站持续更新Redis开发运维的相关知识和经验。

QQ群:534429768

 

著者

2016年9月

 

 

第1章 初识Redis  1

1.1 盛赞Redis  1

1.2 Redis特性  2

1.3 Redis使用场景  5

1.3.1 Redis可以做什么  5

1.3.2 Redis不可以做什么  5

1.4 用好Redis的建议  6

1.5 正确安装并启动Redis  6

1.5.1 安装Redis  7

1.5.2 配置、启动、操作、关闭Redis  8

1.6 Redis重大版本  11

1.7 本章重点回顾  14

第2章 API的理解和使用  15

2.1 预备  15

2.1.1 全局命令  15

2.1.2 数据结构和内部编码  18

2.1.3 单线程架构  19

2.2 字符串  21

2.2.1 命令  22

2.2.2 内部编码  27

2.2.3 典型使用场景  28

2.3 哈希  31

2.3.1 命令  32

2.3.2 内部编码  35

2.3.3 使用场景  36

2.4 列表  38

2.4.1 命令  38

2.4.2 内部编码  43

2.4.3 使用场景  44

2.5 集合  46

2.5.1 命令  46

2.5.2 内部编码  50

2.5.3 使用场景  51

2.6 有序集合  52

2.6.1 命令  53

2.6.2 内部编码  59

2.6.3 使用场景  59

2.7 键管理  60

2.7.1 单个键管理  60

2.7.2 遍历键  67

2.7.3 数据库管理  70

2.8 本章重点回顾  73

第3章 小功能大用处  74

3.1 慢查询分析  74

3.1.1 慢查询的两个配置参数  75

3.1.2 最佳实践  77

3.2 Redis Shell  78

3.2.1 redis-cli详解  78

3.2.2 redis-server详解  82

3.2.3 redis-benchmark详解  83

3.3 Pipeline  84

3.3.1 Pipeline概念  84

3.3.2 性能测试  85

3.3.3 原生批量命令与Pipeline对比  86

3.3.4 最佳实践  87

3.4 事务与Lua  87

3.4.1 事务  87

3.4.2 Lua用法简述  90

3.4.3 Redis与Lua  92

3.4.4 案例  94

3.4.5 Redis如何管理Lua脚本  96

3.5 Bitmaps  98

3.5.1 数据结构模型  98

3.5.2 命令  98

3.5.3 Bitmaps分析  101

3.6 HyperLogLog  102

3.7 发布订阅  105

3.7.1 命令  106

3.7.2 使用场景  108

3.8 GEO  109

3.9 本章重点回顾  112

 

时间: 2024-08-02 03:11:53

Redis开发与运维. 导读的相关文章

Redis开发与运维. 3.2 Redis Shell

3.2 Redis Shell Redis提供了redis-cli.redis-server.redis-benchmark等Shell工具.它们虽然比较简单,但是麻雀虽小五脏俱全,有时可以很巧妙地解决一些问题. 3.2.1 redis-cli详解 第1章曾介绍过redis-cli,包括-h.-p参数,但是除了这些参数,还有很多有用的参数,要了解redis-cli的全部参数,可以执行redis-cli -help命令来进行查看,下面将对一些重要参数的含义以及使用场景进行说明. 1.?-r -r(

Redis开发与运维. 3.4 事务与Lua

3.4 事务与Lua 为了保证多条命令组合的原子性,Redis提供了简单的事务功能以及集成Lua脚本来解决这个问题.本节首先简单介绍Redis中事务的使用方法以及它的局限性,之后重点介绍Lua语言的基本使用方法,以及如何将Redis和Lua脚本进行集成,最后给出Redis管理Lua脚本的相关命令. 3.4.1 事务 熟悉关系型数据库的读者应该对事务比较了解,简单地说,事务表示一组动作,要么全部执行,要么全部不执行.例如在社交网站上用户A关注了用户B,那么需要在用户A的关注表中加入用户B,并且在用

Redis开发与运维. 2.1 预备

2.1 预备 在正式介绍5种数据结构之前,了解一下Redis的一些全局命令.数据结构和内部编码.单线程命令处理机制是十分有必要的,它们能为后面内容的学习打下一个好的基础,主要体现在两个方面:第一.Redis的命令有上百个,如果纯靠死记硬背比较困难,但是如果理解Redis的一些机制,会发现这些命令有很强的通用性.第二.Redis不是万金油,有些数据结构和命令必须在特定场景下使用,一旦使用不当可能对Redis本身或者应用本身造成致命伤害. 2.1.1 全局命令 Redis有5种数据结构,它们是键值对

Redis开发与运维. 2.7 键管理

2.7 键管理 本节将按照单个键.遍历键.数据库管理三个维度对一些通用命令进行介绍. 2.7.1 单个键管理 针对单个键的命令,前面几节已经介绍过一部分了,例如type.del.object.exists.expire等,下面将介绍剩余的几个重要命令. 1.?键重命名 rename key newkey 例如现有一个键值对,键为python,值为jedis: 127.0.0.1:6379> get python "jedis" 下面操作将键python重命名为java: 127.

Redis开发与运维. 3.1 慢查询分析

3.1 慢查询分析 许多存储系统(例如MySQL)提供慢查询日志帮助开发和运维人员定位系统存在的慢操作.所谓慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阀值,就将这条命令的相关信息(例如:发生时间,耗时,命令的详细信息)记录下来,Redis也提供了类似的功能. 如图3-1所示,Redis客户端执行一条命令分为如下4个部分:   图3-1 一条客户端命令的生命周期 1)发送命令 2)命令排队 3)命令执行 4)返回结果 需要注意,慢查询只统计步骤3)的时间,所以没有慢查询并不

Redis开发与运维. 1.1 盛赞Redis

1.1 盛赞Redis Redis是一种基于键值对(key-value)的NoSQL数据库,与很多键值对数据库不同的是,Redis中的值可以是由string(字符串).hash(哈希).list(列表).set(集合).zset(有序集合).Bitmaps(位图).HyperLogLog.GEO(地理信息定位)等多种数据结构和算法组成,因此Redis可以满足很多的应用场景,而且因为Redis会将所有数据都存放在内存中,所以它的读写性能非常惊人.不仅如此,Redis还可以将内存的数据利用快照和日志

Redis开发与运维. 1.2 Redis特性

1.2 Redis特性 Redis之所以受到如此多公司的青睐,必然有之过人之处,下面是关于Redis的8个重要特性. 1.?速度快 正常情况下,Redis执行命令的速度非常快,官方给出的数字是读写性能可以达到10万/秒,当然这也取决于机器的性能,但这里先不讨论机器性能上的差异,只分析一下是什么造就了Redis除此之快的速度,可以大致归纳为以下四点: Redis的所有数据都是存放在内存中的,表1-1是谷歌公司2009年给出的各层级硬件执行速度,所以把数据放在内存中是Redis速度快的最主要原因.

Redis开发与运维. 2.8 本章重点回顾

2.8 本章重点回顾 1)Redis提供5种数据结构,每种数据结构都有多种内部编码实现. 2)纯内存存储.IO多路复用技术.单线程架构是造就Redis高性能的三个因素. 3)由于Redis的单线程架构,所以需要每个命令能被快速执行完,否则会存在阻塞Redis的可能,理解Redis单线程命令处理机制是开发和运维Redis的核心之一. 4)批量操作(例如mget.mset.hmset等)能够有效提高命令执行的效率,但要注意每次批量操作的个数和字节数. 5)了解每个命令的时间复杂度在开发中至关重要,例

Redis开发与运维. 2.5 集合

2.5 集合 集合(set)类型也是用来保存多个的字符串元素,但和列表类型不一样的是,集合中不允许有重复元素,并且集合中的元素是无序的,不能通过索引下标获取元素.如图2-22所示,集合user:1:follow包含着"it"."music". "his"."sports"四个元素,一个集合最多可以存储232-1个元素.Redis除了支持集合内的增删改查,同时还支持多个集合取交集.并集.差集,合理地使用好集合类型,能在实际开发中