Redis开发与运维. 3.3 Pipeline

3.3 Pipeline

3.3.1 Pipeline概念

Redis客户端执行一条命令分为如下四个过程:

1)发送命令

2)命令排队

3)命令执行

4)返回结果

其中1)+4)称为Round Trip Time(RTT,往返时间)。

Redis提供了批量操作命令(例如mget、mset等),有效地节约RTT。但大部分命令是不支持批量操作的,例如要执行n次hgetall命令,并没有mhgetall命令存在,需要消耗n次RTT。Redis的客户端和服务端可能部署在不同的机器上。例如客户端在北京,Redis服务端在上海,两地直线距离约为1300公里,那么1次RTT时间=1300 ×2/(300000×2/3)=

13毫秒(光在真空中传输速度为每秒30万公里,这里假设光纤为光速的2/3),那么客户端在1秒内大约只能执行80次左右的命令,这个和Redis的高并发高吞吐特性背道而驰。

Pipeline(流水线)机制能改善上面这类问题,它能将一组Redis命令进行组装,通过一次RTT传输给Redis,再将这组Redis命令的执行结果按顺序返回给客户端,图3-5为没有使用Pipeline执行了n条命令,整个过程需要n次RTT。

图3-6为使用Pipeline执行了n次命令,整个过程需要1次RTT。

Pipeline并不是什么新的技术或机制,很多技术上都使用过。而且RTT在不同网络环境下会有不同,例如同机房和同机器会比较快,跨机房跨地区会比较慢。Redis命令真正执行的时间通常在微秒级别,所以才会有Redis性能瓶颈是网络这样的说法。

redis-cli的--pipe选项实际上就是使用Pipeline机制,例如下面操作将set
hello world和incr counter两条命令组装:

echo -en
'*3\r\n$3\r\nSET\r\n$5\r\nhello\r\n$5\r\nworld\r\n*2\r\n$4\r\nincr\r\

   
n$7\r\ncounter\r\n' | redis-cli --pipe

但大部分开发人员更倾向于使用高级语言客户端中的Pipeline,目前大部分Redis客户端都支持Pipeline,第4章我们将介绍如何通过Java的Redis客户端Jedis使用Pipeline功能。

3.3.2 性能测试

表3-1给出了在不同网络环境下非Pipeline和Pipeline执行10000次set操作的效果,可以得到如下两个结论:

Pipeline执行速度一般比逐条执行要快。

客户端和服务端的网络延时越大,Pipeline的效果越明显。

 

图3-6 使用Pipeline执行n条命令模型

因测试环境不同可能得到的具体数字不尽相同,本测试Pipeline每次携带100条

命令。

表3-1 在不同网络下,10000条set非Pipeline和Pipeline的执行时间对比

网  络         延  迟         非Pipeline        Pipeline

本机         0.17ms     573ms      134ms

内网服务器     0.41ms     1?610ms 240ms

异地机房         7ms 78?499ms        1?104ms

 

3.3.3 原生批量命令与Pipeline对比

可以使用Pipeline模拟出批量操作的效果,但是在使用时要注意它与原生批量命令的区别,具体包含以下几点:

原生批量命令是原子的,Pipeline是非原子的。

原生批量命令是一个命令对应多个key,Pipeline支持多个命令。

原生批量命令是Redis服务端支持实现的,而Pipeline需要服务端和客户端的共同实现。

3.3.4 最佳实践

Pipeline虽然好用,但是每次Pipeline组装的命令个数不能没有节制,否则一次组装Pipeline数据量过大,一方面会增加客户端的等待时间,另一方面会造成一定的网络阻塞,可以将一次包含大量命令的Pipeline拆分成多次较小的Pipeline来完成。

Pipeline只能操作一个Redis实例,但是即使在分布式Redis场景中,也可以作为批量操作的重要优化手段,具体细节见第11章。

时间: 2024-09-21 01:15:18

Redis开发与运维. 3.3 Pipeline的相关文章

Redis开发与运维. 导读

数据库技术丛书 Redis开发与运维 付磊 张翼军编著   Redis作为基于键值对的NoSQL数据库,具有高性能.丰富的数据结构.持久化.高可用.分布式等特性,同时Redis本身非常稳定,已经得到业界的广泛认可和使用.掌握Redis已经逐步成为开发和运维人员的必备技能之一. 本书关注了Redis开发运维的方方面面,尤其对于开发运维中如何提高效率.减少可能遇到的问题进行详细分析,但本书不单单介绍怎么解决这些问题,而是通过对Redis重要原理的解析,帮助开发运维人员学会找到问题的方法,以及理解背后

Redis开发与运维. 3.2 Redis Shell

3.2 Redis Shell Redis提供了redis-cli.redis-server.redis-benchmark等Shell工具.它们虽然比较简单,但是麻雀虽小五脏俱全,有时可以很巧妙地解决一些问题. 3.2.1 redis-cli详解 第1章曾介绍过redis-cli,包括-h.-p参数,但是除了这些参数,还有很多有用的参数,要了解redis-cli的全部参数,可以执行redis-cli -help命令来进行查看,下面将对一些重要参数的含义以及使用场景进行说明. 1.?-r -r(

Redis开发与运维. 3.4 事务与Lua

3.4 事务与Lua 为了保证多条命令组合的原子性,Redis提供了简单的事务功能以及集成Lua脚本来解决这个问题.本节首先简单介绍Redis中事务的使用方法以及它的局限性,之后重点介绍Lua语言的基本使用方法,以及如何将Redis和Lua脚本进行集成,最后给出Redis管理Lua脚本的相关命令. 3.4.1 事务 熟悉关系型数据库的读者应该对事务比较了解,简单地说,事务表示一组动作,要么全部执行,要么全部不执行.例如在社交网站上用户A关注了用户B,那么需要在用户A的关注表中加入用户B,并且在用

Redis开发与运维. 1.2 Redis特性

1.2 Redis特性 Redis之所以受到如此多公司的青睐,必然有之过人之处,下面是关于Redis的8个重要特性. 1.?速度快 正常情况下,Redis执行命令的速度非常快,官方给出的数字是读写性能可以达到10万/秒,当然这也取决于机器的性能,但这里先不讨论机器性能上的差异,只分析一下是什么造就了Redis除此之快的速度,可以大致归纳为以下四点: Redis的所有数据都是存放在内存中的,表1-1是谷歌公司2009年给出的各层级硬件执行速度,所以把数据放在内存中是Redis速度快的最主要原因.

Redis开发与运维. 2.1 预备

2.1 预备 在正式介绍5种数据结构之前,了解一下Redis的一些全局命令.数据结构和内部编码.单线程命令处理机制是十分有必要的,它们能为后面内容的学习打下一个好的基础,主要体现在两个方面:第一.Redis的命令有上百个,如果纯靠死记硬背比较困难,但是如果理解Redis的一些机制,会发现这些命令有很强的通用性.第二.Redis不是万金油,有些数据结构和命令必须在特定场景下使用,一旦使用不当可能对Redis本身或者应用本身造成致命伤害. 2.1.1 全局命令 Redis有5种数据结构,它们是键值对

Redis开发与运维. 2.7 键管理

2.7 键管理 本节将按照单个键.遍历键.数据库管理三个维度对一些通用命令进行介绍. 2.7.1 单个键管理 针对单个键的命令,前面几节已经介绍过一部分了,例如type.del.object.exists.expire等,下面将介绍剩余的几个重要命令. 1.?键重命名 rename key newkey 例如现有一个键值对,键为python,值为jedis: 127.0.0.1:6379> get python "jedis" 下面操作将键python重命名为java: 127.

Redis开发与运维. 3.1 慢查询分析

3.1 慢查询分析 许多存储系统(例如MySQL)提供慢查询日志帮助开发和运维人员定位系统存在的慢操作.所谓慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阀值,就将这条命令的相关信息(例如:发生时间,耗时,命令的详细信息)记录下来,Redis也提供了类似的功能. 如图3-1所示,Redis客户端执行一条命令分为如下4个部分:   图3-1 一条客户端命令的生命周期 1)发送命令 2)命令排队 3)命令执行 4)返回结果 需要注意,慢查询只统计步骤3)的时间,所以没有慢查询并不

Redis开发与运维. 2.4 列表

2.4 列表 列表(list)类型是用来存储多个有序的字符串,如图2-18所示,a.b.c.d.e五个元素从左到右组成了一个有序的列表,列表中的每个字符串称为元素(element),一个列表最多可以存储232-1个元素.在Redis中,可以对列表两端插入(push)和弹出(pop),还可以获取指定范围的元素列表.获取指定索引下标的元素等(如图2-18和图2-19所示).列表是一种比较灵活的数据结构,它可以充当栈和队列的角色,在实际开发上有很多应用场景.   图2-18 列表两端插入和弹出操作  

Redis开发与运维. 1.1 盛赞Redis

1.1 盛赞Redis Redis是一种基于键值对(key-value)的NoSQL数据库,与很多键值对数据库不同的是,Redis中的值可以是由string(字符串).hash(哈希).list(列表).set(集合).zset(有序集合).Bitmaps(位图).HyperLogLog.GEO(地理信息定位)等多种数据结构和算法组成,因此Redis可以满足很多的应用场景,而且因为Redis会将所有数据都存放在内存中,所以它的读写性能非常惊人.不仅如此,Redis还可以将内存的数据利用快照和日志