Redis中的动态字符串学习教程_Redis

sds 的用途
Sds 在 Redis 中的主要作用有以下两个:

实现字符串对象(StringObject);
在 Redis 程序内部用作 char* 类型的替代品;
以下两个小节分别对这两种用途进行介绍。

实现字符串对象

Redis 是一个键值对数据库(key-value DB), 数据库的值可以是字符串、集合、列表等多种类型的对象, 而数据库的键则总是字符串对象。

对于那些包含字符串值的字符串对象来说, 每个字符串对象都包含一个 sds 值。

“包含字符串值的字符串对象”,这种说法初听上去可能会有点奇怪, 但是在 Redis 中, 一个字符串对象除了可以保存字符串值之外, 还可以保存 long 类型的值, 所以为了严谨起见, 这里需要强调一下: 当字符串对象保存的是字符串时, 它包含的才是 sds 值, 否则的话, 它就是一个 long 类型的值。
举个例子, 以下命令创建了一个新的数据库键值对, 这个键值对的键和值都是字符串对象, 它们都包含一个 sds 值:

redis> SET book "Mastering C++ in 21 days"
OK

redis> GET book
"Mastering C++ in 21 days"

以下命令创建了另一个键值对, 它的键是字符串对象, 而值则是一个集合对象:

redis> SADD nosql "Redis" "MongoDB" "Neo4j"
(integer) 3

redis> SMEMBERS nosql
1) "Neo4j"
2) "Redis"
3) "MongoDB"

用 sds 取代 C 默认的 char* 类型

因为 char* 类型的功能单一, 抽象层次低, 并且不能高效地支持一些 Redis 常用的操作(比如追加操作和长度计算操作), 所以在 Redis 程序内部, 绝大部分情况下都会使用 sds 而不是 char* 来表示字符串。

性能问题在稍后介绍 sds 定义的时候就会说到, 因为我们还没有了解过 Redis 的其他功能模块, 所以也没办法详细地举例说那里用到了 sds , 不过在后面的章节中, 我们会经常看到其他模块(几乎每一个)都用到了 sds 类型值。

目前来说, 只要记住这个事实即可: 在 Redis 中, 客户端传入服务器的协议内容、 aof 缓存、 返回给客户端的回复, 等等, 这些重要的内容都是由 sds 类型来保存的。

redis 中的字符串
在 C 语言中,字符串可以用一个 \0 结尾的 char 数组来表示。

比如说, hello world 在 C 语言中就可以表示为 "hello world\0" 。

这种简单的字符串表示,在大多数情况下都能满足要求,但是,它并不能高效地支持长度计算和追加(append)这两种操作:

每次计算字符串长度(strlen(s))的复杂度为 θ(N) 。
对字符串进行 N 次追加,必定需要对字符串进行 N 次内存重分配(realloc)。
在 Redis 内部, 字符串的追加和长度计算很常见, 而 APPEND 和 STRLEN 更是这两种操作,在 Redis 命令中的直接映射, 这两个简单的操作不应该成为性能的瓶颈。

另外, Redis 除了处理 C 字符串之外, 还需要处理单纯的字节数组, 以及服务器协议等内容, 所以为了方便起见, Redis 的字符串表示还应该是二进制安全的: 程序不应对字符串里面保存的数据做任何假设, 数据可以是以 \0 结尾的 C 字符串, 也可以是单纯的字节数组, 或者其他格式的数据。

考虑到这两个原因, Redis 使用 sds 类型替换了 C 语言的默认字符串表示: sds 既可高效地实现追加和长度计算, 同时是二进制安全的。

sds 的实现

在前面的内容中, 我们一直将 sds 作为一种抽象数据结构来说明, 实际上, 它的实现由以下两部分组成:

typedef char *sds;

struct sdshdr {

  // buf 已占用长度
  int len;

  // buf 剩余可用长度
  int free;

  // 实际保存字符串数据的地方
  char buf[];
};

其中,类型 sds 是 char * 的别名(alias),而结构 sdshdr 则保存了 len 、 free 和 buf 三个属性。

作为例子,以下是新创建的,同样保存 hello world 字符串的 sdshdr 结构:

struct sdshdr {
  len = 11;
  free = 0;
  buf = "hello world\0"; // buf 的实际长度为 len + 1
};

通过 len 属性, sdshdr 可以实现复杂度为 θ(1) 的长度计算操作。

另一方面, 通过对 buf 分配一些额外的空间, 并使用 free 记录未使用空间的大小, sdshdr 可以让执行追加操作所需的内存重分配次数大大减少, 下一节我们就会来详细讨论这一点。

当然, sds 也对操作的正确实现提出了要求 —— 所有处理 sdshdr 的函数,都必须正确地更新 len 和 free 属性,否则就会造成 bug 。

数据类型定义
与sds实现有关的数据类型有两个,一个是 sds:

  // 字符串类型的别名
  typedef char *sds; 

另一个是 sdshdr:

  // 持有sds的结构
  struct sdshdr {
    // buf中已经被使用的字符串空间数量
    int len;
    // buf中预留字符串的空间数量
    int free;
    // 实际存储字符串的地方
    char buf[];
  }; 

其中,sds只是字符串数组类型char*的别名,而sdshdr用于持有和保存sds的信息

比如,sdshdr.len可以用于在O(1)的复杂度下获取sdshdr.buf中存储的字符串的实际长度,而sdshdr.free则用于保存sdshdr.buf中还有多少预留空间

(这里sdshdr应该是sds handler的缩写)

将sdshdr用作sds
sds模块对sdshdr结构使用了一点小技巧:通过指针运算,它使得sdshdr结构可以像sds类型一样被传值和处理,并在需要的时候恢复成sdshdr类型

通过下面的函数定义来理解这个技巧

sdsnewlen 函数返回一个新的sds值,实际上,它创建的却是一个sdshdr结构:

  sds sdsnewlen(const void *init, size_t initlen)
  {
    struct sdshdr *sh; 

    if (init) {
      // 创建
      sh = malloc(sizeof(struct sdshdr) + initlen + 1);
    } else {
      // 重分配
      sh = calloc(1, sizeof(struct sdshdr) + initlen + 1);
    } 

    if (sh == NULL) return NULL; 

    sh->len = initlen;
    sh->free = 0;  // 刚开始free为0 

    if (initlen && init) {
      memcpy(sh->buf, init, initlen);
    }
    sh->buf[initlen] = '\0'; 

    // 只返回sh->buf这个字符串部分
    return (char *)sh->buf;
  } 

通过使用变量持有一个sds的值,在遇到那些只处理sds值本身的函数时,可以直接将sds传给它们。比如说,sdstoupper 函数就是其中的一个例子:

 

  static inline size_t sdslen(const sds s)
  {
    // 从sds中计算出相应的sdshdr结构
    struct sdshdr *sh = (void *)(s - (sizeof(struct sdshdr))); 

    return sh->len;
  } 

  void sdstoupper(sds s)
  {
    int len = sdslen(s), j; 

    for (j = 0; j < len; j ++)
      s[j] = toupper(s[j]);
  }

这里有一个技巧,通过指针运算,可以从sds值中计算出相应的sdshdr结构:

sds虽然是指向char *的buf(ps:并且空数组不占用内存空间,数组名即为内存地址),但是分配的时候是分配sizeof(struct sdshdr) + initlen + 1的,通过sds - sizeof(struct sdshdr)可以计算出struct sdshdr的首地址,从而可以得到len和free的信息

sdsavail 函数就是使用这中技巧的一个例子:

 

  static inline size_t sdsavail(const sds s)
  {
    struct sdshdr *sh = (void *)(s - (sizeof(struct sdshdr))); 

    return sh->free;
  }

内存分配函数实现
和Reids 的实现决策相关的函数是 sdsMakeRoomFor :

 

  sds sdsMakeRoomFor(sds s, size_t addlen)
  {
    struct sdshdr *sh, *newsh;
    size_t free = sdsavail(s);
    size_t len, newlen; 

    // 预留空间可以满足本地拼接
    if (free >= addlen) return s; 

    len = sdslen(s);
    sh = (void *)(s - (sizeof(struct sdshdr))); 

    // 设置新sds的字符串长度
    // 这个长度比完成本次拼接实际所需的长度要大
    // 通过预留空间优化下次拼接操作
    newlen = (len + addlen);
    if (newlen < 1024 * 1024)
      newlen *= 2;
    else
      newlen += 1024; 

    // 重新分配sdshdr
    newsh = realloc(sh, sizeof(struct sdshdr) + newlen + 1);
    if (newsh == NULL) return NULL; 

    newsh->free = newlen - len; 

    // 只返回字符串部分
    return newsh->buf;
  }

这种内存分配策略表明,在对sds 值进行扩展(expand)时,总会预留额外的空间,通过花费更多的内存,减少了对内存进行重分配(reallocate)的次数,并优化下次扩展操作的处理速度

再把redis的如果实现对sds字符串扩展的方法贴一下,很不错的思路:

  /**
   * 按长度len扩展sds,并将t拼接到sds的末尾
   */
  sds sdscatlen(sds s, const void *t, size_t len)
  {
    struct sdshdr *sh; 

    size_t curlen = sdslen(s); 

    // O(N)
    s = sdsMakeRoomFor(s, len);
    if (s == NULL) return NULL; 

    // 复制
    memcpy(s + curlen, t, len); 

    // 更新len和free属性
    sh = (void *)(s - (sizeof(struct sdshdr)));
    sh->len = curlen + len;
    sh->free = sh->free - len; 

    // 终结符
    s[curlen + len] = '\0'; 

    return s;
  } 

  /**
   * 将一个char数组拼接到sds 末尾
   */
  sds sdscat(sds s, const char *t)
  {
    return sdscatlen(s, t, strlen(t));
  } 

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索字符串
redis
,以便于您获取更多的相关知识。

时间: 2024-08-22 14:31:05

Redis中的动态字符串学习教程_Redis的相关文章

使用Redis实现用户积分排行榜的教程_Redis

排行榜功能是一个很普遍的需求.使用 Redis 中有序集合的特性来实现排行榜是又好又快的选择. 一般排行榜都是有实效性的,比如"用户积分榜".如果没有实效性一直按照总榜来排,可能榜首总是几个老用户,对于新用户来说,那真是太令人沮丧了. 首先,来个"今日积分榜"吧,排序规则是今日用户新增积分从多到少. 那么用户增加积分时,都操作一下记录当天积分增加的有序集合. 假设今天是 2015 年 04 月 01 日,UID 为 1 的用户因为某个操作,增加了 5 个积分. Re

Java的Hibernate框架中的继承映射学习教程_java

一.继承映射继承是面向对象很重要的特性,它实现了代码的服用,在关系模型中同样也有继承关系,这种继承关系其实可以看做是一种枚举关系,一种类型中可以枚举出很多子类型,这些子类型和父对象形成了继承关系,能够对其进行枚举的大部分都可以看做是一种继承映射,所以这种枚举关系可以看做是继承映射,例如动物就是一种抽象类,它是其它动物猪.猫等的父类,它们之间就是一种继承关系,如下图: 这种继承映射在转化为关系模型后会生成一张表,那么这张表是如何区分这两种类型的呢?用的是关系字段,需要在表中添加类型字段,使用关键字

MySQL中的联合索引学习教程_Mysql

联合索引又叫复合索引.对于复合索引:Mysql从左到右的使用索引中的字段,一个查询可以只使用索引中的一部份,但只能是最左侧部分.例如索引是key index (a,b,c). 可以支持a | a,b| a,b,c 3种组合进行查找,但不支持 b,c进行查找 .当最左侧字段是常量引用时,索引就十分有效. 两个或更多个列上的索引被称作复合索引. 利用索引中的附加列,您可以缩小搜索的范围,但使用一个具有两列的索引 不同于使用两个单独的索引.复合索引的结构与电话簿类似,人名由姓和名构成,电话簿首先按姓氏

Android app开发中的Fragment入门学习教程_Android

在Android3.0上开始引入了一个新概念叫Fragment.它有自己的布局文件,可以作为组件排布,也可以相互组合去实现不同的布局显示.使用Fragment可以重复利用代码,并且可以满足不同设备尺寸的需求.Fragment不能单独存在,只能存在于Activity中,而一个Activity可以拥有多个Fragment.很重要的一点是,Fragment可以和Activity中的其它组件一起使用,无需重写所有Activity的接口.所以使用Fragment就可以这样来完成上例中"主界面-详细界面&q

MySQL中触发器的基础学习教程_Mysql

0.触发器的基本概念触发器是一种特殊的存储过程,它在插入,删除或修改特定表中的数据时触发执行,它比数据库本身标准的功能有更精细和更复杂的数据控制能力. 数据库触发器有以下的作用: (1).安全性.可以基于数据库的值使用户具有操作数据库的某种权利.   # 可以基于时间限制用户的操作,例如不允许下班后和节假日修改数据库数据.   # 可以基于数据库中的数据限制用户的操作,例如不允许股票的价格的升幅一次超过10%. (2).审计.可以跟踪用户对数据库的操作.     # 审计用户操作数据库的语句.

Java的Hibernate框架中的组合映射学习教程_java

一.组合映射组合是关联关系的一种特殊情况,是关联关系耦合度最高的一种关系,组合的主对象和子对象拥有相同的生命周期,主对像消亡的话子对象也会消亡.这里使用雇主和用户作为示例,用户和雇主都拥有联系方式属性,如果这里站在对象角度思考的话,常常会把对象模型绘制成为组合的方式,抽象出来一个共同的联系方式类,然后两种人分别包含相应的联系方式对象即可,向应的对象模型时它的对象示例如下图所示: 组合对象模型在生成相应的关系模型后会把对应的子类包含到主表中,所以对应的表结构会将相应的属性生成到对应的表中,相应的表

JavaScript的jQuery库中ready方法的学习教程_jquery

学习 jQuery 有许多途径,我们今天从 jQuery 的 ready 函数开始.本例中的代码都来自于 jQuery 脚本库. 如果你使用过 jQuery , 就必然使用过 ready 函数,它用来注册当页面准备好之后可以执行的函数. 问题来啦,我们的页面什么时候准备好了呢? onload 事件最基本的处理方式就是页面的 onload 事件,我们在处理这个事件的时候,可以有多种方式,即可以通过 HTML 方式,直接写在 body 元素的开始标记中,也可以使用事件注册的方式来使用,这又可以分为

Java编程中void方法的学习教程_java

void 关键字本节说明如何声明和调用一个void方法. 下面的例子声明了一个名为printGrade的方法,并且调用它来打印给定的分数. 示例 public class TestVoidMethod { public static void main(String[] args) { printGrade(78.5); } public static void printGrade(double score) { if (score >= 90.0) { System.out.println(

JavaScript中的Object对象学习教程_基础知识

参数:(1)obj 必需.Object 对象分配到的变量名称.  (2)值 可选.任一 JavaScript 基元数据类型(数字.布尔值或字符串).  如果值是一个对象,则返回的对象是未修改的.  如果值是 null."未定义"或"未提供",则创建无内容的对象.  Object对象的方法 Object作为构造函数使用时,可以接受一个参数.如果该参数是一个对象,则直接返回这个对象:如果是一个原始类型的值,则返回该值对应的包装对象.利用这一点,可以写一个判断变量是否为对