分割超大Redis数据库例子_Redis

薄荷 App 上的伙伴功能大量使用了内存数据库 Redis,随着数据量的快速增长,Redis 膨胀得很快,已经接近 12 GB规模,这些数据全部放在单个 Redis 实例中。单个巨大 Redis 实例有如下几个坏处:

1.首先,需要一台内存很大的机器。Redis 是内存数据库,它需要把所有需求全部放在内存中,需要为之装下 12 GB的 Redis 实例,至少需要 12 GB 内存大小的机器,考虑的预留增长空间,一般需要 12 * 1.5 约 18 GB 内存。 另外还有一个考虑的因素是,Redis 进行硬盘数据存储时,fork 进程需要消耗同样大小的内存,因此一个 12GB 的 redis 实例需要 32 GB左右的内存比较合适,这对机器提出了很高的要求,常常难以满足。

2.然后,Redis 容易成为性能瓶颈。Redis 的并发模型是单进程单线程,它不能充分利用多核 CPU,在请求数很高,或者某一些请求处理比较慢时(比如一些大的数据排序),可能会成为系统的性能瓶颈。有方法可以缓解甚至这个问题,就是建立多个 Redis 实例,通过多个 Redis 连接来实现。

3.另外,单个巨大的 Redis 实例也会增加数据管理难度,因为这么大的数据量,无论是复制,备份操作都比较慢,容易对线上系统造成冲击。

因此,十分有必要把单个巨大的 Redis 实例分割成多个小的 Redis 实例。

使用 Redis 的复制机制,可以在线平滑处理 Redis 实例分割,几乎不会对系统有很大的影响。

分割的具体操作思路如下:

1.首先,规划 Redis 分割策略,通常是基于业务划分,比如薄荷伙伴是基于业务分成 timeline, user_relationship, other 3个 Redis 实例。规划好之后,需要根据规划结果对应用程序中 Redis 程序代码做修改,通常是有一个统一的 Redis 链接修改为多个 Redis 连接,不同业务使用不同的连接。

2.然后,通过 Redis 复制功能建立多个 Redis 副本,让不同 Redis 连接使用不同的 Redis 副本,在 Redis 副本中删除多余的数据。批量删除某个模式的 keys,可以使用下面的 shell 命令:

复制代码 代码如下:

redis-cli KEYS "<pattern>" | xargs redis-cli DEL

改成实际的模式,如

复制代码 代码如下:

redis-cli KEYS "user:*:followers" | xargs redis-cli DEL

表示删除 user followers 数据。

最后通过来回切换并重启 Redis 实例达到完全分割 Redis 实例。

时间: 2024-09-20 12:41:51

分割超大Redis数据库例子_Redis的相关文章

CentOS7安装mariaDB、jdk1.8、redis数据库例子

这个是centos7自带的数据库MariaDB,以前是mysql,到7以后,改为MariaDB...   1. MariaDB安装,没有往深处配置...懒得动了..参考:http://blog.csdn.net/default7/article/details/41973887 a:yum install mariadb mariadb-server b:systemctl start mariadb ==> 启动mariadb c:systemctl enable mariadb ==> 开

Redis总结笔记(二):C#连接Redis简单例子_Redis

注:C#在调用Redis是不要使用ServiceStack.Redis驱动的4.0版本,因为这个版本已经商业化了,会出现每小时6000条数据的限制 1.引用驱动 复制代码 代码如下:     using ServiceStack.Redis; 2.数据库连接 复制代码 代码如下:     RedisClient client;             //连接服务器   6379是redis的默认端口             client = new RedisClient("127.0.0.1

Redis02 使用Redis数据库(String类型)全面解析_Redis

一 String类型 首先使用启动服务器进程 : redis-server.exe 1. Set 设置Key对应的值为String 类型的value. 例子:向 Redis数据库中插入一条数据类型为String 的记录. 在客户端输入命令: C:\software\redis\64bit>redis-cli.exe -h 127.0.0.1 -p 6379 redis 127.0.0.1:6379> set foo test OK redis 127.0.0.1:6379> get fo

CentOS下Redis数据库的基本安装与配置教程_Redis

Redis 是一个开源的多平台数据存储软件,使用 ANSI C 编写,直接在内存使用数据集,这使得它得以实现非常高的效率.Redis 支持多种编程语言,包括 Lua, C, Java, Python, Perl, PHP 和其他很多语言.redis 的代码量很小,只有约3万行,它只做"很少"的事,但是做的很好.尽管是在内存里工作,但是数据持久化的保存还是有的,而redis 的可靠性就很高,同时也支持集群,这些可以很好的保证你的数据安全. 构建 Redisredis 目前没有官方 RPM

在CenOS系统下安装和配置Redis数据库的教程_Redis

一:安装redis wget http://redis.googlecode.com/files/redis-2.6.14.tar.gz tar zxvf redis-2.6.14.tar.gz cd redis-2.6.14 make PREFIX=/usr/local/redis install 二:配置redis 使用默认配置文件,稍作修改就可以了 1.习惯做法,配置文件放在源码安装的文件夹下,便于管理吧 mkdir /usr/local/redis/etc/ cp redis-2.6.1

在CentOS 7环境下安装Redis数据库详解_Redis

正如我们所知的那样,Redis是一个开源的.基于BSD许可证的,基于内存的.键值存储NoSQL数据库.Redis经常被视为一个数据结构服务器,因为Redis支持字符串strings.哈希hashes.列表lists.集合sets.有序集sorted sets等数据结构.Redis还支持像事务Transitions.发布和订阅这样的数据类型.有鉴于此,Redis经常被认为是更强大的Memcache. 本文主要讲述Redis在CentOS 7环境下的安装有什么不同.假定CentOS 7 Server

CentOS系统中Redis数据库的安装配置指南_Redis

1.检查安装依赖程序 yum install gcc-c++ yum install -y tcl yum install wget 2.获取安装文件 wget http://download.redis.io/releases/redis-2.8.13.tar.gz 3.解压文件 tar -xzvf redis-2.8.19.tar.gz mv redis-2.8.19 /usr/local/redis 4.进入目录 cd /usr/local/redis 5.编译安装 make make i

详解.NET中使用Redis数据库_实用技巧

Redis是一个用的比较广泛的Key/Value的内存数据库,新浪微博.Github.StackOverflow 等大型应用中都用其作为缓存,Redis的官网为http://redis.io/. 最近项目中需要使用Redis,这里简单记录一下Redis的安装,以及如何在.NET中使用Redis. Redis安装与启动 1. 下载Redis Redis本身没有提供Windows版本的,并且在Windows上也不太稳定,一般都将其部署到Linux环境下,Redis可以在其官网上下载, MSOpenT

在Node.js应用中读写Redis数据库的简单方法

  这篇文章主要介绍了在Node.js应用中读写Redis数据库的简单方法,Redis是一个内存式高速数据库,需要的朋友可以参考下 在开始本文之前请确保安装好 Redis 和 Node.js 以及 Node.js 的 Redis 扩展 -- node_redis 首先创建一个新文件夹并新建文本文件 app.js 文件内容如下: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 var redis = require("redis") ,