KV存储的基本要求:
1.大容量,支持TB级别存储
2.高性能
3.功能丰富
一、基于Redis 2.x的KV存储
Cluster:每个集群32个节点
集群中数据分配规则存储在Zookeeper中
对外提供RPC服务
Apache HBase
优势:水平扩展
缺点:不满足在线核心业务SLA(99.9%响应<25ms)
redis
优势:高性能,API接口丰富
缺点:单节点存储能力有限
主要存在的问题:
1.扩容困难,单个集群容量合理上限1TB(单节点30GB)
2.共享集群,业务彼此之间存在影响
3.数据导出到hive等复杂
4.RPC存在性能损耗
二、Redis 3.0
Cluster时代
根据业务线拆分集群:大业务独立集群,小业务共享集群
自动化部署集群:Redis Cluster On Docker
Server端信息对客户端透明:客户端根据Cluster名称即可访问,支持参数动态调整,配置信息集中维护
三、Redis Client的改进
Cluster redirections 出现的时机:
1.节点down机,同时集群性能急剧下降
2.网络抖动或者慢操作
时间: 2024-11-03 22:02:14