Voldemort — 分布式 key-value 存储系统

Voldemort — 分布式 key-">value 存储系统 博客分类： 网络摘要 hadoop 

Voldemort — 分布式 key-value 存储系统

拜读了关于 LinkedIn 几位工程师写的构建 TB 级的 key-value 系统的经验：Building a terabyte-scale data cycle at LinkedIn with Hadoop and Project Voldemort。具体实现过程有大致的描述，就不鹦鹉学舌了。

其实现在很多公司可能都面临着这个抽象架构图中的类似问题。以 Hadoop 作为后
端的计算集群，计算
得出来的数据如果要反向推到
前面去，用什么方式存储更为恰当? 再放到 DB
里面的话，构建索引是麻烦事；放到 Memcached 之类的 Key-Value 分布式系统中，毕竟只是在内存里，数据又容易丢。Voldemort 算是一个不错的改良方案。

值得借鉴的
几点:

键(Key)结构的设计，
有点技巧；

架构师熟知硬件结构是有用的。越大的系统越是如此。

用好并行。Amdahl 定律以后出现的场合会更多。

关于 key-value 应用的解决方案又多了一种。LinkedIn 对此应用案例也还在发展中。如果业务类型类似，不妨关注一下。

原文地址：http://dbanotes.net/arch/voldemort_key-value.html

时间： 2024-09-06 09:45:19

Voldemort — 分布式 key-value 存储系统的相关文章

tair 淘宝的分布式key/value存储系统

类redis,项目地址:http://tair.taobao.org/ 或 http://code.taobao.org/p/tair/wiki/index/. 与redis类比,摘自互联网. redis集群中,想借用缓存资源必须得指明redis服务器地址去要.这就增加了程序的维护复杂度.因为redis服务器很可能是需要频繁变动的. 所以人家淘宝就想啊,为什么不能像操作分布式数据库或者hadoop那样.增加一个中央节点,让他去代理所有事情. 所以人家就开发了这个tair.程序只要跟tair中心节

key/value存储系统-Memcached、Redis、Tair

每个产品的可配置参数繁多,涉及缓存策略.分布算法.序列化方式.数据压缩技术.通信方式.并发.超时等诸多方面因素,都会对测试结果产生影响,单纯的性能对比存在非常多的局限性和不合理性,所以不能作为任何评估依据,仅供参考. 1.尽管 Memcached 和 Redis 都标识为Distribute,但从Server端本身而言它们并不提供分布式的解决方案,需要Client端实现一定的分布算法将数据存储到各个节点,从而实现分布式存储,两者都提供了Replication功能(Master-Slave)保障可

细数 Windows 平台上的 NoSQL 数据库

从可查询的分布式解决方案,如MongoDB,到简单的分布式Key/Value存储解决方案,如Cassandra.此外,还有Riak,Tokyo Cabinet,Voldemort,CouchDB和Redis.但目前仅有少量的NoSQL项目支持在Windows平台上运行,如果要说到生产应用那就更少了. Memcached Memcached传统上认为它不属于NoSQL的范畴,而是一个分布式Key/Value内存缓存解决方案,它可以用来存储各种各样的临时数据集,存储方式和其它NoSQL数据库解决方案

国内大公司的开源项目一览表

奇虎360 https://github.com/Qihoo360 1.MySQL中间层 Atlas Atlas是由 Qihoo 360,  Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目.它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性.目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条. 主要功能:* 读写分离* 从库负载均衡* IP过滤*

阿里开源：思考，演进和发展

关于分享者: 唐容,2011年加入阿里,负责内部开发者服务相关工作,包含内部源码管理,CI/CD等产品研发,2014年开始负责对外云上代码托管和持续交付平台的开发工作.2016年开始负责阿里开源相关的工作,希望能够打造阿里开源技术生态,融合社区,推动开源技术发展. 演讲内容架构 开源的目的 开源的四个阶段 2016阿里开源关键词 2016阿里开源关键项目 开源的目的 唐容重申阿里开源得目的,阿里开源不是到业内秀肌肉,更不是自卖自夸:阿里之所以选择开源是因为开源是孵化新技术领域的容器,是因为开源是

阿里巴巴开源技术汇总：115个软件(五)

很高兴又和广大读者相见了!今天是第五期阿里巴巴开源技术汇总.在前面四期中我们带领大家浏览了许多阿里的开源项目,相信现在读者们跟我一样对阿里的很多优秀的项目都耳熟能详了.在今天这一期的汇总中,我们又为读者呈现了20个精彩的开源项目,20个新的面孔,现在就和我们一起走近它们,领略它们的风采吧! 1.TimeTunnel [项目简介] TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能.实时性.顺序性.高可靠性.高可用性.可扩展性等特点.目前TimeTun

阿里巴巴开源技术汇总：115个软件

近期策划了多期和开源产品相关的内容,比如: 28款GitHub最流行的开源机器学习项目(一和二):TensorFlow排榜首 史上最全的"大数据"学习资源(上和下) 史上最全的机器学习资料(上和下) 还有最近非常受关注的6月将开源的阿里Weex项目<深度揭秘阿里移动端高性能动态化方案Weex>以及一直高居阅读榜首的<阿里自主研发的互动游戏引擎Hilo开源>...... 当然,专家文章下面的评论总是少不了这个问题"技术很好,会开源吗?" 阿里巴

又一个项目开源，阿里已成为中国开源的关键力量？

今天,开源软件托管平台github上的阿里巴巴主页又增加了一个新项目:Atlas.Atlas意指巨人,它是Google闻名遐迩的波士顿机器人的外号,也是手机淘宝团队的移动容器化框架的代号.在去年的云栖大会上,阿里巴巴资深技术专家倪生华宣布将于2017年初开源Atlas,现在这个承诺终于兑现了. Atlas开源解决了移动开发者什么痛点? 2013年马云发表公开信宣布阿里巴巴"All in无线"战略,之后手机淘宝App的业务规模也迎来了爆发式增长,据阿里巴巴所公布的数据显示,2016年第4

Java中8个顶级开源NoSQL数据库!

Java中8个顶级开源NoSQL数据库! NoSQL Databases, Java, Terrastore, Neo4j, Voldemort, HBase, InfoGrid, HyperGraphDB, Perst, NeoDatis ODB NoSQL正在崛起.许多企业和用户已经将MySQL数据库替换成了NoSQL数据库.NoSQL使分析非结构化的数据变得更容易,因此开发者必须意识到存在于NoSQL世界中的趋势和工具. 1.Terrastore 新的文档存储技术可以提供先进的伸缩性和弹性