LinkedIn 开源多媒体对象存储数据库 Ambry


LinkedIn近日开源了多媒体对象存储数据库Ambry（GitHub）.

LinkedIn过去使用的是一种闭源技术，非常复杂，而且也难以随着用户数和数据量的增长而扩展。LinkedIn工程总监Sriram Subramanian在博客中指出：

我们开始尝试在市场中寻找更好的替代方案，包括各种分布式文件系统、存储一体机、云服务和内部部署方案都考察过，通过权衡我们的设计目标和得失后发现，我们需要自己开发一个能更好满足我们需求的方案——Ambry，如今Ambry已经在LinkedIn的生产环境中使用多年，表现良好。

虽然Facebook和Google等公司经常开源一些软件工具，但是对象数据库在开源世界依然属于一个小众产品。

很多流行的互联网公司，例如Airbnb、Pinterest和Spotify都转向亚马逊的AWS S3来提供对象存储服务，但LinkedIn与Facebook和Google类似，运营着自己的服务基础设施，因此需要能够跨多个数据中心运营的软件，例如Ambry就能支持大量的REST应用的API。

Ambry是一个非常复杂的系统，感兴趣的读者可以访问下方的相关链接或官方技术博客、Wiki查看更多详情。

文章转载自 开源中国社区[http://www.oschina.net]

时间： 2024-11-01 09:49:15

LinkedIn 开源多媒体对象存储数据库 Ambry的相关文章

LinkedIn开源多媒体对象存储数据库Ambry

LinkedIn近日开源了多媒体对象存储数据库Ambry(GitHub). 我们开始尝试在市场中寻找更好的替代方案,包括各种分布式文件系统.存储一体机.云服务和内部部署方案都考察过,通过权衡我们的设计目标和得失后发现,我们需要自己开发一个能更好满足我们需求的方案--Ambry,如今Ambry已经在LinkedIn的生产环境中使用多年,表现良好. 虽然Facebook和Google等公司经常开源一些软件工具,但是对象数据库在开源世界依然属于一个小众产品. 很多流行的互联网公司,例如Airbnb.P

LinkedIn 开源其分布式对象存储系统 Ambry

日前,LinkedIn在Github上基于Apache 2许可证协议开源了其分布式对象存储系统Ambry.Ambry是一个是不可变对象的存储系统,非常易于扩展,它能够存储KB到GB大小的不可变对象,并且能够实现高吞吐和低延迟,该系统支持跨数据中心的双活部署,并且存储成本低廉.它特别适于存储各种媒体内容. 据Linkedin的前工程主管Sriram Subramanian介绍,媒体内容在Web中已经无处不在,Linkedin中的每项新特性基本上都会与某种类型的媒体内容进行交互.这些媒体内容会存储在

OpenStack对象存储——Swift开源云计算

OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一,被称为对象存储,提供了强大的扩展性.冗余和持久性.本文将从架构.原理和实践等几方面讲述Swift. Swift并不是文件系统或者实时的数据存储系统,它称为对象存储,用于永久类型的静态数据的长期存储,这些数据可以检索.调整,必要时进行更新.最适合存储的数据类型的例子是虚拟机镜像.图片存储.邮件存储和存档备份.因为没有中心单元或主控结点,Swift提供了更强的扩展性.冗余和持久性.Swift

Oracle中提取和存储数据库对象的DDL

oracle|对象|数据|数据库     从对象(例如数据库表.索引.约束.触发器等)中提取DDL命令的普通方法涉及到的操作包括从这些对象中提取元数据(metadata),并把这些数据存储在内存中.尽管目前有很多脚本可以实现这样的功能,但是它们通常都是不完整的或者过时的.幸运的是,Oracle 9.2提供了一个实现这样的功能的API:DBMS_METADATA程序包. 在很多情况下,数据库中数据的维护操作要求我们提取多种对象(例如数据库表.索引.约束.触发器等)的DDL(Data Definit

对象存储的发展历程揭秘

背景介绍: 硅谷多家技术公司顾问Philippe Nicolas贴出了一张有趣的对象存储发展历程图片,利用数据表细化出内容寻址存储(CAS)即对象存储的发展历程. 该图表汇总了多家企业不同产品的起源,X轴代表时间线,Y轴则为企业,项目和产品名称,并作出评论和分析. 和很多创新一样,这个图表充分说明,几乎所有的系统都来自小型厂商.其它IT细分市场是如此,存储亦是如此,即便后者始终与硬件和基础设施相关. 图表中蓝色星标代表一些网络巨头发表的重要论文.这些论文引起了一连串适用于超大规模环境的对象存储方

数据爆炸时代云计算厂商的对象存储“勇担当”

对象存储在企业级存储领域的应用处于早期阶段,但增长的趋势十分明显.IDC预测在2017年到2021年期间,全球软件定义存储市场的复合年增长率将达到13.5%,到2021年收入接近162亿美元. 自从20世纪90年代中期首次提出概念,对象存储已经成为最大规模应用的数据存储方法之一.在软件定义存储市场中,下一代云数据中心的要求正在有力地推动对象存储的发展. 毋庸置疑,我们现在处于一个数据爆炸的年代,特别是非结构化数据(图片.视频.归档以及企业级备份等各种数据)成为企业数据的重要组成部分.这种海量数据

Databus：LinkedIn开源低延时变化数据捕获的系统

2月26日,LinkedIn开源了其低延时变化数据捕获系统Databus,该系统可以在MySQL以及Oracle数据源上捕获数据,不过当下LinkedIn只开源了Oracle上的连接器.Databus作为LinkedIn生态系统中的一致性保障组件,是具有十分高保障的一项产品,就算在低延时的情况下仍然具有高有效性;而其最大的特点莫过于无限制lookback能力及丰富的subscription功能. 以下为LinkedIn上Databus简述译文: 何为Databus LinkedIn拥有一个针对数

对象存储的兴起

在本文中,作者斯科特·辛克莱尔将为广大读者诸君分析对象存储存在于当今的数字化市场的必要性,同时,还将为您重点介绍Cleversafe公司的解决方案.斯科特·辛克莱尔撰写了关于对象存储的理想使用案例,并介绍了购买这种技术时需要考虑的相关要素.他认为,Cleversafe公司的对象存储解决了归档/内容存储库.归档合规性.内容分发.数据湖/hub枢纽.备份目标.协同和企业内部部署云的使用案例等一系列问题.最终得出的结论是,对象存储为"数据的保护和规模化提供了一个相当卓越的方法",建议客户保持

存储初创企业Versity公司提供S3对象存储接口

大量数字化处理对象. Versity公司是一家采用多线程SAM-QFS的归档软件初创企业. 这家年轻的公司成立于2011年3月,CEO Bruce Gilpin拥有风险投资背景,而CTO则为Harriet Coverston.她自1986年起即在LSC(即Large Storage Configurations)公司工作并担任技术负责人职务,而该公司正是QFS(即快速文件系统)的开发方. QFS能够对磁盘驱动器进行分组,并为其提供一套文件系统.该软件后被Sun公司收购,Coverston亦在工作