对象存储的发展历程揭秘


  背景介绍:

硅谷多家技术公司顾问Philippe Nicolas贴出了一张有趣的对象存储发展历程图片,利用数据表细化出内容寻址存储(CAS)即对象存储的发展历程。


该图表汇总了多家企业不同产品的起源,X轴代表时间线,Y轴则为企业,项目和产品名称,并作出评论和分析。

和很多创新一样,这个图表充分说明,几乎所有的系统都来自小型厂商。其它IT细分市场是如此,存储亦是如此,即便后者始终与硬件和基础设施相关。

图表中蓝色星标代表一些网络巨头发表的重要论文。这些论文引起了一连串适用于超大规模环境的对象存储方案的商业运作。

GFS(谷歌文件系统),MapReduce和BigTable加上Hadoop,亚马逊Dynamo,雅虎MObStor和Facebook Cassandra一直是上图大多数公司的主要参考资料。但这些公司并未发现商用产品能够充分满足它们的预期需求,还不肯为产品和复杂性的限制大把烧钱,而更乐意基于它们强大的Linux DNA,设计,构建,开发,控制和掌握自身的技术。

为了方便阅读,左下方进行了标注说明。红圈代表收购案,橙圈代表OEM,实心蓝圈代表开源,空心代表特殊开源,菱形为公司或产品,蓝色星标为重要论文,红色星标为项目,橙色为Apache Hadoop(开源软件架构),绿色星标代表产品。

第一波浪潮

我们可以清楚地看到1998年到2005年CAS厂商带来的首波浪潮。FilePool公司显然走在该行业的前列。该公司设计了一种全新的方式对大量数据进行长期有效存储。这一举措同时也拉开了磁盘数据归档的序幕。

此外,图表还列出了Bycast, Evertrust, Permabit, Archivas, Sun(拥有Honeycomb项目——针对固定内容归档的技术)公司以及极具潜力的Caringo公司,它为CAS和后期的对象存储阶段之间架起真实的桥梁。

而为了说明这个拥有大好前程细分市场的魅力,几乎所有厂商都被收购了。

比如:

2001年,FilePool被EMC收购成为Centera产品;

2013年,Evertrust被Nexsan收购,更名为Assureon,然后它又在2013年被Imation以1亿美元吞并;

2007年,Archivas 被HDS以1.2亿美元收购变为HCP(日立内容平台),2010年,Bycast被NetApp收购。

第二波浪潮

第二波浪潮是在2004/2005年到2009年,这个时期出现了真正的对象存储先锋。该时期和之前定义的CAS时代有小部分重叠。主要的厂商为Caringo, Cleversafe, B-Virtual则变为Amplidata, Compuverde, DDN(Bucket File System),而在2015年,Redcurrant项目分支出了OpenIO公司。

我们同样列出了Ceph和Gluster,这两个开源项目很有名,在市场上也备受瞩目,后期被红帽收购,Ceph是2014年通过Inktank以1.75亿美元收购,而Gluster则早在2011年就被红帽以1.36亿美元收购。在2003年,红帽就已经开启它的存储收购战略,以3300万美元收购Sistina公司用于其集群卷管理器和文件系统。

这一时期也是为保护数据提供更好数据完整性和持久性的新存储方式正式亮相,纠删码方案,通过Cleversafe和Amplidata得到改善。2006年,也是Amazon S3元年,它是由亚马逊推出的破坏性存储模式,彻底改变了IT世界。这款云存储产品只需简单订阅即可通过网络进行远程访问。隔年Nirvanix推出,旨在处理市场企业级部分的问题。

第三波浪潮

第三波变革出现在2008/2009年至今,出现了大量的开源项目和产品例如:

OpenStack Swift;

Skylable;

Manta(来自Joyent公司);

Minio;

OpenIO;

Ambry(来自LinkedIn公司);

Torus;

Microsoft Azure;

Google Cloud Storage。

这对大数据和一些瞄准企业,电信运营商或服务提供商内部部署需求的商用产品起到了真正的促进作用。这里我们可以看到一些打算构建并提供新的数据存储平台的厂商,采用多个访问协议或方法作为最终的整合因素。

开始虽然你拥有纠删码和访问法的特性有助于形成对比,但想要差异化的解决方案还是很难。一些厂商增加了HDFS(分布式文件存储)连通性,而Hortonworks公司提出了Ozone项目(Hadoop对象存储环境),说明所有这些系统的可能性融合。最终,HDFS只是一个访问法。

这一时期可能是三波浪潮中最为活跃的时期,包含了绝大多数的开源解决方案。

在2000年,全球只有四款产品存在——FilePool, Bycast, Evertrust和Permabit。现在全部销声匿迹——三家被收购(一些产品仍在进行开发,比如NetApp StorageGRID来自Bycast),Permabit在2011年停产。2010年,约有超过30款产品,其中包含一些开源产品。而现在,因为开源,市场上有超过45个系统发售。

而开源始于2004年Ceph,在2008年加速前行,现在有16个开源系统包含在上述的45个系统中。

收购方面,近几年来对成立五年以上的公司进行收购已然屡见不鲜。这在上图有了极好地表现。最大的收购案就是IBM在尝试竞购Amplidata无果之后拿下了Cleversafe。

经验汇总

从这段CAS与对象存储发展进程里得出的经验教训:

HTTP已经证实了它在存储即传输协议中的价值;

S3成为实际意义上的市场标准;

采用x86商用服务器存储是现实的,这个软件定义存储的出现已证实。而纠删码是一个必须条件,尤其在大规模环境;

开源是现实的,它可以更方便快速地应用于高容量系统;

另外,不要忘记文件,它始终存在;

微软除了Azure完全没存在感;

Veritas,长期数据和存储管理巨头,从赛门铁克拆分之后保持独立状态,也因为缺乏产品而被踢出局;

最后,我们可以重新审视小型厂商和团队的创新。存储对这一规则也非例外。

====================================分割线================================

本文转自d1net(转载)

时间: 2024-09-09 23:50:05

对象存储的发展历程揭秘的相关文章

2017年国内对象存储的发展走向

现今,随着数据量的积累,以及访问方式的变化,文件增量让文件系统受到自身的可扩展性限制,同时企业也需要更灵活地共享和访问数据,需要存储系统能够支持大规模并发.随时访问,并且实现跨数据中心的分布式存储.而对象存储作为解决这两种问题的新一代分布式存储技术脱颖而出,国内市场日趋活跃. 近年来,对象存储系统可谓是全球备受关注的存储发展方向.基于 WEB 协议访问.对应用的处理能力与高速网络的依赖性较小是对象存储的鲜明优势,这也是它相比传统存储方式而言的一大强项. 事实上,对象存储概念由来已久,最早始于19

对象存储在数据中心的滚雪球式发展

如今,现代企业的业务核心就是数据.虽然数据存储一直在企业运营中发挥了不可或缺的作用,但在过去,人们却很少考虑其成功的关键.这是因为那时的数据还没有被确认为非常宝贵的财富,并强大到足以决定公司的命运,而如今则有所不同,得到人们的重视. 然而,我们目前正在对数字革命重新定义,企业和个人的自身行为方式也在相互发生作用.大数据集,海量信息和洞察力现在被认为是箱子中的宝贝,可以给企业带来竞争优势. 魔鬼叉子 不可能实现的事情 到2020年,机器生成的数据量将是人类创造数据量的15倍.而常见的IT最佳实践的

对象存储九大关键特征

 对象存储是一个相对较新并且在持续稳步增长的市场部分.对于新手而言,对象存储用于保存大量非结构化数据,其中每个"对象"实际上是一个没有特定格式的文件(也称二进制文件).实际上,从小的对象(人类可读取文件)到媒体(音频和视频)或其它行业特定格式(石油&天然气,医学成像等),对象存储可以保存任何类型的数据. 与传统存储相比,采用对象存储的好处良多.基于块的系统(例如光纤通道和iSCSI)无法很好地向外扩展,并且没有真正的了解所存储的数据.它们是以低延迟和高粒度提供内容的"

数据爆炸时代云计算厂商的对象存储“勇担当”

对象存储在企业级存储领域的应用处于早期阶段,但增长的趋势十分明显.IDC预测在2017年到2021年期间,全球软件定义存储市场的复合年增长率将达到13.5%,到2021年收入接近162亿美元. 自从20世纪90年代中期首次提出概念,对象存储已经成为最大规模应用的数据存储方法之一.在软件定义存储市场中,下一代云数据中心的要求正在有力地推动对象存储的发展. 毋庸置疑,我们现在处于一个数据爆炸的年代,特别是非结构化数据(图片.视频.归档以及企业级备份等各种数据)成为企业数据的重要组成部分.这种海量数据

对象存储的兴起

在本文中,作者斯科特·辛克莱尔将为广大读者诸君分析对象存储存在于当今的数字化市场的必要性,同时,还将为您重点介绍Cleversafe公司的解决方案.斯科特·辛克莱尔撰写了关于对象存储的理想使用案例,并介绍了购买这种技术时需要考虑的相关要素.他认为,Cleversafe公司的对象存储解决了归档/内容存储库.归档合规性.内容分发.数据湖/hub枢纽.备份目标.协同和企业内部部署云的使用案例等一系列问题.最终得出的结论是,对象存储为"数据的保护和规模化提供了一个相当卓越的方法",建议客户保持

对象存储为什么能吸引很多对象 五大技术优势彰显存储魅力

大家众说纷"云",其中,云存储已经成为业界最为火热的概念之一.大数据时代,没有存储或存储技术,一切都将成为"浮云"! 对象存储本身是一种与传统完全不同的解决方案,类似于当前正在兴起的软件定义存储趋势.客户会利用服务器--多数情况下为商用服务器--来实现存储功能,而供应商必须理解并接受这一点.因此对于硬件供应商来说,他们需要做的不再是单纯依靠存储业务部门销售阵列或者文件存储设备,而是再加深入地推动服务器业务升级.这给新兴的软件定义存储厂商留下了很大的想象空间. 事实上

解读对象存储九大关键特征

对象存储是一个相对较新并且在持续稳步增长的市场部分.对于新手而言,对象存储用于保存大量非结构化数据,其中每个"对象"实际上是一个没有特定格式的文件(也称二进制文件).实际上,从小的对象(人类可读取文件)到媒体(音频和视频)或其它行业特定格式(石油&天然气,医学成像等),对象存储可以保存任何类型的数据. 与传统存储相比,采用对象存储的好处良多.基于块的系统(例如光纤通道和iSCSI)无法很好地向外扩展,并且没有真正的了解所存储的数据.它们是以低延迟和高粒度提供内容的"哑

对象存储主导软件定义存储发展

过去的几年里,软件定义存储(SDS)属于供应商随意操控的术语之一.该术语由软件定义网络发展而来,用于定义网络世界中分离控制层和数据流量,提供需要进行交付更有效地网络管理并虚拟化网络功能的抽象层.软件定义网络(SDN)很容易界定,但软件定义存储则相对模糊. SDS合理界定的一部分难题就是数据存储有两个组成部分,一个是永久性--用于数据存储和调用,另一个是传输--数据如何从主机传输到外部存储.相比之下,软件定义网络只需要关注数据传输定义,因此就一台独立主机而言较少关注性能和吞吐量.更让人混乱的是,存

从SOA到云计算 盘点计算机技术发展历程

本文讲的是从SOA到云计算 盘点计算机技术发展历程,[IT168 资讯]曾经有过世界性的探讨,计算机将来是否可以超越人的智力,机器人是否可以反过来统治人类,当人把自己的感情能力也赋予给计算机,计算机也有了"生命",那么机器人也可以拥有人的权利吗?计算机作为人类的辅助工具,而且越来越深入到人类生活.工作的各个角落,那么计算机比人究竟擅长的是什么?计算机技术飞速发展,形态也花样百出,但计算机没有变的思想是什么? 我们都了解,计算机分为硬件与软件,硬件是实现运算的平台,所"会的&q