十大大数据存储工具

摘要:市面上有大量的大数据存储产品。

市面上有大量的大数据存储产品。哪些产品是最好的?很显然,没有一个简单的答案。选择大数据存储工具牵涉许多变化因素,包括现有环境、目前的存储平台、数据增长预期、文件的大小及类型、数据库和应用程序程序组合等。

虽然本文根本不是什么完整的清单,但还是列出了值得你考虑的几种顶尖的大数据存储工具。

  大数据存储领域的主要竞争者

日立

日立提供了几款大数据存储产品。与Pentaho软件公司合作开发的大数据分析工具、日立超级横向扩展平台(HSP)、HSP技术架构以及日立视频管理平台(VMP)。后一个例子专门针对大视频这个方兴未艾的大数据子集,面向视频监控及其他视频密集型存储应用领域。

DDN

类似地,DataDirect Networks(DDN)也有一批面向大数据存储的解决方案。

比如说,其高性能SFA7700X文件存储可以自动分层到WOS对象存储归档系统,支持快速收集、同时分析和经济高效地保留大数据。

DDN的营销战略和运营高级主管迈克尔·金(Michael King)说:“斯克里普斯研究所使用该产品用于冷冻电子显微镜(Cryo-EM),每周收集30 多TB的数据,寻找艾滋病毒、埃博拉、寨卡及主要神经疾病的治疗方法。而在过去,查看蛋白质结构和产生的抗体至少需要一年的时间。Cyro-EM在几周内就完成了发现过程。”

Spectra BlackPearl

Spectra Logic的BlackPearl深度存储网关为基于SAS的磁盘、SMR降速磁盘或磁带提供了对象存储接口,所有这些技术都可以放在存储环境中BlackPearl的后面。

Kaminario K2

Kamiario提供了另一种大数据存储平台。虽然它并不提供经典的大数据设备,但其全闪存阵列正在许多大数据应用领域找到一席之地。

Kaminario的首席技术官沙恰·菲恩布利特(Shachar Fienblit)说:“由于开发人员把实时分析融入到应用中,存储基础设施策略必须能够管理大数据分析工作负载以及传统的事务处理工作负载。Kaminario K2全闪存阵列就是为了支持这种动态工作负载环境而开发的。”

Caringo

Caringo成立于2005年,旨在发掘数据的价值,并解决大规模保护、管理、组织和搜索数据方面的问题。有了旗舰产品Swarm,用户无需将数据迁移到不同的解决方案,即可实现长期保存、交付和分析,因而降低总体拥有成本。它已经被全球400多家组织所使用,比如美国国防部、巴西联邦法院系统、奥斯汀市、西班牙电信、英国电信、Ask.com和约翰斯霍普金斯大学。

Caringo的产品副总裁托尼·巴巴加洛(Tony Barbagallo)说:“为了简化获取数据、馈送给Swarm,我们有FileFly(用于Windows文件服务器及NetApp服务器)和SwarmNFS(提供功能齐全的NFSv4基础设施)。”

Infogix

Infogix企业数据分析平台基于五项核心功能:数据质量、事务监控、均衡及协调、身份匹配、行为分析以及预测模型。这些功能据说可帮助公司提高运营效率、带来新的收入、确保合规,并获得竞争优势。该平台可以实时检测出现的数据错误,并自动实行全面分析,以优化大数据项目的表现。

Avere混合云

Avere提供了另一种大数据存储方案。其Avere混合云部署在混合云基础设施中的各种用例。物理FXT集群用于NAS优化这种用例,充分利用基于磁盘的现有NAS系统前面的全闪存高性能层。FXT集群使用缓存,以便自动加快活跃数据,使用集群扩展性能(添加更多的处理器和内存)及容量(添加更多的固态硬盘),并将有时部署在广域网上的核心存储的延迟隐藏起来。用户发觉它是加速渲染、基因组分析、金融模拟、软件工具和二进制代码库等性能的好方法。

在面向私有对象的文件存储这种用例下,用户希望从NAS迁移到私有对象存储。他们往往喜欢私有对象的效率、简单性和弹性,但不喜欢其性能或基于对象的API接口。在这种用例下,FXT集群提升了私有对象存储的性能,其实现方式与NAS优化这种用例一样。

Avere Systems的产品管理和市场营销高级主管杰夫·泰伯(Jeff Tabor)说:“此外,FXT集群提供了熟悉的NAS协议,可转换成存储端的对象API,那样用户不用改写应用程序,或不用改变数据访问方法,就可以使用对象存储。”

最后,云存储网络这种用例类似面向私有对象的文件存储这种用例,增添的一个好处是,企业可以开始构建更少的数据中心,将数据迁移到云端。延迟是这种用例要克服的挑战之一,这正是物理FXT集群所要解决的。访问时,数据在FXT集群上本地缓存,那样之后进行的所有访问都具有低延迟的优点。FXT集群可能拥有多达480TB的总缓存容量,因而大量数据可以在本地存储起来,避免云的延迟。

DriveScale

大数据通常存储在本地磁盘上,这意味着为了在大数据集群的规模不断扩大时,能实现效率和扩展性,就需要保持计算和存储之间的逻辑关系。于是出现了一个问题是:如何将磁盘从服务器分离开来,又继续在处理器/内存组合和驱动器之间提供同样的逻辑关系?如何实现共享存储池的成本、规模和可管理性等方面的效率,同时仍提供局部性的好处?据说DriveScale通过利用Hadoop数据存储,就可以做到这点。

然而,希望为大数据应用安装和管理资源的存储专业人员主要受制于Hadoop架构,这种架构本身是针对服务器上的本地驱动器来优化的。随着数据量不断增加,唯一的办法就是购买数量越来越多的服务器,不仅要满足计算需求,还要提供更大的存储容量。DriveScale让用户得以在独立于计算容量的情况下单独购置存储容量,从而在每个层面做到容量正好。

DriveScale的产品管理副总裁S.K. Vinod说:“没有理由无法将大家在数据中心习惯获得的专有纵向扩展基础设施环境具有的优点引入到商用横向扩展环境。我们为IT管理员提供了构建和运行弹性大数据基础设施的工具,在这种基础设施环境下,服务器和磁盘子系统可以根据需要,实时分解和重组。单个驱动器从JBOD连接磁盘组成的共享池配置给服务器,因而消除了成本不相称。”

Hedvig

Hedvig分布式存储平台提供了一种统一解决方案,让你可以定制结合低成本商用硬件和高性能存储,以支持任何应用程序、虚拟机管理程序、容器或云。据说它可以针对数据块、文件和对象存储,为任何规模的任何计算提供存储,具有可编程性,而且支持任何操作系统、虚拟机管理程序或容器。此外,混合多站点复制使用独特的灾难恢复策略来保护每个应用程序,并通过跨多个数据中心或云的存储集群提供高可用性。最后,高级数据服务让用户可以借助可按照卷来选择的一系列企业服务,定制存储。

Hedvig公司首席执行官兼创始人阿维纳什·拉克希曼(Avinash Lakshman)说:“对于Hadoop来说,如果你想要一些功能由HDFS来处理,其他功能由存储平台来处理,这至关重要。”

Nimble

Nimble存储预测闪存平台据说可显著提高分析应用和大数据工作负载的性能。它通过结合闪存性能和预测分析,防止IT复杂性导致的数据速度面临的障碍来做到这一点。

本文转自d1net(转载)

时间: 2024-09-27 01:30:23

十大大数据存储工具的相关文章

涂鸦科技:支撑从零暴增数十亿数据的背后,竟无专职运维!

直播视频 (点击图片查看视频) 幻灯下载地址: https://oss.aliyuncs.com/yqfiles/76d3bb80d4a9da17ababada8f56ecd8b.pdf 3月23日在线实时分享顺利结束,本次由涂鸦科技技术总监柯都敏分享了涂鸦科技云上架构设计和借助阿里云实现轻运维高可用性监控的实战经验,同时也介绍了网络安全.权限控制等特定场景下如何利用阿里云产品解决特定的问题题.本次视频直播的整理文章.视频.幻灯片整理完毕,如下内容. 架构演变历程 初创公司的团队刚起步时一般规模

十大数据可视化站点 改变审视世界角度

文章讲的是十大数据可视化站点 改变审视世界角度,本文所介绍的这些网站将会改变大家观察世界的方式,以实时的.可视化的方式对结论加以审视,也许能为我们带来完全不同的观察视角. 一.全球黑客活动 从黑客活动开始踏上可视化数据工具体验之旅.这份迷人的地图由安全供应商Norse打造,其本质是一套反映全球范围内黑客攻击频率的快照.它利用Norse的"蜜罐"攻击陷阱显示出所有实时渗透攻击活动.(稍等一会儿,DDoS攻击就会点亮你的屏幕!)闪光的霓虹线段与炫丽的彩虹配色营造出了互联网时代下的科技战争氛

因职业角色而异的十大数据科学技能

数据科学的实践需要三个一般领域的技能:商业洞察.计算机技术/编程和统计学/数学.与询问对象有关,具体的重要技能集合总是在变化.Dave Holts描述了得到数据科学家工作所需要的技能,Ferris Jumah通过检查带有"数据科学家"称号的LinkedIn个人资料识别10项技能,BurtchWorks提供了他们的在数据科学领域中获得成功至关 重要的技能列表,RJMetrics也使用LinkedIn数据找出了20个重要的数据科学技能.这些列表.重要技能反映了数据专业人员在他们社交媒体资

全球十大数据中心:美丽图片展示其魅力

数据中心如今紧密与http://www.aliyun.com/zixun/aggregation/6288.html">行业发展联系起来.回顾2012年,在数据中心技术方面隐藏着不一样的"美丽".早在Prentice Hall出版社一篇名为<The Art of the Data Center>上收集了世界最独特的IT设施的照片.随着谷歌数据中心露出神秘的面纱,国外媒体通过图片展示给读者2012年全球十大著名的数据中心的别样魅力. 谷歌数据中心 对于谷歌数据

[算法系列之十]大数据量处理利器:布隆过滤器

[引言] 在日常生活中,包括在设计计算机软件时,我们经常要判断一个元素是否在一个集合中.比如在字处理软件中,需要检查一个英语单词是否拼写正确(也就是要判断 它是否在已知的字典中):在 FBI,一个嫌疑人的名字是否已经在嫌疑名单上:在网络爬虫里,一个网址是否被访问过等等.最直接的方法就是将集合中全部的元素存在计算机中,遇到一个新 元素时,将它和集合中的元素直接比较即可.一般来讲,计算机中的集合是用哈希表(hash table)来存储的.它的好处是快速准确,缺点是费存储空间.当集合比较小时,这个问题

MySQL如何发型不乱的应对半年数十TB数据增量

文章出自:听云博客        前段时间,Oracle官方发布了MySQL 5.7的GA版本.新版本中实现了真正意义的并行复制(基于Group Commit的Group Replication),而不再是基于schema的并行复制.这一特性极大的改善了特定场景下的主从复制延迟过高的状况.随着MySQL成熟度的提升,越来越多的用户选择使用MySQL存放自家的数据,其中不乏使用MySQL来存放大量数据的.        在过去的半年多时间里,听云业务量呈爆发式增长,后端的数据量由去年第一季度的几T

【盘点】中国十大大数据管理局

转 2015年9月,经李克强总理签批,国务院印发了<促进大数据发展行动纲要>,系统部署了我国大数据发展工作.随后,我国以广州省.辽宁省为首的多个省.市都纷纷投入到创立大数据管理局的行列中,短短两年时间,我国已经拥有了十余个市级以上的大数据管理机构. 导读 从数百年前的飞鸽传书.烽火狼烟到现如今的QQ.微信,人类的通信史随着时间的推移正在发生着质的飞跃,即使将时间后退至十年前,你也无法想象有一天我们可以抛弃口袋中的钱包,仅凭一部手机就能轻松完成购物.支付.如你所见,我们当前生活的社会是一个高速发

不同角度看世界:十大数据可视化站点

一.全球黑客活动 从黑客活动开始踏上可视化数据工具体验之旅.这份迷人的地图由安全供应商Norse打造,其本质是一套反映全球范围内黑客攻击频率的快照.它利用Norse的"蜜罐"攻击陷阱显示出所有实时渗透攻击活动.(稍等一会儿,DDoS攻击就会点亮你的屏幕!)闪光的霓虹线段与炫丽的彩虹配色营造出了互联网时代下的科技战争氛围. 不过大家别被眼前的美景所迷惑,每一条线代表的都是一次攻击活动,借此可以了解每一天.每一分钟甚至每一秒世界上发生了多少次恶意渗透.全球实际攻击活动总量要远远高于这份地图

建筑艺术与数据科技完美融合 全球最美的十大数据中心

数据中心应该看起来很美观.但美丽是一直视觉上的感官,这些数据中心在建筑设计上让人们眼花缭乱.那么人们喜欢的是数据中心的强大功能,美观的装饰点缀,还是巧妙的再利用呢? 数据中心应该看起来很美观.但美丽是一直视觉上的感官,这些数据中心在建筑设计上让人们眼花缭乱.那么人们喜欢的是数据中心的强大功能,美观的装饰点缀,还是巧妙的再利用呢? 以下行业媒体所推荐的全球十大最美的数据中心,以下数据中心排名不分先后: (1)巅峰体验:Switch公司在密歇根州的金字塔形数据中心 Switch公司所有数据中心都具有