当冷存储遇到大数据:在私有云中运行低成本分析

冷存储是不经常访问但却是必需数据的术语。人们需要了解冷存储如何工作,以及如何帮助大数据。

已经有一些企业侧重于分层存储算法,其基于数据需要被访问的频率,将数据路由到最合适的存储介质,特别注意第一层,数据需要快速和频繁的最快速的访问存储恢复器。

但是在“数据副本”中,高达85%的企业数据驻留在很少被访问的存储介质中,同时也存在一个迫在眉睫的危机,即如何以最低成本优化管理和维护这些数据,以及适当的数据存储,检索,安全和访问策略。

这种不常访问但仍然必要的数据的名称是“冷存储”。确定数据是“热”(经常访问),“暖”(适度访问)还是“冷”(不常访问)通常是存储管理员的工作,评估各种类别的数据访问。在某些情况下,数据中心甚至开始使用自动化存储分层软件来做出这些数据存储决策。

大数据因素进入讨论,因为有这么多的。为了治理的目的(即使不定期使用数据也需要保留数据),业务连续性(大数据和“常规”数据需要多个数据存储库,并用于灾难恢复故障转移)因为需要知道一切是什么,网站必须寻找低成本,缓慢的冷存储解决方案,所以他们可以承受这些必须保存但很少被访问的数据管理的成本。

适用于私有云环境的冷却数据服务提供商Storiant公司创始人兼首席执行官杰夫·福罗尔斯表示:“当我们研究存储市场时,我们认识到需要大容量冷存储,并且看到组织所有大数据流正在积累,这是一个日益严重的问题。”

福罗尔斯表示,他们可以在防火墙后安全保留数据,每月每GB每月只需0.01美元。亚马逊公司等大型公共云服务提供商也提供冷存储服务,但区别在于Storiant公司将其提供给用于企业的私有企业云;这吸引了许多企业使用公共云服务来提供他们的数据。

冷存储如何工作,以及如何帮助大数据

“大数据来自大的数据块,大数据分析经常需要处理大数据量的大数据对象。”福罗尔斯说。“使用冷存储,可以将一个存储大量数据的数据湖通过Hadoop计算节点扫描。”

像Storiant公司提供这样的解决方案可以容纳大型数据对象,这些数据对象包含表征最大数据的非结构化数据,以及日益包含大数据的物联网(IoT)数据(如网站日志文件)。当企业IT使用冷存储解决方案,并决定哪些存储容器要将大数据的特定块(或对象)分类到哪个存储容器时,企业可以对所有这些数据进行分类。在同一时间,可以分配给建立在容器中访问数据的每个容器的权限。

福罗尔斯表示,互联网服务提供商正在迅速实施这种风格的基于云计算的冷存储来存储大数据,因为它是弹性的,其能力可以满足扩展或收缩的需要。基于云计算的冷存储还具有财务灵活性,因为它消除了长期摊销数据中心资本支出(CAPEX)的需要,有利于更灵活地转换为资本性支出(OPEX)的冷存储方法,企业可以在短期内控制。

他说,“我们相信物联网将继续得到指数性增长,企业将需要管理自世界各地数以百万计的设备和数据源供应大量的大数据量,金融机构,医药公司,以及政府需要大规模,低成本的大型数据冷存储,最终,企业必须找到一种方法来安全地运行,并进行低成本分析,而私有云设置中的冷存储服务提供了这些优点。”

本文转自d1net(转载)

时间: 2024-07-30 22:12:37

当冷存储遇到大数据:在私有云中运行低成本分析的相关文章

红帽开源云:Linux、虚拟化、存储与大数据

三月底,红帽发布了截止2012年2月29日的2012财年第四财季及全年财报.财报显示,红帽2012财年总营收为11.3亿美元.至此,红帽成为IT业首家年收入超过10亿美元的开源解决方案厂商.红帽是如何做到三年十亿?2012年过去了一半,红帽又有哪些新动向?未来又有何计划呢? 核心Linux业务与虚拟化 今年五月,红帽企业Linux面世十周年. 2002年5月,红帽推出首款企业Linux操作系统.十年间,Linux操作系统已经在企业级领域获得认可和普及. 红帽企业Linux还提供了内嵌的KVM虚拟

sqlite-使用android的SQLite数据库能存储多大数据

问题描述 使用android的SQLite数据库能存储多大数据 看到网上说SQLite数据库的大小是2TB,但是我觉得这个数据库不应该跟手机内存相联系吗?android上的SQLite数据库真的能容纳下2TB的数据吗??? 解决方案 很明显android上的SQLite数据库是放不下2TB的数据 解决方案二: 一个是sqlite数据库本身最大容量,但是sqlite数据库文件是放在手机上的,所以它也会受到手机存储空间大小限制的.对于android程序,你不能占有太多空间.可以把一些数据放服务器上.

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析   低成本的Blob存储是一个强大的,通用的Hadoop兼容Azure存储解决方案无缝集成HDInsight.通过Hadoop分布式文件系统(HDFS)接口,完整的组件集合在HDInsight可以 在Blob存储数据的直接操作.在本教程中,学习如何建立一个容器的Blob存储,然后在里面处理的数据. 在BLOB存储中存储的数据能够用于计算的HDInsight集群被安全地删除,而不会丢失用户数据. 注意: 该ASV://语法中不

存储,迈向大数据时代的最佳媒介

文章讲的是存储,迈向大数据时代的最佳媒介,虽然中国大数据市场还处在初级阶段,但增速非常迅猛,应用也极其广泛,不管是云计算.物联网.智慧城市还是移动互联都要与大数据扯上关系.都说未来是数据为王的时代,大数据应用将会越来越广泛的落地在各个领域,大数据绝对是企业未来实现业务突破的重点.那么,到底大数据和存储有什么样的关系呢? 三大点囊括大数据需求 大数据就是大量的数据,人们用它来描述和定义信息爆炸时代产生的海量数大数据时代来临.那么,大数据到底有多大?有资料显示,一天之中,互联网产生的全部内容可以刻满

希捷预测预测2015年存储、大数据和云趋势

"进行预测并不容易,尤其是对未来的预测",Nils Bohr和其他人一样,也是这么认为的:不过不管是谁先发出这样的感叹,这句话用在当今科技领域是再合适不过了.技术革新速度如此之快,因而预测短时间内的发展都可能存在失误的危险.不过,伴随着2015年的到来,几个非常明显的趋势正在形成,这些趋势值得整个业界的重视:迫在眉睫的数据存储空间短缺,更到位的网络隐私政策出台,更智能化的大数据应用架构以及向混合云模式的转变. 存储:正在缩减的资源 或许很难相信我们的磁盘空间短缺.不过,当今数据的构成不

2013年存储展望:大数据、云依然是主旋律

又到了年底,对于存储领域来说,这一年发生了太多的事,大数据迅速崛起成为IT热词,而与大数据相关的大数据衍生行业也得到了繁荣发展.2012年大数据从天而降,迅速占领科技报端,混合云存储初现端倪,NAS存储重现胜景,闪存技术和融合式基础架构也跻身主流,可以说2012年存储市场繁荣异常. 这里我们对2012年存储一年领域进行一下盘点,看一下存储行业那些方面在这一年得到了较大的发展,为2013年或以后存储行业更加令人惊奇的发展做好准备. 1.大数据火爆将继续 更多解决方案将出现 随着科技的进步以及人们生

科幻片诠释视频存储与大数据的未来

科技媒体近期掀起一股大数据与视频监控的讨论的旋风.本文以从业者角度务实分享一些看得见.摸得着.预言靠谱的实践经验.得益于平安城市视频监控大联网的实践,中国企业在解决方案和实践已经走在了世界最前列,今天的技术储备已经能够探讨这些科幻场景的务实落地. 最近一段日子最牵动人心的新闻要数厦门公交车爆炸案了,紧接着厦门市安全生产委员会颁布<福建省关于进一步加强加油站安全监管的紧急通知>,通知要求厦门购买罐装汽油必须实名制.当然,公交爆炸案并不是我想说的重点,重点是如果加油站的视频监控系统早一点上升到一个

实时大数据存储-实时大数据写入数据库

问题描述 实时大数据写入数据库 项目:IOCP的多线程(工作线程)解析大量客户端发送过来的数据:这个数据量是非常大的,上千个客户端,每50MS发送一个数据包过来,要把他们写入数据库.以下是我做的两种设计,均不能成功. 1.简单地通过程序一条一条地执行SQL语句写入数据库,失败,效率极低,淘汰. 2.我目前的处理是把这个SQL语句做一个拼接(...+SQL语句+;+SQL 语句+:+...),然后一并执行,写入数据库,但是这么设计的话,内存会一直涨,因为写入数据库的速率小于IOCP解析出来的数据所

开源大数据引擎:Greenplum 数据库架构分析

Greenplum 数据库是最先进的分布式开源数据库技术,主要用来处理大规模的数据分析任务,包括数据仓库.商务智能(OLAP)和数据挖掘等.自2015年10月正式开源以来,受到国内外业内人士的广泛关注.本文就社区关心的Greenplum数据库技术架构进行介绍. 一. Greenplum数据库简介 大数据是个炙手可热的词,各行各业都在谈.一谈到大数据,好多人认为就是hadoop.实际上Hadoop只是大数据若干处理方案中的一个.现在的SQL.NoSQL.NewSQL.Hadoop等等,都能在不同层