何时将大数据存储在云计算中

鉴于云计算对我们大部分人来说还只是一个概念性的梦想,当有人谈及他们的大数据的策略是“把所有的数据都存储在云服务中”时,您尚不能明确的分辨他们的策略是一种有远见的方案,抑或只是简单的重复了他们在行业会议上所听到的某些专家的谈话。

大数据和云计算范例之间的重叠实际是如此地广泛,您可以声称您的企业正在利用现有的内部部署的Hadoop、NoSQL、或企业级数据仓库环境,进行基于云计算的大数据部署。但请务必记住,云计算这一概念在当前更为广泛的是被理解为“私人云”的部署,然后才是以公共云计算、SaaS和多租户托管环境为补充。

但是,如果您将您的关于“云计算”的实际定义限制在公众认购服务的范围,您便找到了问题的核心了:您必须确定哪些大数据应用程序更适合于公共云/ SaaS部署,而哪些则更适合于内部部署(如涉及到提前优化的硬件设备或虚拟的服务器集群)。

换句话说:您什么时候可以收集到可扩展性、弹性、高性能、符合成本效益、高可靠性和可管理性的大数据,让外部服务供应商对其进行管理?如下是几个明显的大数据在公共云进行管理的例子。

企业应用程序已经托管在云服务中:如果,许多企业(尤其是中小型企业)已经在使用外部服务提供商的基于云的应用程序,您的大部分的事务的数据源已经在一个公共云。或者如果您的企业与这一云平台有着很深的历史数据渊源,其可能已经进行了大数据量的积累。在某种程度上,该服务供应商或其合作伙伴提供增值分析服务——如流失分析、营销优化、或异地备份和客户资料归档——这样,将大数据托管在该云服务中,而不是存储在企业内部的主机,可能更有意义。

高容量的外部数据源,需要相当大的预处理:例如,如果您正在根据社交媒体数据进行客户情绪监测,您可能不需要利用企业内部的服务器、存储设备、带宽容量资源。这是一个很明显的应用程序的例子,您只需要利用公共云基于大数据服务提供的社交媒体过滤服务。

应用程序需求超出您企业内部设备的大数据处理能力:如果您的企业内部已经有本地的大数据平台,专门致力于处理某一款应用程序(如专用的Hadoop集群处理高容量非结构化数据源ETL)。那么,当有一款新的应用程序,而企业当前的大数据平台又不适合,无法满足新应用程序的需求时,采用公共云就显得是恰到好处的解决方案了。(例如,多渠道营销、社交媒体分析、地理空间分析功能、可查询归档、弹性数据、科学沙箱),而且,按需服务更符合成本效益。事实上,如果您需要尽快处理PB级规模、流媒体、多结构的大数据,公共云解决方案可能是唯一可行的选择。

弹性供应非常大规模而项目短暂的沙箱解析:如果您有一个周期非常短的数据科学项目,需要一个探索性数据集(又名沙箱)而且其数量级要大于一般的规模,那么公共云可能是您唯一可行的或经济的选择。您可以利用基于云的存储和处理能力,很快地投入该项目。然后又能够在该项目结束时,重新规定存储和处理能力。我把这称为“泡沫集”的部署模型,它是专门为云量身定制的。

如果您已经做了上述任何一点,那么基于云的大数据的战略问题不是出现在您的项目刚刚开始的时候。随着基于云的大数据服务的日趋成熟、性价比、可扩展性、灵活性和可管理性的提高,这个问题将出现在您的项目终止的时候。到本十年末,随着越来越多的应用程序和数据转移到公共云,建立和运行自己的大数据部署的想法将变得如同今天的设计您自己的服务器一样不切实际。

(责任编辑:fumingli)

时间: 2024-10-02 05:36:07

何时将大数据存储在云计算中的相关文章

基于HBase的大数据存储的应用场景分析

引言 HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,适用于结构化的存储,底层依赖于Hadoop的HDFS,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群.因此HBase被广泛使用在大数据存储的解决方案中. 为何使用HBase HBase的优点: 列可以动态增加,并且列为空就不存储数据,节省存储空间. Hbase自动切分数据,使得数据存储自动具有水平scalability. Hbase可以提供高并发读写操作的支持. HBase的缺点: 不能支持条件查询,

《大数据存储:MongoDB实战指南》一1.3 大数据与云计算

1.3 大数据与云计算 大数据存储:MongoDB实战指南从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分.大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构.它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理,也就说大数据就像做饭用的一堆原材料,云计算就像做饭用的工具.云计算解决了大数据的运算工具问题,而对大数据的存储我们需要相应的云存储工具.云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用或分布式文件系统等功能,将网络中大量的存储设备通

Hadoop环境中管理大数据存储八大技巧

在现如今,随着IT互联网信息技术的飞速发展和进步.目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,大讲台了解这一情况后专门在网上开通了这一门大数据培训课程,下面来介绍一下关于Hadoop环境中管理大数据存储技巧吧. 1.分布式存储 传统化集中式存储存在已有一段时间.但大数据并非真的适合集中式存储架构.Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能. 虽然,通常解决Hadoop管理自身数据低效性的方案是将Hadoop数据存储在SAN上.但这也

《大数据存储:MongoDB实战指南》一1.2 什么是云计算

1.2 什么是云计算 大数据存储:MongoDB实战指南云计算的定义有多种说法,对于到底什么是云计算,我们至少可以找到100种解释.目前广为接受的是美国国家标准与技术研究院定义:云计算是一种按使用量付费的模式,这种模式提供可用的.便捷的.按需的网络访问,进入可配置的计算资源共享池(资源包括网络.服务器.存储.应用软件.服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互,本质上就是虚拟化技术的延伸,以服务的形式提供客户.按照服务的形式,目前主要有如下3种形式的云计

《大数据存储:MongoDB实战指南》一第1章 大数据与云计算

第1章 大数据与云计算 大数据存储:MongoDB实战指南本文仅用于学习和交流目的,不代表异步社区观点.非商业转载请注明作译者.出处,并保留本文的原始链接.

详解那些容易出现在大数据存储中的问题

"大数据" 通常指的是那些数量巨大.难于收集.处理.分析的数据集,亦指那些在传统基础设施中长期保存的数据.业内对大数据应用寄予了无限的期望,商业信息积累的越多价值也越大,但我们需要一个方法把这些价值挖掘出来.其中的"大"有几层含义,它可以形容组织的大小,更重要的是,它界定了企业中IT基础设施的规模. 多数人们对大数据的印象主要来自于存储容量的廉价性,而实际上,企业每天都在创造大量的数据,而且越来越多,而人们正在努力的从浩如烟海的数据中寻觅有价值的商业情报.另一方面,

法国大数据:智慧城市中的大数据

1.推进力量 2013年2月,法国政府发布<数字化路线图>,列出5项将会大力支持的战略性高新技术,其中一项就是大数据.法国政府将以新兴企业.软件制造商.工程师.信息系统设计师等为目标,开展一系列的投资计划,旨在通过发展创新性解决方案,并将其用于实践,来促进法国在大数据领域的发展. 2013年4月,法国经济.财政和工业部宣布,将投入1150万欧元用于支持7个未来投资项目,法国生产振兴部长Arnaud Montebourg.数字经济部副部长Fleur Pellerin和投资委员Louis Gall

大数据存储:哪些问题最容易出现

大数据在IT行业是与云计算并驾齐驱的另一大热门话题."大数据" 指的是那些数量巨大.难于收集.处理.分析的数据集,这就容易出现存储问题,本文介绍的容易出现的几大问题. "大数据"通常指的是那些数量巨大.难于收集.处理.分析的数据集,亦指那些在传统基础设施中长期保存的数据.这里的"大"有几层含义,它可以形容组织的大小,而更重要的是,它界定了企业中IT基础设施的规模.业内对大数据应用寄予了无限的期望商业信息积累的越多价值也越大只不过我们需要一个方法把

大数据存储问题处理成2014主要任务

大数据在IT行业是与云计算并驾齐驱的另一大热门话题."大数据"指的是那些数量巨大.难于收集.处理.分析的数据集,这就容易出现存储问题,本文介绍的容易出现的几大问题. "大数据"通常指的是那些数量巨大.难于收集.处理.分析的数据集,亦指那些在传统基础设施中长期保存的数据.这里的"大"有几层含义,它可以形容组织的大小,而更重要的是,它界定了企业中IT基础设施的规模.业内对大数据应用寄予了无限的期望商业信息积累的越多价值也越大只不过我们需要一个方法把这