不仅仅是存储 大数据分析也可转移至云中

  你能否想象你将数据存储在云中,并在不需要移动数据的情况下,对数据运行复杂的查询和分析?这是高性能云计算基础设施和大数据分析公司Joyent试图通过其新的Joyent Manta存储服务解决的问题。

  Manta是下一代云计算对象存储和数据服务平台,旨在将计算和分析功能直接引入到云中客户的数据。

  “个人电脑的杀手级应用是电子表格,”Joyent公司工程副总裁Bryan Cantrill(他花了三年时间来专心制造Manta)表示,“电子表示是杀手级应用的原因是因为它融合了数据和计算,它让业务人员在其桌面运行数据,而他们不需要分时程序来做到这一点。”

  云计算存储将两个支柱技术融合在一起,即数据和网络,而现在,Manta更进了一步。

  Manta是云计算电子表格吗?

  “我认为Manta是云计算中的电子表格,”Cantril表示,“它开辟了对非结构化数据的分析的新局面。我们正在做的事情是将计算与数据和网络相融合,我们将这三者融合到单个设施。这三者统一到单个产品,将会形成计算、网络和数据的‘圣三位一体’。”

  Cantrill表示,通过消除管理基础设施和移动数据的需要,Manta让企业能够更快更容易地处理大数据,同时保持这些数据的安全,并在价格上与亚马逊公共云看齐。

  “如果你的产品在价格上不具有竞争力的话,你真的没办法将这个产品推向市场,”他表示,“我们认为除了价格,云计算还有更多可竞争的地方,但在开始时,你不能高估了产品的价格。你会为存储支付S3的价格,并且,你会为用于加速你的数据的任何计算来支付EC2或者Joyent基础设施即服务的价格,你可能会启动一秒、两秒或者三秒,如果是这样的话,你只需支付一秒、两秒和三秒的计算。”

  例如,你可能想要对你的备份进行定期验证检查。你通常不会这样做,因为这将意味着将你所有的备份拖回到计算。但是,通过Manta,这种验证测试将变得非常简单,你只需要在备份上启动计算(它们只会存在几微妙)。

  Manta让你能够执行很多计算任务,包括日志分析、搜索索引生成、财务分析和其他数据密集型任务,而不需要移动数据或者设置计算集群和处理软件。Cantrill解释说,代码被并行引入到安全容器内的物理服务器,同时,数据则通过行业标准的MapReduce模式进行自动合并。

  无需从存储复制数据到计算集群

  网上购物社区Wanelo首席技术官Konstantin Gredeskoul表示,从存储复制数据到计算集群可能需要花几个小时。

  Gredeskoul表示:“Joyent Manta存储服务让企业不需要移动数据,就能进行近瞬时的专门查询和分析,无缝且具有成本效益。我们现在能够在几分钟之内对数百GB的数据进行复杂的队列分析和生成保留报告。当你将这与数据仓库等传统方法相比时,这非常具有改革性。”

  “世界上50%的智能手机流量要通过爱立信,我们正在不断评估新的技术来提高网络管理日益增长的数据的能力,同时确保安全性、保密性和成本效益,”爱立信公司战略和市场营销负责人兼首席执行官Vish Nandlall表示,“Joyent公司新的计算存储创新是一个根本的模式转变,改变了对象存储和高性能大数据分析的经济性和实用性。”

  Joyent Manta存储服务提供以下功能:

  具有细粒度复制控制的多数据中心对象存储  没有对象
大小限制  非常一致的写入和高度可用的读取  每个对象复制策略  文件系统风格的命名空间,包括目录查询  Manta的功能源自操作系统级别的虚拟化

  Cantrill指出,Joyent实现这些功能主要通过专注于OS级别的虚拟化,而不是专注于硬件虚拟化。操作系统虚拟化让Joyent能够在存储对象的面向互联网的对象存储中,对其启动计算。

  “如果你需要支持传统的操作系统,虚拟硬件非常强大,”他表示,“但是如果你想要为客户提供最高水平的性能体验,你不能虚拟化硬件,你应该要虚拟化整个操作系统。应用程序直接在硬件上运行,并且是以安全和密封的方式。”

  “你能够有效地将你的分析工具引入到云计算中,”他补充说,“你可以在你的数据上运行任何你想要的程序:Java、Python、Perl或者只是Unix Shell。如果你有你自己的分析工具或者其他工具,或者如果你有任何分析软件,你都可以将它们推入到云中,对目标数据进行分析。”

  Joyent目前已经与数据存储管理公司Panzura建立了合作伙伴关系,来帮助客户安全地将其数据从现有的NAS、备份和归档存储迁移到Manta。

时间: 2024-10-25 22:34:40

不仅仅是存储 大数据分析也可转移至云中的相关文章

如何理解大数据分析

如今,云计算的热潮似乎还没散去,行业厂商就已经开始关注下一个热点:大数据.而与以往的炒作周期一样,现在的大数据对于用户来说其来源比较混乱,因为供应商提出了自己独特的,并且经常相互矛盾的定义和术语. 大数据定义之所以混乱的最常见的原因,是人们将大数据存储与大数据分析的结果混为一谈."大数据"一词起源于开源社区,其开发和分析过程比传统的数据仓库速度更快,扩展性更强,并且可以通过网络在用户每天产生的大量非结构化数据中提取价值. 大数据的存储是相关的,其旨在解决大量的非结构化数据,助长企业级的

大数据系列之大数据分析如何权衡存储

文章讲的是大数据系列之大数据分析如何权衡存储, 系列1:未来24个月市场趋势和IT投入重点 系列2:大数据分析对IT资源的需求 在之前的系列1和2中,我们已就大数据分析的发展趋势以及对IT资源的需求进行了解析.接下来,针对大数据分析的重要一环-存储,中桥将结合市场热门的存储技术如闪存.固态盘等,来从存储性能.数据保护等角度进行分析. 通过前文的相关数据分析,我们已经了解到,随着大数据时代应用数量.应用数据量和使用者数量的增长,系统对存储IOPS以及OLTP和OLAP的要求越来越高.传统存储也越来

《Spark大数据分析:核心概念、技术及实践》一 1.3 列存储

  本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1.3节,作者[美] 穆罕默德·古勒(Mohammed Guller),更多章节内容可以访问"华章计算机"公众号查看. 1.3 列存储 数据可以面向行或面向列的格式来存储.在面向行格式中,一行的所有列或字段存储在一起.这里的一行,可以是CSV文件中的一行,或者是数据库表中的一条记录.当数据以面向行格式保存时,第一行后面是第二行,接着是第三行,以此类推.面向行存储对于主要执行数据的CRU

云计算已在大数据分析中发挥重要作用

大数据并不是实时vs.批处理的问题.正如Ovum的分析师Tony Baer和其他一些分析师所指出的那样,这不是一个非此即彼的问题.鉴于现如今的企业用户在制定一套成功的大数据战略方面有着广泛的选择和大量的工作负载,上述分析师的论断也并不奇怪或有什么值得争议的. 更具争议性的话题是,虽然也许并不令人感到惊讶,是从被需要用以获得大多数大数据的基础设施中获得其性质.例如,AWS(亚马逊Web服务)的数据科学主管马特·伍德警告说,虽然"分析是会令人上瘾的,但如果你企业的基础设施跟不上的话,这种积极的上瘾会

实时大数据分析是网络分析的一种新方法

RTBDA概述 当被分解到其最简单的形式时,大数据分析包括两部分,以便将自身与数据仓库和商业智能进行区分: 实时行动 分布式,并行处理 大数据分析能够解决处理大量无关且不能存放在一个单一的服务器或数据库的数据集所带来的普遍的挑战问题.而这个问题可以通过使用分布式并行处理分布在多个服务器的大型数据集得以解决,每台服务器处理并行数据的一部分.大数据分析可以与结构化和非结构化数据工作,因为它并不需要一个特定的结构.这种做法的一个例子将使用Hadoop的MapReduce,其也可以看作是大数据对今天的深

大数据分析技术的新平台

在Gartner的发展规律周期(hype cycle)中,大数据还在节节高升,一个全新的大数据服务供应商类别又诞生了.这一消息对MetaScale是最不陌生的了.该公司在今年四月进入大众视野,是Sears Holdings的全控股子公司. MetaScale位于美国伊利诺斯州的霍夫曼斯特市,是一家在基于云计算的模型中运营的管理大数据服务供应商.也就是说,MetaScale可以向那些准备采用大数据分析技术但又没有相关架构或者能力的客户,提供不同程度的足够的所需支持. 在本文中,记者编辑就大数据的挑

《Spark大数据分析:核心概念、技术及实践》大数据技术一览

本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1节,作者穆罕默德·古勒(Mohammed Guller)更多章节内容可以访问"华章计算机"公众号查看. 大数据技术一览 我们正处在大数据时代.数据不仅是任何组织的命脉,而且在指数级增长.今天所产生的数据比过去几年所产生的数据大好几个数量级.挑战在于如何从数据中获取商业价值.这就是大数据相关技术想要解决的问题.因此,大数据已成为过去几年最热门的技术趋势之一.一些非常活跃的开源项目都与大数据

《Spark与Hadoop大数据分析》——1.1 大数据分析以及 Hadoop 和 Spark 在其中承担的角色

1.1 大数据分析以及 Hadoop 和 Spark 在其中承担的角色 传统的数据分析使用关系型数据库管理系统(Relational Database Management System,RDBMS)的数据库来创建数据仓库和数据集市,以便使用商业智能工具进行分析.RDBMS 数据库采用的是写时模式(Schema-on-Write)的方法,而这种方法有许多缺点. 传统数据仓库的设计思想是用于提取.转换和加载(Extract, Transform, and Load,ETL)数据,据此回答与用户需求

大数据分析和决策是新一代智慧城市的大脑

自智慧地球概念于2008年11月提出以来,整个地球都沉浸在如何变得更加智慧这个庞大的课题里,各种想法层出不穷,但我们看到的却是地球神经系统的不断发达而智能缺乏.本文借神经系统和大脑智慧这个话题,就如何建立智慧城市的智能系统做一些探讨.我们认为,大数据(Big Data)分析和决策是新一代智慧城市的大脑,是提升智慧城市"智商"的关键. 首先我们看看人类是如何传递信息的. 2000多年前,人类已经开始使用烽火台.间隔几里的众多烽火台,集信息收集.传递为一身,能够及时把外敌入侵的信息,较快地