雅虎计划推互联网专用的非结构化云计算存储系统

雅虎计划推出云计算存储系统——MObStor,该公司将其称之为“为互联网打造的非结构化存储系统”。

雅虎高级产品经理纳威尼特·约翰贾(Navneet Joneja)就MObStor与现有的云计算存储系统进行了比较。他表示,Facebook推出的Haystack系统主要是对图片存储进行优化,而MObStor是针对用户的各种存储需求进行优化。

据悉,MObStor基于REST(表述性状态转移)构架设计,是可通过浏览器访问的应用程序接口,具有安全模式简洁、存储内容不可知的功能。该项服务的突出性能是能进行快速、可靠和安全存储,并且在向用户提供核心服务的基础上实现多层次服务。据悉,MObStor针对性能和适用性进行了优化。

Facebook的Haystack是基于大宗存储设计。MObStor也同样支持大宗存储,但它并不完全需要这一设计。相反,MObStor拥有我们称之为ObjectStore的存储层抽象。ObjectStore囊括了我们需要进行的核心存储操作,这让我们拥有了众多基础的物理性对象存储。例如,这样可使我们实现大宗存储与编档存储的结合。存储顶层拥有路由智能,确定ObjectStore作为规定数据段进行存储。Haystack确定每个对象是通过一个64位的图片匙,而MObStor上的所有对象都是通过逻辑URL,而非对象ID进行获取。

在MObStor上,存储层对逻辑URL和物理存储进行映射,所有执行都可以在存储层完成。无需多言,这一操作会有潜在的性能瓶颈,因此我们已认真对采用的运算法则和硬件进行了优化。

时间: 2024-10-12 11:31:22

雅虎计划推互联网专用的非结构化云计算存储系统的相关文章

企业如何保护非结构化大数据

目前企业已经进入全新的大数据时代.在高带宽.移动的.网络环境中工作和生活的我们,会产生 大量的数据,这些都成为大数据的来源,而这些信息很少存在于同一个地方.在几微秒中,信息就能够发布给世界 各地的很 多人.企业的高管门(包括CEO.CIO.CSO等)都必须面对因为大数据带来的风险和安全挑战,并规划好如何去应对他们.本文将讨论如何 看待非结构化数据相对于传统的结构化数据带来的安全风险和挑战以及多层面防护方法.识别非结构化数据与结构化数据安全保护的差异信息通常被归类为结构化形式的或非结构化形式的.不

从原始数据到数据科学:使非结构化数据结构化,以推动产品开发

数据科学正在快速发展成所有行业开发人员和管理人员的关键技能,它看起 来也十分有趣.但是,它非常复杂,虽有许多工程和分析工具助力,却也难清楚掌握现在做得对不对,哪里是不是有陷阱.在本系列中,我们解释了如何发挥数据科学的作用,理解哪里需要它,哪里不需要它,以及如何令它为你产生价值,如何从先行者那里获得有用的经验. 这是"Getting A Handle On Data Science(理解数据科学)"系列文章中的一部分. 本文要点 从非结构化的机器日志到提供当前特定信息的高度结构化的数据分

MaxCompute与OSS非结构化数据读写互通(及图像处理实例)

0. 前言 MaxCompute作为阿里巴巴集团内部绝大多数大数据处理需求的核心计算组件,拥有强大的计算能力,随着集团内外大数据业务的不断扩展,新的数据使用场景也在不断产生.在这样的背景下,MaxCompute(ODPS)计算框架持续演化,而原来主要面对内部特殊格式数据的强大计算能力,也正在一步步的通过新增的非结构化数据处理框架,开放给不同的外部数据. 我们相信阿里巴巴集团的这种需求,也代表着业界大数据领域的最前沿实践和走向,具有相当的普适性.在之前我们已经对MaxCompute 2.0新增的非

揭秘隐藏在非结构化数据背后的真相

本文讲的是揭秘隐藏在非结构化数据背后的真相,随着互联网技术的发展,大量非结构化数据逐渐走入人们的视野,数据科学家也开始将研究重点转移至非结构化数据.据Gartner预计,全球信息量每年的最低增长率为59%,其中有15%是结构化数据,其余的85%则由各种非结构化数据组成.在IDC的一项调查报告中也指出:企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%. 非结构化数据是指那些不方便用数据库二维逻辑表来表现的数据,包括所有格式的办公文档.文本.图片.XML.HTML.各类报表.图像和

解读非结构化信息管理的核心

在过去的10年,我们经过了由信息匮乏到信息过量的转变.在销售额过30亿的企业,或市级以上主要政府机构,拥有的IT系统数量一般会超过10个.这些系统中的信息,包括结构化数据,也包括非结构化信息,如多格式的文档.邮件.网页等.根据调查,85%的信息是非结构化的,每三个月增加一倍.在因特网上,每天增加7百万张新网页. 知识工作者,面临着寻找信息的挑战.根据调查,知识工作者每天30%的工作时间,用于收集信息:72%的管理者认为,知识没有在他们的组织得到重复利用.从这些异构.繁杂.丰富的内容中,准确.快速

数据无边界:非结构化数据在MaxCompute上的处理

这是DT(Data Technology)时代,每天有海量数据的加速产生,而每天产生的海量数据80%+是非结构化的,如何把握数据资源服务大众,激发生产力是每个互联网企业需要掌握的核心竞争力.我们的理想是MaxCompute在SQL线上实现与其它云数据(OSS, TableStore等) 的互联互通,用OSS(阿里云对外提供的海量.安全和高可靠的云存储服务)几种非结构化数据处理为范例,未来我们可以期待对各种非结构化数据的分布式处理成为可能,甚至开启气象数据.基因数据等多种大数据,建立与各种分布式系

简述云存储在非结构化存储管理下的12大优势

非结构化数据,显而易见就是把信息存储在文件系统中,而不是数据库中的一种数据.据IDC的研究人员表示,如今现在有80%的企业数据是非结构化数据,而且每年都以60%的年增长率在增加.研究人员称,经常性使用的数据比例平均只有1%到5% .而未被使用数据,数量是如此的庞大并在不断的在增加,占据了企业内部第一层存储的大部分空间,是的存储资源浪费不少. 如今,使用云存储,只需支付云存储服务水平协议费用,越来越多的IT部门采用云存储模式.在不影响日常工作的情况下,如何更好地存储全球范围,那些尚具有潜在价值的不

企业管理的挑战:非结构化数据分析

北京8月23日消息,据国外媒体报道,超市内部怎么设计才能最大限度地提高销售额?表面上,这个问题似乎与数据科学家挨不上边.消费者行为难以量化:因为不可预测并且似乎没有理由.为什么一些购物者在某些通道里呆了比其他人更多的时间?为什么每个购物者在店内行走的路线都不相同?为什么有些商品在上午畅销,但在下午根本卖不出去? 寻找这些问题的答案要靠非结构化数据分析--由于非结构化,这些数据无法整齐划一地输入到数据库或电子表格的行列中.绝大多数商业信息都是以非结构化数据形式存在.这些数据可能来自电子邮件.备忘录

非结构化的数据:是机遇还是挑战?

大数据,http://www.aliyun.com/zixun/aggregation/13739.html">非结构化数据,半结构化数据.数据存在于所有的技术资讯里面.贯穿于绝大部分的组织中:需要全新的手段来保持竞争力:来更好的服务客户:并将产品更快的推向市场. Gartner预测,企业数据将在五年内增加800%,其中80%是非结构化的.来自团体,社区,以及社交网络的非业务数据会成为这种趋势中的大部分. 根据IBM对1500名CEO的调查,大部分的CEO表示他们组织有大量的数据,但是鲜有