面向云存储的非结构化数据存取

面向云存储的非结构化数据存取

谢华成  陈向东

非结构化数据呈爆炸态势增长，现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础，建立了非结构化数据的分布式存储模型，并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层，将非结构化数据直接存储于数据表中，实现了非结构化数据和元数据的分离式存储和统一管理，进而提升了存储系统性能。相对于集中式存储，新系统具有较高的可用性。仿真结果显示，存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境，提供效能较高的云存储服务。

关键词： 云存储  非结构化数据存储  可靠度函数  数据分离存储  存储仿真

temp_12081709515159.pdf

时间： 2024-09-20 08:00:40

面向云存储的非结构化数据存取的相关文章

简述云存储在非结构化存储管理下的12大优势

非结构化数据,显而易见就是把信息存储在文件系统中,而不是数据库中的一种数据.据IDC的研究人员表示,如今现在有80%的企业数据是非结构化数据,而且每年都以60%的年增长率在增加.研究人员称,经常性使用的数据比例平均只有1%到5% .而未被使用数据,数量是如此的庞大并在不断的在增加,占据了企业内部第一层存储的大部分空间,是的存储资源浪费不少. 如今,使用云存储,只需支付云存储服务水平协议费用,越来越多的IT部门采用云存储模式.在不影响日常工作的情况下,如何更好地存储全球范围,那些尚具有潜在价值的不

非结构化数据存储与管理

问题描述 非结构化数据该怎么存储与管理呀?在网上看到的使用数据库或者数据库+文件系统,这在hadoop和swift中是如何体现的呢? 解决方案

一种分布式非结构化数据副本管理模型

一种分布式非结构化数据副本管理模型 林 菲,张万军,孙 勇 针对云存储系统中数据副本管理的延时响应等问题,提出一种面向非结构化数据的分布式副本管理模型.该模型采用机架选举算法,通过提高每个机架能源利用率的方法降低系统整体能耗,为绿色数据中心提供技术保障.运用多路线性散列算法,将数据副本动态均匀地分布到不同机架的不同节点中,以提高系统性能.平衡负载和资源利用率.仿真实验结果证明,与传统的全局映射法相比,该模型可以达到较高的存储与负载平衡,具有良好的扩展性和可用性. 关键词:分布式:非结构化:数据副

MaxCompute与OSS非结构化数据读写互通（及图像处理实例）

0. 前言 MaxCompute作为阿里巴巴集团内部绝大多数大数据处理需求的核心计算组件,拥有强大的计算能力,随着集团内外大数据业务的不断扩展,新的数据使用场景也在不断产生.在这样的背景下,MaxCompute(ODPS)计算框架持续演化,而原来主要面对内部特殊格式数据的强大计算能力,也正在一步步的通过新增的非结构化数据处理框架,开放给不同的外部数据. 我们相信阿里巴巴集团的这种需求,也代表着业界大数据领域的最前沿实践和走向,具有相当的普适性.在之前我们已经对MaxCompute 2.0新增的非

MaxCompute上如何处理非结构化数据

0. 前言 MaxCompute作为阿里云大数据平台的核心计算组件,拥有强大的计算能力,能够调度大量的节点做并行计算,同时对分布式计算中的failover,重试等均有一套行之有效的处理管理机制. 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑,在集团内外更是广为应用,在其上实现与各种数据源的互通,对于打通整个阿里云的数据生态具有重要意义.基于这一点,最近MaxCompute团队依托MaxCompute2.0系统架构,引入了非结构化数据处理框架:通过外部表,为各种数据在MaxC

数据无边界:非结构化数据在MaxCompute上的处理

这是DT(Data Technology)时代,每天有海量数据的加速产生,而每天产生的海量数据80%+是非结构化的,如何把握数据资源服务大众,激发生产力是每个互联网企业需要掌握的核心竞争力.我们的理想是MaxCompute在SQL线上实现与其它云数据(OSS, TableStore等) 的互联互通,用OSS(阿里云对外提供的海量.安全和高可靠的云存储服务)几种非结构化数据处理为范例,未来我们可以期待对各种非结构化数据的分布式处理成为可能,甚至开启气象数据.基因数据等多种大数据,建立与各种分布式系

非结构化数据——RAID模式已过时

一份来自Novell公司Ponemon研究所针对对美国94个大型企业的调查显示,平均每个公司每年花在非结构化数据处理上的成本为210万美元:而一些受到严格监管的行业,比如金融.制药.通讯和医疗行业的成本最高,每年将达到250万美元:另一个来自Unisphere Research的调查则显示,62%的受访者表示非结构化信息的产生是不可避免的,在未来十年内将超过传统数据.此外有35%的人表示,在未来的36个月里,非结构化的信息量将超过传统的关系数据. 据IDC的预测,现在全球数据量每18个月就要翻一

通过SQL 2008管理非结构化数据

通过SQL Server 2008管理非结构化数据 SQL Server 技术文档 作者:Graeme Malcolm (内容主管) 技术审核员:Shan Sinha 项目编辑:Joanne Hodgins 发布日期:2007年8月 适用产品:SQL Server 2008 概述:数字化信息的增长为企业应当存储和访问业务数据的方法提供了启发.数据库作为业务应用程序的核心,必须能够同非结构化的数据进行集成,其中包括文档.图像.视频.以及其它多媒体格式.为了能够对信息生命周期进行管理,满足策略需求,

结构化数据和非结构化数据是什么意思？

文章中提到的结构化数据.非结构化数据以及半结构化数据是对存储形式的一种数据类型分析,有助于企业细分行业案例,帮助存储合作伙伴更好地解决应用实施方案. 结构化数据,简单来说就是数据库.结合到典型场景中更容易理解,比如企业ERP.财务系统;医疗HIS数据库;教育一卡通;政府行政审批;其他核心数据库等.这些应用需要哪些存储方案呢?基本包括高速存储应用需求.数据备份需求.数据共享需求以及数据容灾需求. 非结构化数据,包括视频.音频.图片.图像.文档.文本等形式.具体到典型案例中,像是医疗影像系统.教育视