一种分布式非结构化数据副本管理模型

一种分布式非结构化数据副本管理模型

林 菲，张万军，孙 勇

针对云存储系统中数据副本管理的延时响应等问题，提出一种面向非结构化数据的分布式副本管理模型。该模型采用机架选举算法，通过提高每个机架能源利用率的方法降低系统整体能耗，为绿色数据中心提供技术保障。运用多路线性散列算法，将数据副本动态均匀地分布到不同机架的不同节点中，以提高系统性能、平衡负载和资源利用率。仿真实验结果证明，与传统的全局映射法相比，该模型可以达到较高的存储与负载平衡，具有良好的扩展性和可用性。

关键词：分布式；非结构化；数据副本；机架；线性散列；软件事务内存

一种分布式非结构化数据副本管理模型

时间： 2024-09-14 12:51:39

一种分布式非结构化数据副本管理模型的相关文章

大数据可能「说谎」非结构化数据将呈现更丰富的世界

在2017年的下半年谈论大数据似乎已经没有什么新意,甚至有些令人生厌了,毕竟这个词在中国已经流行太久,形形色色的产品.平台和公司早已贴满了大数据标签,而真正有价值的创新永远都是少数. 行业对于大数据的认知开始变得更加理性和客观,这是一种成熟的表现.但如果因此就认为大数据时代已经进入风平浪静的"发展期",那么我们很可能会错过一场更加波澜壮阔的变革. 被忽视的非结构化数据 在过去几年,大数据产业更多关注的是如何处理海量.多源和异构的数据,并从中获得价值,而其中绝大多数都是结构化数据.不可否

大数据可能“说谎” 非结构化数据将呈现更丰富的世界

在2017年的下半年谈论大数据似乎已经没有什么新意,甚至有些令人生厌了,毕竟这个词在中国已经流行太久,形形色色的产品.平台和公司早已贴满了大数据标签,而真正有价值的创新永远都是少数. 行业对于大数据的认知开始变得更加理性和客观,这是一种成熟的表现.但如果因此就认为大数据时代已经进入风平浪静的"发展期",那么我们很可能会错过一场更加波澜壮阔的变革. 被忽视的非结构化数据 在过去几年,大数据产业更多关注的是如何处理海量.多源和异构的数据,并从中获得价值,而其中绝大多数都是结构化数据.不可否

面向云存储的非结构化数据存取

面向云存储的非结构化数据存取 谢华成  陈向东 非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力.可扩展性及易管理性等方面亟待改进.存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数.采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能.相对于集中式存储,新系统具有较高的可用性.仿真结果显示,存储系统可靠度高且易于扩展.该分布式存储系统可应

Bigtable：一个分布式的结构化数据存储系统

Bigtable:一个分布式的结构化数据存储系统 本文的英文原文为Google在2006年发布的Google Bigtable paper 本文的翻译版本由Alex完成,原文地址为: http://blademaster.ixiezi.com/ 这是我很长时间以来一直想要翻译的文章,不过由于其文太长,以及本人精力有限,未能如愿,今天偶遇此文,感觉译者此文的翻译已远远超越本人,因此将此翻译版本转载于此. Bigtable:一个分布式的结构化数据存储系统译者:alex 摘要 Bigtable是一个分

MaxCompute与OSS非结构化数据读写互通（及图像处理实例）

0. 前言 MaxCompute作为阿里巴巴集团内部绝大多数大数据处理需求的核心计算组件,拥有强大的计算能力,随着集团内外大数据业务的不断扩展,新的数据使用场景也在不断产生.在这样的背景下,MaxCompute(ODPS)计算框架持续演化,而原来主要面对内部特殊格式数据的强大计算能力,也正在一步步的通过新增的非结构化数据处理框架,开放给不同的外部数据. 我们相信阿里巴巴集团的这种需求,也代表着业界大数据领域的最前沿实践和走向,具有相当的普适性.在之前我们已经对MaxCompute 2.0新增的非

MaxCompute上如何处理非结构化数据

0. 前言 MaxCompute作为阿里云大数据平台的核心计算组件,拥有强大的计算能力,能够调度大量的节点做并行计算,同时对分布式计算中的failover,重试等均有一套行之有效的处理管理机制. 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑,在集团内外更是广为应用,在其上实现与各种数据源的互通,对于打通整个阿里云的数据生态具有重要意义.基于这一点,最近MaxCompute团队依托MaxCompute2.0系统架构,引入了非结构化数据处理框架:通过外部表,为各种数据在MaxC

数据无边界:非结构化数据在MaxCompute上的处理

这是DT(Data Technology)时代,每天有海量数据的加速产生,而每天产生的海量数据80%+是非结构化的,如何把握数据资源服务大众,激发生产力是每个互联网企业需要掌握的核心竞争力.我们的理想是MaxCompute在SQL线上实现与其它云数据(OSS, TableStore等) 的互联互通,用OSS(阿里云对外提供的海量.安全和高可靠的云存储服务)几种非结构化数据处理为范例,未来我们可以期待对各种非结构化数据的分布式处理成为可能,甚至开启气象数据.基因数据等多种大数据,建立与各种分布式系

非结构化数据——RAID模式已过时

一份来自Novell公司Ponemon研究所针对对美国94个大型企业的调查显示,平均每个公司每年花在非结构化数据处理上的成本为210万美元:而一些受到严格监管的行业,比如金融.制药.通讯和医疗行业的成本最高,每年将达到250万美元:另一个来自Unisphere Research的调查则显示,62%的受访者表示非结构化信息的产生是不可避免的,在未来十年内将超过传统数据.此外有35%的人表示,在未来的36个月里,非结构化的信息量将超过传统的关系数据. 据IDC的预测,现在全球数据量每18个月就要翻一

结构化数据和非结构化数据是什么意思？

文章中提到的结构化数据.非结构化数据以及半结构化数据是对存储形式的一种数据类型分析,有助于企业细分行业案例,帮助存储合作伙伴更好地解决应用实施方案. 结构化数据,简单来说就是数据库.结合到典型场景中更容易理解,比如企业ERP.财务系统;医疗HIS数据库;教育一卡通;政府行政审批;其他核心数据库等.这些应用需要哪些存储方案呢?基本包括高速存储应用需求.数据备份需求.数据共享需求以及数据容灾需求. 非结构化数据,包括视频.音频.图片.图像.文档.文本等形式.具体到典型案例中,像是医疗影像系统.教育视