海量存储系统的数据分布策略研究

海量存储系统的数据分布策略研究

黄秋兰 武杰 程耀东 陈刚

针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用“二分”的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现[O(1)]时间内直接路由。该算法还采用了“微分逼近”的思想,实现数据的均匀分布性。实验结果证明,TTD算法具备数据分布无关性的特点,且当物理节点逼近[2N(N>0)]时,数据分布就会越均匀。反之,可以通过虚拟节点的引入,确保数据的均匀分布。算法改进了海量存储系统中数据分布的均匀程度,有效优化了系统的整体性能。

海量存储系统的数据分布策略研究

时间: 2024-08-04 14:27:07

海量存储系统的数据分布策略研究的相关文章

海量游戏日志的存储与分析了却了谁的心事?

 数据.云计算改变游戏行业   我们先看一张图,这种图是国外应用市场的一个统计:统计了最近4年中,一款游戏从上架到达到90%下载量持续的时间长度,横轴代表的是年份,纵轴代表的是持续的周数.在2012年,一款游戏平均可以持续180周(也就是说到了2014年仍有人下载),但这个比例每年在持续下滑,到2015年该区间已经到了24周,也就是说用户进入了快餐式消费的时代.   不管背后的原因是什么,但从整个趋势来看游戏行业已经从卖方市场(20年前游戏卡带相互借阅,一卡难求),到现在的买房市场.以用户为中心

海量游戏日志收集与分析

游戏与日志分析 数据.云计算改变游戏行业 我们先看一张图,这种图是国外应用市场的一个报告:统计了最近4年中,一款游戏从上架到达到90%下载量持续的时间长度,横轴代表的是年份,纵轴代表的是持续的周数.在2012年,一款游戏平均可以持续180周(也就是说到了2014年仍有人下载),但这个比例每年在持续下滑,到2015年该区间已经到了24周,进入快餐式消费时代. 不管背后原因是什么,从整个趋势来看游戏行业已经从卖方市场(20年前游戏卡带相互借阅,一卡难求),到现在的买方市场. 第二个趋势是:云计算改变

ThinkServer RD430:高性价比的海量存储服务器

 近日,联想集团面向教育.医疗.互联网以及中小企业用户推出全新高性价比企业级存储优化服务器--ThinkServer RD430.作为一款2U双路机架式服务器,RD430传承了ThinkServer家族高品质基因,凭借最高达36TB的高存储密度和灵活的扩展能力,以及低投入高回报等特点,成为用户构建IT基础架构.海量数据存储的理想平台. 高性价比 轻松实现海量存储 作为一款高性价比存储服务器,ThinkServer RD430以入门级的价格,为用户搭建海量存储平台,点亮企业级基础应用全价值链.RD

清华计算机系舒继武 CCF-ADL 讲习班上篇:闪存存储系统的软件

   雷锋网注:舒继武,现任清华大学教授. 博士生导师.近年来主要从事网络存储.存储安全.网络服务器.并行算法.并行处理技术及并行应用软件技术等方面的研究工作.他还是清华大学计算机科学与技术系分学位委员会委员, SNIA China(全球网络存储工业协会(中国))专家委员会委员,"高效能服务器和存储技术国家重点实验室"(浪潮集团)学术委员会委员.国家863计划信息技术领域"海量存储系统关键技术"重大项目总体专家组副组长. 6月14-16日,中国计算机学会学科前沿讲习

集海量存储于一身视频监控新应用浪潮AS3000

[天极网办公频道12月3日消息]浪潮 AS3000是浪潮面向金融电信.勘探勘测.空天信息.生物工程.气象.能源等http://www.aliyun.com/zixun/aggregation/13584.html">海量数据业务的广大客户,自主研发的拥有完全自主知识产权的海量存储系统平台.AS3000同时支持NAS.IPSAN及FCSAN功能,融合iSCSI.FC.Infiniband及10Gb以太网接口,囊括了目前主流的存储网络架构及主机连接方式.AS3000海量存储系统平台能高效.合理

华为海量存储荣获东京Interop展特别大奖

日本最大 ICT盛会2014 东京Interop展上,华为极富创新性的海量存储OceanStor UDS以创新架构尤其是EB级扩展能力获得广泛关注.本届展会Best of Show Award颁奖中,经过IT业界专家的严格评审,最终荣获"数据中心和存储类特别大奖",这标志着华为存储产品在日本市场获得了认可. 全球领先的信息与通信解决方案供应商华为近日在2014 东京Interop展上,其海量存储OceanStor UDS在Best of Show Award颁奖中凭借多项业界领先的创新

浪潮海量存储AS3000在电信行业的应用案例

客户需求: 近日,浪潮存储发布的云计算架构下基础存储模块-AS3000海量存储系统成功应用于山东信息通信技术研究院动漫渲染集群系统建设,为客户信息化建设构建了坚实的信息化硬件平台,满足了客户整合高端应用.保障海量数据稳定运行的苛刻需求.在该项目中,由浪潮海量存储AS3000打造的海量存储方案是目前最大的渲染集群系统方案之一,它开创了海量存储高端应用的先河. 随着动漫制作行业在国内的不断兴起,"渲染农场"开始在业内广泛流行.所谓的渲染农场其实就是渲染集群,它将海量的渲染任务分割成多个任务

百度面向大规模存储系统的软件定义Flash

百度是国内最早大规模使用SSD/Flash的互联网公司之一,早在2007年,就开始在搜索引擎中大规模使用SSD.在过去的几年中,百度数据中心部署了数以十万计的SSD,支撑了每天60亿次的搜索请求及其背后的广告.大数据实时分析处理.CDN等系统.在百度多年部署使用SSD的过程中,积累了很多经验,也发现了传统SSD的一些缺陷.在实际系统中,传统SSD只能为上层软件或存储系统提供硬件裸带宽(raw bandwidth)的40%左右,甚至更低.因为Flash必须先擦除再写入的特性(Out-of-plac

把Oracle数据库移植到Microsoft SQL Server 7.0

oracle|server|数据|数据库  把Oracle数据库移植到Microsoft SQL Server 7.0 摘要:本文是为那些想把自己的Oracle应用程序转换为Microsoft SQL Server应用程序的开发人员编写的.本文描述了一个成功的转换所需要的工具.过程和技术.同时强调了建立高性能.高度并行的SQL Server应用程序的基本的设计要素. 本文的读者应该具有: Oracle关系型数据管理系统(RDBMS)的坚实基础. 普通数据库管理知识. 熟悉Oracle SQL和P