基于云平台的电信数据仓库文件备份和分布动态调整算法

基于云平台的电信数据仓库文件备份和分布动态调整算法

杨苗苗 李跃辉 刘静 许静

Hadoop利用统一的备份机制来确保数据的可用性和容错性。然而对于重要的文件块,只能通过修改配置文件来设置副本数量。通过分析电信业数据仓库文件的访问情况,提出文件备份与存放动态调整算法(BPDA)来提高数据局部性,以减少数据传输带来的I/O和网络消耗,提高查询效率。运用多副本一致性哈希算法,概率采样和竞争力弱化算法,得到每一个文件的最佳备份数和备份位置。实验结果验证了该算法可以提高查询关联效率。

基于云平台的电信数据仓库文件备份和分布动态调整算法

时间： 2024-10-25 09:45:51

基于云平台的电信数据仓库文件备份和分布动态调整算法的相关文章

北明何长青：联手跨国企业 提供基于云平台管理服务

北明软件有限公司(以下简称"北明")董事会秘书何长青认为,云计算是计算模式的改变,它的到来实际上已经影响到应用软件的体系结构,2010年北明整合后密切关注云计算的发展,并将以集成商的角色同跨国IT云服务提供商合作,提供基于云平台上的管理支撑服务. 北明软件董事会秘书 何长青先生 记者:您认为云计算为IT业带来哪些机遇与变革? 何长青:云计算的到来实际上已经影响到应用软件的体系结构,例如,谷歌在云端提供的在线办公软件服务,使中小企业摆脱了自建IT系统的技术与资金难题:客户采购方式发生的改

基于云平台的智慧旅游信息推送系统研究

基于云平台的智慧旅游信息推送系统研究 西安工业大学  赫磊 本文提出了一个构建于云平台之上的智慧旅游信息推送系统,对系统中所涉及的一些关键问题进行研究和解决.针对旅游系统中海量数据处理问题,通过云计算的强大的计算能力来处理旅游信息的海量数据.通过在旅游信息服务平台引入采用基于用户信息和旅游信息上下文协同过滤算法和基于地理位置的推荐算法的信息推荐系统,来帮助用户自动过滤筛选庞大的旅游信息数据,是旅游信息系统更加智能化.用户对于信息的实时性需求,本文采用服务器向移动终端的信息推送系统来实时地向用户端

一种基于云平台的下一代互联网新型迁移模型

一种基于云平台的下一代互联网新型迁移模型 黄灿灿  朱永庆 分析现有接入网络在向IPv6迁移过程中所遇到的各种问题,设计一种新型的基于云平台的下一代互联网迁移模型.该模型通过在城域网边缘部署云计算平台给用户提供虚拟双栈主机,从根本上解决现有接入网络中海量设备以及千万级CPE改造升级所产生的问题,同时,优化了城域网P2P流量模型,极大地减缓了接入网压力. 一种基于云平台的下一代互联网新型迁移模型

基于云平台Hadoop的三维虚拟地球数据组织形式

基于云平台Hadoop的三维虚拟地球数据组织形式 李胜友 杨秋莲 孙忠芳 云计算的发展推动了整个行业的进步,同时也给GIS的发展提供了非常大的机会.本文针对开源云平台Ha-doop搭建了一个小型的私有云,利用Hadoop HBase存储键值对数据的优势,将三维虚拟地球GeoGlobe格式数据存储于HBase之上,实现了三维GIS的金字塔状瓦片数据存储到HBase中,最后给出了具体的实现方案. 基于云平台Hadoop的三维虚拟地球数据组织形式

基于云平台架构省级电子政务系统的应用研究

1.云基础 云,作为IT虚拟化和自动化的一个延展,正在为越来越多的人所熟知,云的优势十分明显,首先能够充分利用服务器计算资源,能够合理的分配存储空间,灵活的调度与高可靠性的应用安全与数据安全,可以随时获取,按需使用,自由扩展,获得良好的伸缩性,系统架构的灵活性大大增强. 作为一个省级电子政务平台,跨多个地市区域,整体系统包含省级主干平台及相应的操作组与管理组,还有地市一级的分中心,以及下层的县区节点组成,各个部分都扮演着各自重要的角色,全部的应用平台,系统监控平台与控制平台均汇聚于省中心平台,完

基于云平台的文件管理系统的设计与测试研究

基于云平台的文件管理系统的设计与测试研究 厦门大学 陈洁瑜 文件管理一直以来都是计算机领域研究的重要课题.尤其是近年来随着Internet在各个领域应用的普及和深化,人们更加迫切地需要实现一种能够在Internet上在线管理文件的应用程序,由此作为文件管理的重要分支之一的在线文件管理系统便应运而生.Web2.0和云计算时代的到来,使在线文件管理更加成为人们关注的焦点,它对于互联网文件管理发展具有重大的意义.本文主要探讨如何综合利用计算机技术.管理科学.软件工程和社交网络方法对目前国内外现有的文件

基于云平台的医疗数据交换中间件设计

基于云平台的医疗数据交换中间件设计 张植蓝宝 魏振钢 信息技术的不断发展对医疗信息化不断提出新的要求,云计算的发展与成熟为医疗信息化的发展提供了新的契机.中间件作为云计算中核心的一环,在医疗云平台的实现中起着至关重要的作用.本文提出了一种基于云计算技术医疗数据共享中间件,可以充分利用云平台的计算资源,降低重复开发交换共享程序的成本. 基于云平台的医疗数据交换中间件设计

IBM借QISKit打造基于云平台的量子计算

IBM量子体验(Quantum Experience)团队已将量子计算软件QISKit开源,根据量子计算和信息科学家Jay Gambetta的介绍,QISKit可供开发者使用Python体验IBM的云端量子处理器. IBM QISKit包含三个主要组件: 使用Python编写的官方QISKit API客户端,可执行pip install IBMQuantumExperience安装,随后可按照下列范例使用: api = IBMQuantumExperience("token", con

讲座：基于云平台进行微博应用开发

作为CSDN俱乐部的例行活动,今天由我为同学们讲新浪微博开发.原计划大一的继续在计算中心玩编程,高年级的听讲座,但据说大一的有意见,也就本周暂停编程比赛. 反思自己的思路,不管何种形式,不是要让同学们多见识一些吗?不是一直推荐"不要强调基础,能做就尽快做起来"的一种思维吗?每周五的活动尽可能变着点花样,而不是让大家感觉"苦逼"的日子从学校开始,这也是俱乐部活动长期健康进行的基础. 所以,讲座内容适当放"低"一些,尽量做到零基础.其实,原先的定位也