云存储系统关键技术研究

云存储系统关键技术研究

郑州大学    赵少锋

论文针对通用云存储系统的架构进行研究,并给出基于Hadoop处理海量小文件方法。 本文主要研究内容如下： 在对HDFS深入分析研究的基础上,综合考虑了通用云存储系统的特征,以提高存储效率为目标,提出一个云存储系统的架构。 借鉴了国内外关于HDFS中小文件处理方法,采用二维装箱算法思想和动态优化思想,设计了小文件处理算法,对HDFS中的小文件进行预处理,提高系统的响应速度。实验表明,所提出的小文件处理方法的能有效提高资源的利用率及系统的响应速度。 设计实现了一个基于高校应用环境云存储原型系统,该系统将对象内容和对象元数据进行分离,采用多区域架构模型。原型系统验证了提出的云存储系统架构合理性和有效性。

云存储系统关键技术研究

时间： 2024-07-29 16:40:21

云存储系统关键技术研究的相关文章

一种基于FPGA云存储架构的关键技术研究

一种基于FPGA云存储架构的关键技术研究 云南大学  陈成 目前常见的云存储服务有:亚马逊的Simple Storage Service(S3).Nutanix的存储服务.搜狐企业网盘.百度云盘等等,而这些并不提供小型开发板所需的云服务.本系统则是以TCP/IP做为基本通信手段,并且加入自定义的数据通信协议,通过整合分布式存储的调度思想,来实现基于FPGA的云存储架构.这样不仅使FPGA开发板能够实现云存储的功能,同时也为基于FPGA的云计算打下了坚实的基础. 本系统利用集群以及分布式的思想,将

云环境下的水质安全服务平台关键技术研究

云环境下的水质安全服务平台关键技术研究 浙江大学  郭诚 本文利用云计算技术构建水质安全服务平台,通过分布式数据资 源层.虚拟化计算资源层和可视化水质模拟渲染模块的构建实现异构水质信息数据的整合.水质模型的高性能并行计算和远程仿真.水质信息和预警信息的可视化. 论文主要的研究内容和成果有:(1)进行了水质安全服务平台功能需求分析,完成了基于云计算技术的水质安全服务平台整体架构设计.(2)设计并 实现了水质安全服务平台数据资源层.(3)通过对计算资源虚拟化研究, 设计了水质安全服务平台的计算资源层

基于Hadoop的智能调度云数据中心关键技术研究

基于Hadoop的智能调度云数据中心关键技术研究 华北电力大学   杨龑骄 本文针对智能电网调度云数据中心的三个关键问题进行了重点研究.第一.云数据中心内部网络结构.在分析对比传统网络结构算法以及最新提出的BCube.DCell数据中心网络结构算法的前提下,提出了更具有扩展性.容错性的PCube网络结构算法:第二.Hadoop云平台的副本存储策略.针对Hadoop现有副本存放策略的不足,本文研究目前学者提出HDFS改进存储策略--CoHadoop副本存储策略,并在此基础上对其智能性加以改进,依靠

云环境中的移动文件存储和时空数据分析关键技术研究

云环境中的移动文件存储和时空数据分析关键技术研究 国防科学技术大学  毛华坚 本文的研究工作和创新点如下:(1)提出了一种基于文件系统的异构云存储服务无缝统一访问方法Wukong.目前不同的云存储服务访问接口各异,由于缺乏无缝访问多种云存储服务的统一接口,时空数据应用不能够不加修改地直接访问和使用后端云存储数据.文件系统是被应用程序广泛支持的一种数据使用接口,以文件系统接口封装各种云存储服务可以保证应用程序对异构云存储服务的直接访问.本文首次提出了一种基于文件系统的异构云存储服务无缝统一访问方法

混合云服务安全若干理论与关键技术研究

混合云服务安全若干理论与关键技术研究(博士论文) 武汉大学  朱智强 本文在分析混合云架构下跨云认证.授权管理等安全需求基础上,从跨云身份管理与认证.授权管理模型.云基础设施安全等方面开展研究,以期提高混合云服务的安全性.具体研究内容包括: 1.面向混合云架构下跨云进行资源访问时对用户认证的需求,从建立私有云间基于PKI体系的信任关系入手,设计了一种面向混合云的跨云用户认证机制,并对效率和安全性进行了分析,该机制综合运用PKI体制和双线性对密签体制,满足对跨云认证中用户属性令牌的完整性.真实性保

云存储关键技术

引言 云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云.用户通过电脑.笔记本.手机等方式接人数据中心,按自己的需求进行运算.目前,对于云计算仍没有普遍一致的定义.结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性.高扩展性.用户友好性.良好的管理性. 1云存储架构图 橘色的作为存储节点(Storage Node)负责存放文件,蓝色作为控制节点((Control Node)则是负责文件索引,并负责监

云计算环境下煤矿应急管理关键技术研究

云计算环境下煤矿应急管理关键技术研究 西安科技大学  马莉 分析煤矿应急管理海量数据的来源及在传统模式下数据存储与处理的局限性,设计煤矿应急云平台中海量数据存储及分析的实现方法,重点阐述黄陵矿业集团下属煤矿生产作业环境参数异动模型及其在煤矿应急云平台中的实现方法,并对该矿某段周期内的瓦斯数据进行异动判定的分析,从而为管理人员的决策行为提供科学依据.最后通过对煤矿应急云平台数据处理性能的实验测试,验证了本文基于Hadoop开源分布式生态系统搭建的煤矿应急云平台相对于传统煤矿应急信息系统具有良好的数

azure-微软云的关键技术有哪些呢？？

问题描述 微软云的关键技术有哪些呢?? 微软云的关键技术有哪些呢??微软云的关键技术有哪些呢??微软云的关键技术有哪些呢?? 解决方案 另外,微软还提供了System Center,加上Windows Server和各种软件,你还可以在企业内部搭建完整的私有云平台,更好的是,两者的软件和环境几乎完全相同,你不但可以将你的应用在这两者之间互相迁移,还可以混合使用私有云和公有云. 你可以使用Azure的虚拟网络和Active Dictionary将它们整合在一起. 解决方案二: Azure和国内山寨

面向企业虚拟私有云的虚拟专用网技术研究(博士论文)

博士论文 面向企业虚拟私有云的虚拟专用网技术研究 东华大学  丁靖宇 本文研究如何将虚拟专用网(VPN)技术整合到现有云计算构架中,从而实现云计算资源与企业IT资源的无缝融合,建立企业虚拟私有云(VPC).我们首先研究了基于虚拟专有LAN服务(Virtual Private LAN Service,VPLS)的VPC体系架构以及数据通信的Qos保证,然后研究了钟VPC中计算资源与VPN网络资源间的联合优化机制,最后研究了虚拟计算资源在城域网间的动态迁移机制及迁移性能. temp_12071209