基于小文件的内存云存储优化策略

基于小文件的内存云存储优化策略

英昌甜 于炯 鲁亮 刘建矿

由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。

基于小文件的内存云存储优化策略

时间： 2024-10-02 15:09:29

基于小文件的内存云存储优化策略的相关文章

面向费用优化的云存储缓存策略

面向费用优化的云存储缓存策略 唐兵 张黎 为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略.利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存.进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取.采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉.以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试.测试结果表明,使用了所提出的缓存策略

基于哈希树的云存储完整性检测算法

基于哈希树的云存储完整性检测算法 颜湘涛 李益发 云存储服务使得用户无需大量软硬件投入即可享受大容量.高规格的存储服务,但是同时也带来了云环境下数据机密性.完整性和可用性等安全问题.针对云存储中的完整性问题,利用哈希树结构和大数模运算,提出了一种新的基于哈希树结构的数据完整性检测算法.分析结果表明,该算法使得用户只需在常量的存储.计算和网络资源下就能高概率地.正确地检测远端服务器数据文件的完整性,且支持文件数据的动态更新. 关键词 云计算,云存储,数据安全,数据完整性 基于哈希树的云存储完整性检

基于秘密共享的安全云存储方案

基于秘密共享的安全云存储方案 张璐 徐燕红 张浩 田伟 文章在分析当前网盘应用前景及安全隐患的基础上,提出了一种基于秘密共享的安全云存储方案,运用信息摘要算法.对称加密算法.门限方案以及数据分布式存储等,对用户文件的读写.存储.加密的权限进行分离,保证用户对文件所有的最高权限,从而保障了用户隐私.同时,又降低了各网盘厂商的硬件扩容瓶颈．有利于广泛云平台的建立,具有良好的应用前景. 基于秘密共享的安全云存储方案

一种基于同态标签的动态云存储数据完整性验证方法

一种基于同态标签的动态云存储数据完整性验证方法 余星 在云存储服务中,为使用户可以随时验证存储在云存储服务器上数据的完整性,提出一种基于同态标签的动态数据完整性验证方法.通过引入同态标签和用户随机选择待检测数据块可以无限次验证数据是否完好无损,并支持数据动态更新:可信第三方的引入解决了云用户与云存储服务供应商因数据完整性问题产生的纠纷,实现数据完整性的公开验证:然后给出本文方法的正确性和安全性分析,以及本文方法的性能分析:最后通过实验验证了该方法是高效可行的. 一种基于同态标签的动态云存储数据完

基于WebDAV协议的私人云存储设备的实现

基于WebDAV协议的私人云存储设备的实现 广东工业大学  金丰 了解决将机密数据或私有数据放入公有云出现的安全问题,以及越来越多的个人和企业希望在私有云上使用新的解决方案替代常规方案(FTP),本文提出一种基于WebDAV协议的私人云存储系统(我们称之为AirDisk).首先,该系统采用Realtek方案,选取RTL8196C作为主控芯片,烧写OpenWrt固件配置Apache服务器,加载WebDAV模块为用户提供新的解决方案,DAV模块的身份认证机制保证用户与系统交互的安全性:其次,选取RT

一种基于LT码的数据云存储方案

一种基于LT码的数据云存储方案 李力 鄢田云 拜占庭失效或恶意攻击会降低云服务供应商的云存储服务可靠性,为此,提出一种基于云计算的安全可靠数据存储方案.通过LT编码增加分布式云服务器的数据冗余度,在保证性能全局准最优的同时,提升数据用户在数据检索阶段的解码效率.利用支持公共数据完整性检查和准确数据修复,避免数据拥有者长期保持在线状态,并设计数据修复解决方案,使服务运行期间无需产生元数据也能进行数据修复.实验结果表明,与基于网络编码和基于RS码的云存储方案相比,该方案的通信成本只增加了15%,但数

CACDP：适用于云存储动态策略的密文访问控制方法

CACDP:适用于云存储动态策略的密文访问控制方法 张浩 赵磊 冯博 余荣威 刘维杰 数据的机密性是云存储环境下的难点问题,基于密文的访问控制技术是解决该问题的重要思路,在目前的基于密文的访问控制技术中,数据的高安全需求和频繁的策略更新使得数据拥有者(data owner, DO)端的权限更新代价过高,进而严重制约了系统的整体效率.针对此问题,提出一种适用于云存储动态策略的密文访问控制方法(cryptographic access control strategy for dynamic pol

RAMCloud：内存云存储的内存分配机制

现在全闪存阵列已经见怪不怪了,EMC的XtremIO,还有VNX- F(Rockies),IBM FlashSystem.全闪存真正为效率而生,重新定义存储速度.凭借极致性能,高可用性,为您极大提高企业级应用效率.提到闪存的优势,那么毋庸置疑的就是速度!而在速度优势背后,SSD则面临着价格.容量以及寿命等方面的限制. 当然随着技术的发展,成本的下降,SSD有可能会取代机械硬盘,成为下一代企业存储的主要介质.机械硬盘可能转变为磁带的角色. 但是,闪存速度的确就是现在存储系统的极限吗?现在有需要基于

转 海量小文件存储与Ceph实践

海量小文件存储(简称LOSF,lots of small files)出现后,就一直是业界的难题,众多博文(如[1])对此问题进行了阐述与分析,许多互联网公司也针对自己的具体场景研发了自己的存储方案(如taobao开源的TFS,facebook自主研发的Haystack),还有一些公司在现有开源项目(如hbase,fastdfs,mfs等)基础上做针对性改造优化以满足业务存储需求: 一. 通过对若干分布式存储系统的调研.测试与使用,与其它分布式系统相比,海量小文件存储更侧重于解决两个问题: 1.