杰赛科技:一种基于分布式技术的云存储技术

  作为近几年兴起的云计算的一大重要组成部分,云存储承担着最底层以服务形式收集、存储和处理数据的任务。

  企业用户和个人将数据托管给第三方,通过公有云、私有云或混合云形式对数据进行按需存取操作。云存储的优势主要在于:按需使用,按需付费;无需增加额外的硬件设施或配备专人负责维护,减少管理难度;将数据复制、备份、服务器扩容等工作交由第三方执行;快速部署配置,随时扩展增减,更加灵活可控。

  在商业前景方面,以“用户创造内容”和“分享”为精神的Web2.0推动了全网域用户对在线服务的认知。随着相关背景技术的完善,云存储在技术上已经趋于成熟。

  云存储的关键技术

  随着如语音、数据、图像等业务需求的多样化,网络建设不断向宽带化方向发展。网速越来越快,能承载的业务种类越来越多,传输质量越来越高。

  只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到优于本地存储的云存储服务。

  云存储的关键技术包括CDN、Web2.0、数据编码技术、虚拟化存储技术等这些技术的发展都成为云计算和云存储发展的内在需求和关键动力。

  CDN即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。

  WEB2.0的用户既是网站内容的浏览者,也是网站内容的制造者。用户使用互联网的同时提供了云计算的接入模式,也为云计算培养了用户习惯。用户更加习惯将自己的数据在网络上存储共享。

  云存储不仅仅是存储,更多的是应用。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本。它还能减少系统中由服务器造成单点故障和性能瓶颈,在减少数据传输环节、提高系统性能和效率和保证整个系统的高效稳定运行方面起着重要作用。

  云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。多个存储设备之间的协同工作,对外提供同一种服务,并提供更大、更强、更好的数据访问性能。如果没有分布式技术,云存储只能是一个个独立系统,更谈不上云了。

  对于云存储的运营单位来讲,必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此,云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台,可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控,该平台就建立在存储虚拟化技术之上。

  云存储的典型架构

  Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统,运行在廉价的普遍硬件设备上,提供灾难冗余的能力,为大量客户机提供了高性能的服务,是基于分布式技术实现云存储的典型架构。

  一个GFS集群包含一个单独的Master节点、多台Chunk服务器,并且同时被多个客户端访问。所有的这些机器通常都是普通的Linux机器,运行着用户级别的服务进程。

  GFS存储的文件都被分割成固定大小的Chunk。在Chunk创建的时候,Master服务器会给每个Chunk分配一个不变的、全球唯一的64位的Chunk标识。Chunk服务器把Chunk以linux文件的形式保存在本地硬盘上,并且根据指定的Chunk标识和字节范围来读写块数据。出于可靠性的考虑,每个块都会复制到多个块服务器上。

  Master节点管理所有的文件系统元数据,同时还管理着系统范围内的活动。Master节点使用心跳信息周期地和每个Chunk服务器通讯,发送指令到各个Chunk服务器并接收Chunk服务器的状态信息。

  GFS客户端代码以库的形式被链接到客户程序里。客户端代码实现了GFS文件系统的API接口函数、应用程序与Master节点和Chunk服务器通讯,以及对数据进行读写操作。客户端和Master节点的通信只获取元数据,所有的数据操作都是由客户端直接和Chunk服务器进行交互的。

时间: 2024-10-22 03:27:14

杰赛科技:一种基于分布式技术的云存储技术的相关文章

基于P2P的可信云存储控制模型

基于P2P的可信云存储控制模型 朱变 王健 云存储是云计算中理想的存储信息技术.论文针对目前云存储主要采用集中式架构所带来的瓶颈问题,并结合P2P技术的主要思想.提出了一种基于P2P的可信云存储控制模型.该模型不仅提高了云存储性能,并且采用可信计算技术来增强了云端用户的访问控制和数据存储的隐私安全,对提出的模型进行安全性分析. 基于P2P的可信云存储控制模型

基于分割的数字图像云存储机制

基于分割的数字图像云存储机制 吕骁博 郭耀 陈向群 随着云计算和数据中心的发展,数据处理和存储工作逐渐转移到云平台上. 通过云服务器存储数字图像可以解决图像存储和共享的问题,但是一些云服务器可能难以保证这些数字图像数据的可靠性和可用性,导致用户隐私泄露. 本文提出了一种基于分割的数字图像云存储机制,并采用了两种不同的图像分割算法:分块分割和分层分割.为了验证该机制,实现了一个支持隐私保护的数字图像云存储工具,针对不同图像分割方法进行了比较分析与实现,对所选的不同云服务器服务质量进行了测试. 通过

基于虚拟化与分布式技术的云存储研究

基于虚拟化与分布式技术的云存储研究 刘 亮 云存储是云计算与云服务实现的核心基石之一,目前业界已有基于虚拟化技术和分布式存储技术的多种云存储解决方案,但是其技术比较与演进趋势仍不明朗.该文从研究目前的虚拟化和分布式云存储技术着手,详细分析对比了各类技术的实现原理.适用场景与应用情况,进而提出了云存储发展的预期,为各种云存储应用与研究提供参考. 关键词:虚拟化:分布:云存储 temp_12092310095551.pdf

DockOne微信分享(一三一):Juice——一种基于MesosFramework的任务云框架

本文讲的是DockOne微信分享(一三一):Juice--一种基于MesosFramework的任务云框架[编者的话]近年来,随着Mesos在生产环境中的普及,使大规模的集群管理变得简单,而基于MesosFramework开发的Juice框架,能够完成分布式任务的分发,处理,对于资源利用率的提高有很大的帮助,今天就为大家介绍一下这套框架. [3 天烧脑式容器存储网络训练营 | 深圳站]本次培训以容器存储和网络为主题,包括:Docker Plugin.Docker storage driver.D

一种基于SDN的安全云接入方法

一种基于SDN的安全云接入方法 徐耀峰 郭志刚 寿国础 这篇论文结合SDN(Software Defined Networking)技术,从接入安全保障角度提出一种新型的安全云接入模型.这个模型中,云服务提供商(CSP)只关心数据的处理和存储,第三服务方根据云用户的需要提供对应的接入安全保障服务.在SDN网络中,第三服务方可以采用基于服务名称寻址的网络管理策略,这使得服务很容易扩展或恢复.整个模型分为两部分,API 模块和功能模块,API模块负责功能模块与SDN控制器的网络策略互,功能模块处理接

一种基于双线性对的云数据完整性验证算法

一种基于双线性对的云数据完整性验证算法 邓晓鹏,马自堂,高敏霞 提出了一种用于验证云服务器上外包数据完整性的算法.通过引入双线性对,由用户随机选择挑战数据发送给服务器,云存储服务器返回生成的证据,验证判定等式的均衡性即可知外包数据是否完整,可信第三方的引入避免了纠纷的无法仲裁.算法可远程对外包数据实现无限次的完整性验证,很好地兼顾了用户和云存储服务商的利益. 一种基于双线性对的云数据完整性验证算法

技术论文:一种面向纠删码技术的云存储可靠性机制

一种面向纠删码技术的云存储可靠性机制 杜芸芸 在云存储中,数据可以分为三种类型:读频繁.写频繁以及冷数据.对不同类型的数据设置不同的编码机制:对读频繁数据采用多副本技术,频繁写的数据采用单文件编码方案,冷数据采用跨文件编码方案.在云存储系统中提出了一种新的纠删码技术的可靠性机制-魔方码,该编码易于实现,具备高的容错性并且相比多副本机制可以减少资源的消耗.以HDFS上的一个RAID包为基础,实现魔方码的原型,并添加BlaumRoth.RDP以对比测试.虽然各种编码各有优缺点,通过单机和集群测试RA

当今不断发展的云存储技术和产品有哪些

在过去的几年中,云计算的发展可谓是空前的,云存储的选择方式也发生了很大的变化.在几年前,云存储只是被开发者放在一些项目的数据仓库中,跨国企业中传统的IT团队现今致力于其生产系统的需要,以云为导向.这样的转变让我们看到了云存储技术的发展方向和时间阶段. 在Jeff Byrne最新的存储杂志专栏中,让我们了解到了推动云技术背后的三种主要的技术种类以及云存储的两大核心内容:数据内容和I/O.尽管Jeff Byrne并不能保证那些技术会是最为成功的,但有一点还是十分自信的,那就是对于不断增长的云市场将会

云存储技术在安防监控系统中的运用

大数据在安防行业的应用使得安防更加智能化,大数据的技术一般分为数据采集.存储.挖掘和分析技术.其中,智能分析居于核心地位.而智能分析是安防大数据区别于IT大数据的重点之一,只有利用智能分析技术将安防大数据的非结构化数据转换为结构化数据,才能将IT大数据成熟的技术体系应用到安防大数据中,充分发挥安防大数据的作用. 安防存储技术发展现状 存储在安防行业的发展过程中经历了磁带存储.DVR.NVR.SAN直存等产品形态,新兴的软件定义.云存储等概念也是层出不穷,但无论怎样发展,存储起到的作用始终是是写入