Ceph分布式存储学习指南1.6 Ceph文件系统

1.6 Ceph文件系统


Ceph文件系统(也就是CephFS)是一个兼容POSIX的文件系统,它利用Ceph存储集群来保存用户数据。Linux内核驱动程序支持CephFS,这也使得CephFS高度适用于各大Linux操作系统发行版。CephFS将数据和元数据分开存储,为上层的应用程序提供较高的性能以及可靠性。

在Cpeh集群内部,Ceph文件系统库(libcephfs)运行在RADOS库(librados)之上,后者是Ceph存储集群协议,由文件、块和对象存储共用。要使用CephFS,你的集群节点上最少要配置一个Ceph元数据服务器(MDS)。然而,需要注意的是,单一的MDS服务器将成为Ceph文件系统的单点故障。MDS配置后,客户端可以采用多种方式使用CephFS。如果要把Ceph挂载成文件系统,客户端可以使用本地Linux内核的功能或者使用Ceph社区提供的ceph-fuse(用户空间文件系统)驱动。

除此之外,客户端可以使用第三方开源程序,例如NFS的Ganesha和SMB/CIFS的Samba。这些程序通过libcephfs将用户数据存入可靠的分布式Ceph存储集群。CephFS也可以用来替代Apache Hadoop File System (HDFS)。它也是通过libcephfs组件将数据存入Ceph集群。为了无缝实现这个功能,Ceph社区为Hadoop和Hadoop插件提供了必要的CephFS Java接口。libcephfs和librados组件都非常灵活,你甚至可以生成自定义程序与它交互,并将数据保存到底层的Ceph存储集群中。

截至本书创作期间,CephFS是Ceph存储系统中唯一一个还不能够用于生产环境的组件。它在快速完善,预计很快就能用于生产环境。目前,在测试和开发环境中,它很受欢迎,并且提供了企业级存储需要的特性,例如动态再平衡和子目录快照。下图展现了使用CephFS的不同方式。

 

时间: 2024-07-29 07:28:54

Ceph分布式存储学习指南1.6 Ceph文件系统的相关文章

《 Ceph分布式存储学习指南》导读

本节书摘来自华章出版社< Ceph分布式存储学习指南>一书中,作者Richard Banfield 著 易艺 译   目录 第1章 Ceph存储介绍 1.1 概要 1.2 Ceph的历史和发展 1.3 Ceph和存储的未来 1.4 兼容性组合 1.5 Ceph块存储 1.6 Ceph文件系统 1.7 Ceph对象存储 1.8 Ceph与其他存储解决方案 1.9 GPFS 1.10 iRODS 1.11 HDFS 1.12 Lustre 1.13 Gluster 1.14 Ceph 总结 第2章

Ceph分布式存储学习指南3.5 Ceph文件系统

3.5 Ceph文件系统 CephFS在RADOS层之上提供了一个兼容POSIX的文件系统.它使用MDS作为守护进程,负责管理其元数据并将它和其他数据分开,这有助于降低复杂性并提高可靠性.CephFS继承了RADOS的特性并为数据提供了动态再平衡.   libcephfs库在支持多客户端实现方面扮演着重要角色.它拥有本地Linux内核驱动程序支持,因此客户可以使用mount命令来实现本机文件系统挂载.它和SAMBA紧密集成,支持CIFS和SMB.CephFS使用cephfuse模块(FUSE)扩

Ceph分布式存储学习指南3.1 Ceph存储架构

第3章 Ceph架构和组件 本章将涵盖以下几大主题: Ceph存储架构 Ceph RADOS Ceph对象存储设备(OSD) Ceph monitor(MON) librados Ceph块存储 Ceph对象网关 Ceph MDS和CephFS 3.1 Ceph存储架构 Ceph存储集群由几个不同的软件守护进程组成,每个守护进程负责Ceph的一个独特功能并将值添加到相应的组件中.每个守护进程是彼此独立的.这是保持Ceph存储集群比黑匣子似的商业存储系统更加便宜的诸多特性中的一个. 下图简要阐述了

Ceph分布式存储学习指南1.2 Ceph的历史和发展

1.2 Ceph的历史和发展 Ceph是圣克鲁兹加利福尼亚大学的Sage Weil在2003年开发的,也是他的博士学位项目的一部分.初始的项目原型是大约40000行C++代码的Ceph文件系统,并于2006年作为参考实现和研究平台遵循LGPL协议(Lesser GUN Public License)开源.美国劳伦斯利物莫国家实验室(Lawrence Livermore National Laboratory)资助了Sage的初始研究工作.2003-2007年是Ceph的研究开发时期.在这期间,它

Ceph分布式存储学习指南1.14 Ceph

1.14 Ceph 如果我们比较Ceph和现存的其他存储解决方案,由于Ceph特性丰富,它明显与众不同.它克服了现有存储系统的局限性,并已经被证明是昂贵的老存储系统的理想替代品.它是运行于任何商用硬件上的开源软件定义存储解决方案,这使得它也是一个经济的存储解决方案.Ceph提供了各种接口让客户端连接Ceph集群,这为客户端增加了灵活性.对于数据保护,Ceph并不依赖于RAID技术,因为它存在本章前面提到的各种限制.而是采用了已经被证明比RAID更好的副本和纠删码方案. Ceph的每一个组件都是可

Ceph分布式存储学习指南1.7 Ceph对象存储

1.7 Ceph对象存储 对象存储是一种以对象形式而不是传统文件和块形式存储数据的方法.基于对象的存储已经引起了行业界的大量关注.为灵活地使用它们的巨量数据,这些组织正快速采用对象存储解决方案.Ceph是一个众所周知的真正的对象存储系统. Ceph是一个分布式对象存储系统,通过它的对象网关(object gateway),也就是RADOS网关(radosgw)提供对象存储接口.RADOS网关利用librgw(RADOS网关库)和librados这些库,允许应用程序跟Ceph对象存储建立连接.Ce

Ceph分布式存储学习指南2.1 使用VirtualBox创建沙箱环境

   第2章 Ceph实战部署 本章将涵盖以下主题: 使用VirtualBox创建沙箱环境 从零开始部署你的第一个Ceph集群 扩展你的Ceph集群-增加monitor和OSD 2.1 使用VirtualBox创建沙箱环境 我们可以使用Oracle VirtualBox虚拟机创建沙箱环境来进行Ceph部署实验.这个虚拟环境可以帮助我们发现和执行Ceph存储集群实验,就好像我们在真实环境中一样.由于Ceph是开源的软件定义存储软件,它可以部署在生产环境的商用硬件之上,因此出于测试目的,我们可以在虚

Ceph分布式存储学习指南1.3 Ceph和存储的未来

1.3 Ceph和存储的未来 企业存储需求最近几年暴发性增长.研究表明,大企业的数据年增长率为40%-60%,而且许多公司的数据占用空间每年翻一番.IDC分析师估计2000年全世界数据量大约是54.4EB.2007年这个数字达到295EB,而到2014年年底,预计会达到8591EB. 所有存储系统的要求都是统一.分布式.可靠.高性能,最重要的是,能够大规模扩展至艾字节,甚至更高级别.Ceph存储系统是一个真正的解决方案,它可以应对这个星球上爆炸式增长的数据.Ceph能够闪电式兴起的原因在于它活跃

Ceph分布式存储学习指南2.3 纵向扩展Ceph集群—添加monitor和OSD

2.3 纵向扩展Ceph集群-添加monitor和OSD 现在,我们有了一个单节点的Ceph集群.我们应该扩展它,让它成为一个分布式的.可靠的存储集群.要纵向扩展这个Ceph集群,我们应该添加更多的monitor节点和OSD.根据前面的计划,我们将把ceph-node2和ceph-node3机器同时作为monitor和OSD节点加入到集群中. 2.3.1 添加Ceph monitor Ceph存储集群需要最少一个monitor处于运行状态.要提供高可用性,则需要大于1的奇数个monitor,例如