Ceph分布式存储学习指南1.11　HDFS

本节书摘来自华章出版社< Ceph分布式存储学习指南>一书中,作者Richard Banfield 著 易艺 译   目录 第1章 Ceph存储介绍 1.1 概要 1.2 Ceph的历史和发展 1.3 Ceph和存储的未来 1.4 兼容性组合 1.5 Ceph块存储 1.6 Ceph文件系统 1.7 Ceph对象存储 1.8 Ceph与其他存储解决方案 1.9 GPFS 1.10 iRODS 1.11 HDFS 1.12 Lustre 1.13 Gluster 1.14 Ceph 总结 第2章

1.3 Ceph和存储的未来 企业存储需求最近几年暴发性增长.研究表明,大企业的数据年增长率为40%-60%,而且许多公司的数据占用空间每年翻一番.IDC分析师估计2000年全世界数据量大约是54.4EB.2007年这个数字达到295EB,而到2014年年底,预计会达到8591EB. 所有存储系统的要求都是统一.分布式.可靠.高性能,最重要的是,能够大规模扩展至艾字节,甚至更高级别.Ceph存储系统是一个真正的解决方案,它可以应对这个星球上爆炸式增长的数据.Ceph能够闪电式兴起的原因在于它活跃

3.5 Ceph文件系统 CephFS在RADOS层之上提供了一个兼容POSIX的文件系统.它使用MDS作为守护进程,负责管理其元数据并将它和其他数据分开,这有助于降低复杂性并提高可靠性.CephFS继承了RADOS的特性并为数据提供了动态再平衡.   libcephfs库在支持多客户端实现方面扮演着重要角色.它拥有本地Linux内核驱动程序支持,因此客户可以使用mount命令来实现本机文件系统挂载.它和SAMBA紧密集成,支持CIFS和SMB.CephFS使用cephfuse模块(FUSE)扩

2.3 纵向扩展Ceph集群-添加monitor和OSD 现在,我们有了一个单节点的Ceph集群.我们应该扩展它,让它成为一个分布式的.可靠的存储集群.要纵向扩展这个Ceph集群,我们应该添加更多的monitor节点和OSD.根据前面的计划,我们将把ceph-node2和ceph-node3机器同时作为monitor和OSD节点加入到集群中. 2.3.1 添加Ceph monitor Ceph存储集群需要最少一个monitor处于运行状态.要提供高可用性,则需要大于1的奇数个monitor,例如

1.6 Ceph文件系统 Ceph文件系统(也就是CephFS)是一个兼容POSIX的文件系统,它利用Ceph存储集群来保存用户数据.Linux内核驱动程序支持CephFS,这也使得CephFS高度适用于各大Linux操作系统发行版.CephFS将数据和元数据分开存储,为上层的应用程序提供较高的性能以及可靠性. 在Cpeh集群内部,Ceph文件系统库(libcephfs)运行在RADOS库(librados)之上,后者是Ceph存储集群协议,由文件.块和对象存储共用.要使用CephFS,你的集群

1.2 Ceph的历史和发展 Ceph是圣克鲁兹加利福尼亚大学的Sage Weil在2003年开发的,也是他的博士学位项目的一部分.初始的项目原型是大约40000行C++代码的Ceph文件系统,并于2006年作为参考实现和研究平台遵循LGPL协议(Lesser GUN Public License)开源.美国劳伦斯利物莫国家实验室(Lawrence Livermore National Laboratory)资助了Sage的初始研究工作.2003-2007年是Ceph的研究开发时期.在这期间,它

第3章 Ceph架构和组件 本章将涵盖以下几大主题: Ceph存储架构 Ceph RADOS Ceph对象存储设备(OSD) Ceph monitor(MON) librados Ceph块存储 Ceph对象网关 Ceph MDS和CephFS 3.1 Ceph存储架构 Ceph存储集群由几个不同的软件守护进程组成,每个守护进程负责Ceph的一个独特功能并将值添加到相应的组件中.每个守护进程是彼此独立的.这是保持Ceph存储集群比黑匣子似的商业存储系统更加便宜的诸多特性中的一个. 下图简要阐述了

第1章 Ceph存储介绍 本章将讲述以下主题: Ceph概要 Ceph的历史和发展 Ceph和存储的未来 兼容性组合 Ceph与其他存储方案 1.1 概要 Ceph是一个开源项目,它提供软件定义的.统一的存储解决方案.Ceph是一个可大规模扩展.高性能并且无单点故障的分布式存储系统.从一开始它就运行在通用商用硬件上,具有高度可伸缩性,容量可扩展至EB级别,甚至更大. Ceph因为其开放.可扩展.分布式的本质在存储领域引起了强烈反响.如今,公有云.私有云以及混合云模型是提供大规模基础设施的主流方案

1.5 Ceph块存储 块存储是存储区域网络中使用的一个数据存储类别.在这种类型中,数据以块的形式存储在卷里,卷会挂接到节点上.它可以为应用程序提供更大的存储容量,并且可靠性和性能都更高.这些块形成的卷会映射到操作系统中,并被文件系统层控制. Ceph引入了一个新的RBD协议,也就是Ceph块设备(Ceph Block Device).RBD为客户端提供了可靠.分布式.高性能的块存储.RBD块呈带状分布在多个Ceph对象之上,而这些对象本身又分布在整个Ceph存储集群中,因此能够保证数据的可靠性