《Ceph源码分析》——导读

目  录
序言
第1章 Ceph整体架构
1.1 Ceph的发展历程
1.2 Ceph的设计目标
1.3 Ceph基本架构图
1.4 Ceph客户端接口
1.4.1 RBD
1.4.2 CephFS
1.4.3 RadosGW
1.5 RADOS
1.5.1 Monitor
1.5.2 对象存储
1.5.3 pool和PG的概念
1.5.4 对象寻址过程
1.5.5 数据读写过程
1.5.6 数据均衡
1.5.7 Peering
1.5.8 Recovery和Backfill
1.5.9 纠删码
1.5.10 快照和克隆
1.5.11 Cache Tier
1.5.12 Scrub
1.6 本章小结
第2章 Ceph通用模块
2.1 Object
2.2 Buffer
2.2.1 buffer::raw
2.2.2 buffer::ptr
2.2.3 buffer::list
2.3 线程池
2.3.1 线程池的启动
2.3.2 工作队列
2.3.3 线程池的执行函数
2.3.4 超时检查
2.3.5 ShardedThreadPool
2.4 Finisher
2.5 Throttle
2.6 SafeTimer
2.7 本章小结
第3章 Ceph网络通信
3.1 Ceph网络通信框架
3.1.1 Message
3.1.2 Connection
3.1.3 Dispatcher
3.1.4 Messenger
3.1.5 网络连接的策略
3.1.6 网络模块的使用
3.2 Simple实现
3.2.1 SimpleMessager
3.2.2 Accepter
3.2.3 DispatchQueue
3.2.4 Pipe
3.2.5 消息的发送
3.2.6 消息的接收
3.2.7 错误处理
3.3 本章小结
第4章 CRUSH数据分布算法
4.1 数据分布算法的挑战
4.2 CRUSH算法的原理
4.2.1 层级化的Cluster Map
4.2.2 Placement Rules
4.2.3 Bucket随机选择算法
4.3 代码实现分析
4.3.1 相关的数据结构
4.3.2 代码实现
4.4 对CRUSH算法的评价
4.5 本章小结
第5章 Ceph客户端
5.1 Librados
5.1.1 RadosClient
5.1.2 IoCtxImpl
5.2 OSDC
5.2.1 ObjectOperation
5.2.2 op_target
5.2.3 Op
5.2.4 Striper
5.2.5 ObjectCacher
5.3 客户写操作分析
5.3.1 写操作消息封装
5.3.2 发送数据op_submit
5.3.3 对象寻址_calc_target
5.4 Cls
5.4.1 模块以及方法的注册
5.4.2 模块的方法执行
5.4.3 举例说明
5.5 Librbd
5.5.1 RBD的相关的对象
5.5.2 RBD元数据操作
5.5.3 RBD数据操作
5.5.4 RBD的快照和克隆
5.6 本章小结
第6章 Ceph的数据读写
6.1 OSD模块静态类图
6.2 相关数据结构
6.2.1 Pool
6.2.2 PG
6.2.3 OSDMap
6.2.4 OSDOp
6.2.5 Object_info_t
6.2.6 ObjectState
6.2.7 SnapSetContext
6.2.8 ObjectContext
6.2.9 Session
6.3 读写操作的序列图
6.4 读写流程代码分析
6.4.1 阶段1:接收请求
6.4.2 阶段2:OSD的op_wq处理
6.4.3 阶段3:PGBackend的处理
6.4.4 从副本的处理
6.4.5 主副本接收到从副本的应答
6.5 本章小结
第7章 本地对象存储
7.1 基本概念介绍
7.1.1 对象的元数据
7.1.2 事务和日志的基本概念
7.1.3 事务的封装
7.2 ObjectStore对象存储接口
7.2.1 对外接口说明
7.2.2 ObjectStore代码示例
7.3 日志的实现
7.3.1 Jouanal对外接口
7.3.2 FileJournal
7.4 FileStore的实现
7.4.1 日志的三种类型
7.4.2 JournalingObjectStore
7.4.3 Filestore的更新操作
7.4.4 日志的应用
7.4.5 日志的同步
7.5 omap的实现
7.5.1 omap存储
7.5.2 omap的克隆
7.5.3 部分代码实现分析
7.6 CollectionIndex
7.6.1 CollectIndex接口
7.6.2 HashIndex
7.6.3 LFNIndex
7.7 本章小结
第8章 Ceph纠删码
8.1 EC的基本原理
8.2 EC的不同插件
8.2.1 RS编码
8.2.2 LRC编码
8.2.3 SHEC编码
8.2.4 EC和副本的比较
8.3 Ceph中EC的实现
8.3.1 Ceph中EC的基本概念
8.3.2 EC支持的写操作
8.3.3 EC的回滚机制
8.4 EC的源代码分析
8.4.1 EC的写操作
8.4.2 EC的write_full
8.4.3 ECBackend
8.5 本章小结
第9章 Ceph快照和克隆 **
9.1 基本概念
9.1.1 快照和克隆
9.1.2 RDB的快照和克隆比较
9.2 快照实现的核心数据结构
9.3 快照的工作原理
9.3.1 快照的创建
9.3.2 快照的写操作
9.3.3 快照的读操作
9.3.4 快照的回滚
9.3.5 快照的删除
9.4 快照读写操作源代码分析
9.4.1 快照的写操作
9.4.2 make_writeable函数
9.4.3 快照的读操作
9.5 本章小结
**第10章 Ceph Peering机制

10.1 statechart状态机
10.1.1 状态
10.1.2 事件
10.1.3 状态响应事件
10.1.4 状态机的定义
10.1.5 context函数
10.1.6 事件的特殊处理
10.2 PG状态机
10.3 PG的创建过程
10.3.1 PG在主OSD上的创建
10.3.2 PG在从OSD上的创建
10.3.3 PG的加载
10.4 PG创建后状态机的状态转换
10.5 Ceph的Peering过程分析
10.5.1 基本概念
10.5.2 PG日志
10.5.3 Peering的状态转换图
10.5.4 pg_info数据结构
10.5.5 GetInfo
10.5.6 GetLog
10.5.7 GetMissing
10.5.8 Active操作
10.5.9 副本端的状态转移
10.5.10 状态机异常处理
10.6 本章小结
第11章 Ceph数据修复
11.1 资源预约
11.2 数据修复状态转换图
11.3 Recovery过程
11.3.1 触发修复
11.3.2 ReplicatedPG
11.3.3 pgbackend
11.4 Backfill过程
11.4.1 相关数据结构
11.4.2 Backfill的具体实现
11.5 本章小结
第12章 Ceph一致性检查
12.1 端到端的数据校验
12.2 Scrub概念介绍
12.3 Scrub的调度
12.3.1 相关数据结构
12.3.2 Scrub的调度实现
12.4 Scrub的执行
12.4.1 相关数据结构
12.4.2 Scrub的控制流程
12.4.3 构建ScrubMap
12.4.4 从副本处理
12.4.5 副本对比
12.4.6 结束Scrub过程
12.5 本章小结
第13章 Ceph自动分层存储
13.1 自动分层存储技术
13.2 Ceph分层存储架构和原理
13.3 Cache Tier的模式
13.4 Cache Tier的源码分析
13.4.1 pool中的Cache Tier数据结构
13.4.2 HitSet
13.4.3 Cache Tier的初始化
13.4.4 读写路径上的Cache Tier处理
13.4.5 cache的flush和evict操作
13.5 本章小结

时间: 2024-10-31 18:49:04

《Ceph源码分析》——导读的相关文章

《深入理解Scala》——第1章,第1.2节当函数式编程遇见面向对象

1.2 当函数式编程遇见面向对象 深入理解Scala 函数式编程和面向对象编程是软件开发的两种不同途径.函数式编程并非什么新概念,在现代开发者的开发工具箱里也绝非是什么天外来客.我们将通过Java生态圈里的例子来展示这一点,主要来看Spring Application framework和Google Collections库.这两个库都在Java的面向对象基础上融合了函数式的概念,而如果我们把它们翻译成Scala,则会优雅得多.在深入之前,我们需要先理解面向对象编程和函数式编程这两个术语的含义

《深入理解Scala》——第1章,第1.4节与JVM的无缝集成

1.4 与JVM的无缝集成 深入理解Scala Scala的吸引力之一在于它与Java和JVM的无缝集成.Scala与Java有很强的兼容性,比如说Java类可以直接映射为Scala类.这种紧密联系使Java到Scala的迁移相当简单,但在使用Scala的一些高级特性时还是需要小心的,Scala有些高级特性是Java里没有的.在Scala语言设计时已经小心地考虑了与Java无缝交互的问题,用Java写的库,大部分可以直接照搬(as-is)到Scala里. 1.4.1 Scala调用Java 从S

《深入理解Scala》——第2章,第2.1节学习使用Scala交互模式(REPL)

第2章 核心规则深入理解Scala 本章包括的内容: • 使用Scala交互模式(Read Eval Print Loop 简称REPL) • 面向表达式编程 • 不变性(Immutability) • Option类 本章内容覆盖了每个新Scala开发者都需要知道的几个主题.本章不会深入到每个主题里,但是会讲到可以让你自己去接着探索的程度.你将学会使用REPL,学会如何利用这个工具做软件的快速原型开发.然后我们会学到面向表达式编程,并从另一个视角来看控制结构是怎么回事.在此基础上,我们来研究不

《深入理解Scala》——第1章,第1.3节静态类型和表达力

1.3 静态类型和表达力 深入理解Scala 开发人员中有一个误解,认为静态类型必然导致冗长的代码.之所以如此是因为很多继承自C的语言强制要求程序员必须在代码中多处明确地指定类型.随着软件开发技术和编译器理论的发展,情况已经改变.Scala利用了其中一些技术进步来减少样板(boilerplate)代码,保持代码简洁. Scala做了以下几个简单的设计决策,以提高代码表达力. • 把类型标注(type annotation)换到变量右边. • 类型推断. • 可扩展的语法. • 用户自定义的隐式转

《深入理解Scala》——第1章,第1.5节总结

1.5 总结 深入理解Scala 本章中,你学到了一些Scala的设计理念.设计Scala的初衷在于把不同语言中的多种概念融合起来.Scala融合了函数式和面向对象编程,尽管显然Java也已经这么做了.Scala精选其语法,极大地减少了语言中的繁冗之处,使一些强大的特性可以优雅地表达,比如类型推断.最后,Scala和Java能够紧密集成,而且运行在Java虚拟机上,这或许是让Scala变成一种实用选择的最重要的一点.几乎不花代价就可以把Scala用于我们的日常工作中. 因为Scala融合了多种概

《深入理解Scala》——第1章,第1.1节Scala一种混合式编程语言

第1章 Scala--一种混合式编程语言 Scala是一种将其他编程语言中的多种技巧融合为一的语言.Scala尝试跨越多种不同类型的语言,给开发者提供面向对象编程.函数式编程.富有表达力的语法.静态强类型和丰富的泛型等特性,而且全部架设于Java虚拟机之上.因此开发者使用Scala时可以继续使用原本熟悉的某种编程特性,但要发挥Scala的强大能力则需要结合使用这些有时候相互抵触的概念和特性,建立一种平衡的和谐.Scala对开发者的真正解放之处在于让开发者可以随意使用最适合手头上的问题的编程范式.

《深入理解Scala》——第2章,第2.2节优先采用面向表达式编程

2.2 优先采用面向表达式编程 深入理解Scala 面向表达式编程是个术语,意思是在代码中使用表达式而不用语句.表达式和语句的区别是什么?语句是可以执行的东西,表达式是可以求值的东西.在实践中这有什么意义呢?表达式返回值,语句执行代码,但是不返回值.本节我们将学习面向表达式编程的全部知识,并理解它对简化程序有什么帮助.我们也会看一下对象的可变性,以及可变性与面向表达式编程的关系. 作者注:语句VS表达式 语句是可以执行的东西,表达式是可以求值的东西. 表达式是运算结果为一个值的代码块.Scala

《深入理解Scala》——第2章,第2.3节优先选择不变性

2.3 优先选择不变性 深入理解Scala 编程中的不变性指对象一旦创建后就不再改变状态.这是函数式编程的基石之一,也是JVM上的面向对象编程的推荐实践之一.Scala也不例外,在设计上优先选择不变性,在很多场景中把不变性作为默认设置.对此,你可能一下子会不适应.本节中,我们将学到不变性对于判等问题和并发编程能提供什么帮助. Scala里首先要明白的是不变对象和不变引用(immutable referene)的区别.Scala里的所有变量都是指向对象的引用.把变量声明为val意味着它是个不变"引

《深入理解Scala》——第2章,第2.4节用None不用null

2.4 用None不用null深入理解Scala Scala在标准库里提供了scala.Option类,鼓励大家在一般编程时尽量不要使用null.Option可以视作一个容器,里面要么有东西,要么什么都没有.Option通过两个子类来实现此含义:Some和None.Some表示容器里有且仅有一个东西,None表示空容器,有点类似List的Nil的含义. 在Java和其他允许null的语言里,null经常作为一个占位符用于返回值,表示非致命的错误,或者表示一个变量未被初始化.Scala里,你可以用

《深入理解Scala》——第2章,第2.5节多态场景下的判等

2.5 多态场景下的判等 深入理解Scala 众所周知,为多态的面向对象系统定义合适的判等和散列方法是个特别难的过程.这是因为子类可能在整个过程中造成一些相当怪异的问题,尤其是当类型层次上有多个实体(concrete)级别的时候.一般来说,对于需要比引用判等更强的判等(译者注:比如需要判断对象内部数据)的类,最好避免多层实体类层次.这是什么意思呢?有些时候类只需要引用判等就够了.也就是说只要两个对象不是同一个实例就判为不等.但是如果我们需要判断两个不同实例是否相等,而且又有多层实体类层次(mul