《ZooKeeper:分布式过程协同技术详解》——2.2 ZooKeeper架构

2.2 ZooKeeper架构

现在我们已经讨论了ZooKeeper暴露给应用的高层操作,我们需要详细了解服务实际上是如何运行的。应用通过客户端库来对ZooKeeper实现了调用。客户端库负责与ZooKeeper服务器端进行交互。
图2-5展示了客户端与服务器端之间的关系。每一个客户端导入客户端库,之后便可以与任何ZooKeeper的节点进行通信。
ZooKeeper服务器端运行于两种模式下:独立模式(standalone)和仲裁模式(quorum)。独立模式几乎与其术语所描述的一样:有一个单独的服务器, ZooKeeper状态无法复制。在仲裁模式下,具有一组ZooKeeper服务器,我们称为ZooKeeper集合(ZooKeeper ensemble),它们之前可以进行状态的复制,并同时为服务于客户端的请求。从这个角度出发,我们使用术语“ZooKeeper 集合”来表示一个服务器设施,这一设施可以由独立模式的一个服务器组成,也可以仲裁模式下的多个服务器组成。

2.2.1 ZooKeeper仲裁
在仲裁模式下,ZooKeeper复制集群中的所有服务器的数据树。但如果让一个客户端等待每个服务器完成数据保存后再继续,延迟问题将无法接受。在公共管理领域,法定人数是指进行一项投票所需的立法者的最小数量。而在ZooKeeper中,则是指为了使ZooKeeper工作必须有效运行的服务器的最小数量。这个数字也是服务器告知客户端安全保存数据前,需要保存客户端数据的服务器的最小个数。例如,我们一共有5个ZooKeeper服务器,但法定人数为3个,这样,只要任何3个服务器保存了数据,客户端就可以继续,而其他两个服务器最终也将捕获到数据,并保存数据。
选择法定人数准确的大小是一个非常重要的事。法定人数的数量需要保证不管系统发生延迟或崩溃,服务主动确认的任何更新请求需要保持下去,直到另一个请求代替它。
为了明白这到底是什么意思,让我们先来通过一个例子来看看,如果法定人数太小,会如何出错。假设有5个服务器并设置法定人数为2,现在服务器s1和s2确认它们需要对一个请求创建的znode /z进行复制,服务返回客户端,指出znode创建完成。现在假设在复制新的znode到其他服务器之前,服务器s1和s2与其他服务器和客户端发生了长时间的分区隔离,整个服务的状态仍然正常,因为基于我们的假设设定法定人数为2,而现在还有3个服务器,但这3个服务器将无法发现新的znode /z。因此,对创建节点/z的请求是非持久化的。
这就是第1章中讲述的脑裂场景的例子。为了避免这个问题,这个例子中,法定人数的大小必须至少为3,即集合中5个服务器的多数原则。为了能正常工作,集合中至少要有3个有效的服务器。为了确认一个请求对状态的更新是否成功完成,这个集合同时需要至少3个服务器确认已经完成了数据的复制操作。因此,如果要保证集合可以正常工作,对任何更新操作的成功完成,我们至少要有1个有效的服务器来保存更新的副本(即至少在一个节点上合理的法定人数存在交集)。
通过使用多数方案,我们就可以容许f个服务器的崩溃,在这里,f为小于集合中服务器数量的一半。例如,如果有5个服务器,可以容许最多f=2个崩溃。在集合中,服务器的个数并不是必须为奇数,只是使用偶数会使得系统更加脆弱。假设在集合中使用4个服务器,那么多数原则对应的数量为3个服务器。然而,这个系统仅能容许1个服务器崩溃,因为两个服务器崩溃就会导致系统失去多数原则的状态。因此,在4个服务器的情况下,我们仅能容许一个服务器崩溃,而法定人数现在却更大,这意味着对每个请求,我们需要更多的确认操作。底线是我们需要争取奇数个服务器。
我们允许法定人数的数量不同于多数原则,但这将在后续章节深入讨论。第10章会讨论此问题。
2.2.2 会话
在对ZooKeeper集合执行任何请求前,一个客户端必须先与服务建立会话。会话的概念非常重要,对ZooKeeper的运行也非常关键。客户端提交给ZooKeeper的所有操作均关联在一个会话上。当一个会话因某种原因而中止时,在这个会话期间创建的临时节点将会消失。
当客户端通过某一个特定语言套件来创建一个ZooKeeper句柄时,它就会通过服务建立一个会话。客户端初始连接到集合中某一个服务器或一个独立的服务器。客户端通过TCP协议与服务器进行连接并通信,但当会话无法与当前连接的服务器继续通信时,会话就可能转移到另一个服务器上。ZooKeeper客户端库透明地转移一个会话到不同的服务器。
会话提供了顺序保障,这就意味着同一个会话中的请求会以FIFO(先进先出)顺序执行。通常,一个客户端只打开一个会话,因此客户端请求将全部以FIFO顺序执行。如果客户端拥有多个并发的会话,FIFO顺序在多个会话之间未必能够保持。而即使一个客户端中连贯的会话并不重叠,也未必能够保证FIFO顺序。下面的情况说明如何发生这种问题:

  • 客户端建立了一个会话,并通过两个连续的异步调用来创建/tasks和/workers。
  • 第一个会话过期。
  • 客户端创建另一个会话,并通过异步调用创建/assign。

在这个调用顺序中,可能只有/tasks和/assign成功创建了,因为第一个会话保持了FIFO顺序,但在跨会话时就违反了FIFO顺序。

时间: 2024-09-16 08:23:25

《ZooKeeper:分布式过程协同技术详解》——2.2 ZooKeeper架构的相关文章

《ZooKeeper:分布式过程协同技术详解》——第1章 简介1.1 ZooKeeper的使命

第一部分 ZooKeeper的概念和基础这一部分适合任何对ZooKeeper感兴趣的读者,该部分介绍ZooKeeper所处理的问题,以及在ZooKeeper的设计中的权衡取舍. 第1章 简介 在计算机诞生之后很长的一段时间里,一个应用服务是在一个独立的单处理器计算机上运行一段程序.时至今日,应用服务已经发生了很大的变化.在大数据和云计算盛行的今天,应用服务由很多个独立的程序组成,这些独立的程序则运行在形形色色.千变万化的一组计算机上.相对于开发在一台计算机上运行的单个程序,如何让一个应用中多个独

《ZooKeeper:分布式过程协同技术详解》——1.3 分布式协作的难点

1.3 分布式协作的难点 当开发分布式应用时,其复杂性会立即突显出来.例如,当我们的应用启动后,所有不同的进程通过某种方法,需要知道应用的配置信息,一段时间之后,配置信息也许发生了变化,我们可以停止所有进程,重新分发配置信息的文件,然后重新启动,但是重新配置就会延长应用的停机时间.与配置信息问题相关的是组成员关系的问题,当负载变化时,我们希望增加或减少新机器和进程.当你自己实现分布式应用时,这个问题仅仅被描述为功能性问题,你可以设计解决方案,部署前你测试了你的解决方案,并非常确定地认为你已经正确

《ZooKeeper:分布式过程协同技术详解》——2.3 开始使用ZooKeeper

2.3 开始使用ZooKeeper 开始之前,需要下载ZooKeeper发行包.通过下载链接,你会下载到一个名字类似zookeepe-3.4.5.tar.gz的压缩TAR格式文件.在Linux.Mac OS X或任何其他类UNIX系统上,可以通过一下命令解压缩发行包: # tar -xvzf zookeeper-3.4.5.tar.gz 如果使用Windows,可以使用如WinZip等解压缩工具来解压发行包. 在发行包(distribution)的目录中,你会发现在bin目录中有启动ZooKee

《ZooKeeper:分布式过程协同技术详解》——1.2 示例:主-从应用

1.2 示例:主-从应用 我们从理论上介绍了分布式系统,现在,是时候让它更具体一点了.考虑在分布式系统设计中一个得到广泛应用的架构:一个主-从(master-worker)架构(图1-1).该系统中遵循这个架构的一个重要例子是HBase--一个Google的数据存储系统(BigTable)模型的实现,在最高层,主节点服务器(HMaster)负责跟踪区域服务器(HRegionServer)是否可用,并分派区域到服务器.因本书未涉及这些内容,如欲了解它如何使用ZooKeeper等更多细节,建议查看H

《ZooKeeper:分布式过程协同技术详解》——1.4 ZooKeeper的成功和注意事项

1.4 ZooKeeper的成功和注意事项 不得不指出,完美的解决方案是不存在的,我们重申ZooKeeper无法解决分布式应用开发者面对的所有问题,而是为开发者提供了一个优雅的框架来处理这些问题.多年以来,ZooKeeper在分布式计算领域进行了大量的工作.Paxos算法注3和虚拟同步技术(virtual synchrony)注4给ZooKeeper的设计带来了很大影响,通过这些技术可以无缝地处理所发生的某些变化或情况,并提供给开发者一个框架,来应对无法自动处理的某些情况.ZooKeeper最初

《ZooKeeper:分布式过程协同技术详解》——导读

前言 构建分布式系统并不容易.然而,人们日常所使用的应用大多基于分布式系统,在短时间内依赖于分布式系统的现状并不会改变.Apache ZooKeeper旨在减轻构建健壮的分布式系统的任务.ZooKeeper基于分布式计算的核心概念而设计,主要目的是给开发人员提供一套容易理解和开发的接口,从而简化分布式系统构建的任务. 即使有了ZooKeeper,但开发中分布式处理的环节并不是微不足道的事情,因此我们编写了这本书,通过这本书可以让你快速熟悉如何通过Apache ZooKeeper构建分布式系统.我

《ZooKeeper:分布式过程协同技术详解》——第2章 了解ZooKeeper2.1 ZooKeeper基础

第2章 了解ZooKeeper 前一章从较高的层面讨论了分布式应用的需求,同时也讨论了在协作方面的共性需求.我们以实际应用中使用很广泛的主-从架构(master-worker)为例子,从中摘取了一些常用原语.本章将开始讨论ZooKeeper,看一看这个服务如何实现这些协作方面的原语. 2.1 ZooKeeper基础 很多用于协作的原语常常在很多应用之间共享,因此,设计一个用于协作需求的服务的方法往往是提供原语列表,暴露出每个原语的实例化调用方法,并直接控制这些实例.比如,我们可以说分布式锁机制组

《ZooKeeper:分布式过程协同技术详解》——2.4 一个主-从模式例子的实现

2.4 一个主-从模式例子的实现 本节中我们通过zkCli工具来实现主-从示例的一些功能.这个例子仅用于教学目的,我们不推荐使用zkCli工具来搭建系统.使用zkCli的目的仅仅是为了说明如何通过ZooKeeper来实现协作菜谱,从而撇开在实际实现中所需的大量细节.我们将在下一章中进入实现的细节.主-从模式的模型中包括三个角色: 主节点主节点负责监视新的从节点和任务,分配任务给可用的从节点. 从节点从节点会通过系统注册自己,以确保主节点看到它们可以执行任务,然后开始监视新任务. 客户端客户端创建

《Hadoop技术详解》一第1章 简介

第1章 简介 Hadoop技术详解 在过去的几年里,数据的存储.管理和处理发生了巨大的变化.各个公司存储的数据比以前更多,数据来源更加多样,数据格式也更加丰富.这不是因为我们变成了林鼠(译注:林鼠喜欢收集各种物品),而是因为我们想要创造出可以让我们进一步了解某一领域的产品.功能以及对其智能预测(这个领域可以是指用户.数据搜索.机器日志或者是某机构的任何信息).为了更好地服务其成员,各组织正在寻找新的方式来使用那些曾经被认为没有什么价值或者存储起来过于昂贵的数据.采集和存储数据只是其中的一部分工作