Apache Mesos的任务分配过程分析

Apache Mesos的任务分配过程分析,见下图:

步骤1 当出现以下几种事件中的一种时,会触发资源分配行为:新框架注册、框架注销、增加节点、出现空闲资源等;

步骤2 Mesos Master中的Allocator模块为某个框架分配资源,并将资源封装到ResourceOffersMessage(Protocal Buffer Message)中,通过网络传输给SchedulerProcess;

步骤3 SchedulerProcess调用用户编写的Scheduler中的resourceOffers函数(不能版本可能有变动),告之有新资源可用;

步骤4 用户的Scheduler调用MesosSchedulerDriver中的launchTasks()函数,告之将要启动的任务;

步骤5 SchedulerProcess将待启动的任务封装到LaunchTasksMessage(Protocal Buffer Message)中,通过网络传输给Mesos Master;

步骤6 Mesos Master将待启动的任务封装成RunTaskMessage发送给各个Mesos Slave;

步骤7 Mesos Slave收到RunTaskMessage消息后,将之进一步发送给对应的ExecutorProcess;

步骤8 ExecutorProcess收到消息后,进行资源本地化,并准备任务运行环境,最终调用用户编写的Executor中的launchTask启动任务(如果Executor尚未启动,则先要启动Executor)。

在一个Mesos Slave上,一个任务启动过程如下图所示:

您可能还喜欢:1 Apache Mesos总体架构2 Apache Mesos底层基础库3 Apache Mesos模块间通信架构4 Apache Mesos调度机制5 Apache Mesos的任务状态更新过程分析6 揭秘你不知道的分布式云计算框架

时间: 2024-10-01 20:00:14

Apache Mesos的任务分配过程分析的相关文章

Apache Mesos的任务状态更新过程分析

Apache Mesos的任务状态更新过程分析,见下图: 您可能还喜欢:1 Apache Mesos总体架构2 Apache Mesos底层基础库3 Apache Mesos模块间通信架构4 Apache Mesos调度机制5 揭秘你不知道的分布式云计算框架

使用 Apache Mesos 打造分布式资源调度系统

Netflix使用Apache Mesos运行了一系列批处理.流式处理,以及服务类型的工作负载.两年多来,我们创建了层出不穷的用例,例如实时异常检测.批处理作业的训练和模型构建.机器学习编排,以及基于Node.js的微服务.最近发布的Apache Mesos 1.0意味着这项技术已经成熟,相比我们首次使用该服务时已经有了巨大的改进. 我们最初使用Apache Mesos的动力主要在于该技术能够将来自同一个EC2实例的资源更为细化地分配给不同规模的任务.如果不使用Mesos或其他类似的资源管理器,

弹性集成Apache Mesos与Apache Kafka框架

本文讲的是弹性集成Apache Mesos与Apache Kafka框架,[编者的话]本文由Mesosphere公司的Derrick Harries和Kafka项目代码提交者Joe Stein合作撰写,介绍了如何将Mesos与Kafka集成以简化海量流数据的管理和配置工作. Kafka和Mesos是非常知名和成功的Apache项目,它们每个都获得了大型社区的支持,还有Confluent和Mesosphere这样的公司各自围着它们构筑生态系统.最近,两家公司合作使Kafka成为Mesosphere

关于Apache Mesos的一些想法

关于Apache Mesos的一些想法 我关注Apache Mesos很长时间了.Apache Mesos从研究论文开始,2010年成为Apache孵化项目,后来从ASF"毕业",并于2013年建立商业实体Mesosphere. 过去的几个月,发生了许多事,因此我想,这是个好机会来写写关于Mesos和其生态的文章. 关于Mesos和YARN已经有很多讨论了.我也看到过诸如"Mesos的资源请求模型非常落后"的评论,也注意到Mesos在过去几年变得更加流行.这里的关键

Docker、Kubernetes、Apache Mesos 之争 | 一个与传说不同的故事

本文讲的是Docker.Kubernetes.Apache Mesos 之争 | 一个与传说不同的故事[编者的话]有无数的文章.讨论和社交网络上的交流在比较 Docker.Kubernetes 和 Mesos. [3 天烧脑式基于Docker的CI/CD实战训练营 | 北京站]本次培训围绕基于Docker的CI/CD实战展开,具体内容包括:持续集成与持续交付(CI/CD)概览:持续集成系统介绍:客户端与服务端的 CI/CD 实践:开发流程中引入 CI.CD:Gitlab 和 CI.CD 工具:G

Apache Mesos和数据中心操作系统的崛起

本文讲的是Apache Mesos和数据中心操作系统的崛起,[编者的话]本文是Mesosphere公司的工程师对他们公司产品DCOS的介绍,也顺带介绍了Mesos的架构和功能以及Mesos的init框架Marathon和Cron框架Chronos. 罗杰伊尼亚齐奥是Mesosphere的基础设施自动化工程师和"Mesos实践"的作者. 感谢曼宁出版的团队的慷慨,SysAdvent读者在在https://manning.com/books/mesos-in-action使用代码"

基于Jenkins与Apache Mesos构建弹性高可用的持续集成环境

本文讲的是基于Jenkins与Apache Mesos构建弹性高可用的持续集成环境[编者的话]Jenkins是目前持续集成领域应用最为广泛的工具,通过Jenkins,项目可以进行自动化的编译.打包.分发与部署,通过持续不断的集成,减少了项目风险和重复过程,最终提高工作效率:Docker做为新的容器化的技术代表,能够保持跨环境的一致性,可以实现更快速地交付和部署:Apache Mesos做为一种分布式系统内核,可理解为一个集群管理器,通过对底层计算资源(物理机.虚拟机.云等)的CPU.内存.存储以

谈谈Apache Mesos和Mesosphere DCOS:历史、架构、发展和应用

本文讲的是谈谈Apache Mesos和Mesosphere DCOS:历史.架构.发展和应用,[编者的话]Mesos 是一个很年轻的开源项目,它的理念是怎样的? 它的整体架构以及服务对象又是什么? 基于此的 Mesosphere DCOS 又是如何定位的? 本文作者就这些话题展开了探讨. Mesos 发展史 Mesos 是一个早在2009年由 Benjamin Hindman.Andy Konwinski.Matei Zaharia.Ali Ghodsi.Anthony D. Joseph.R

深入浅出Mesos(六):亲身体会Apache Mesos

与本系列的前序文章相比,本文是一个短篇,因为这背后有充分的理由.我原本打算写篇更长的文章来详细说明如何在单个节点和多个节点上搭建Mesos.不过,我很快就意识到,已经有一些非常聪明的家伙完成了相关的文章.因此,为了不重新发明轮子,我将在本文中描述并链接这些免费资源. 正在努力创建基于Mesos的商业化产品的Mesosphere同行们,制作了一个精简的Mesos在线课程,值得大家去研究一番.他们的网站也介绍了如何在物理服务器.个人笔记本电脑或PC,以及一些公有IaaS云计算平台上安装Mesos,请