深入浅出Mesos(一):为软件定义数据中心而生的操作系统

我讨厌“软件定义数据中心(SDDC)”这个词,并不是因为我质疑这个概念,而是我发现很多公司都对这个词有误用,他们甚至直接把这个词拿来套用,并急于把自己定位为下一代数据中心的创新者。具体来说,我认为,在商用x86硬件上运行软件(应用)并不是什么SDDC解决方案,它也不具备虚拟化硬件到资源池的能力。真正的SDDC底层基础架构应该可以从运行于其上的应用程序中抽象出来,并根据应用程序不断变化的需求,动态且自动地分配、重新分配应用程序,然后运行于数据中心的不同组件之中。这就是为什么我一直兴奋地要在后面介绍Mesos,一个Apache开源项目。为什么我对Mesos如此兴奋?回想x86虚拟化之初对数据中心曾经的承诺:通过增加服务器利用率使其更高效,通过从物理基础架构抽象应用使其更敏捷。虽然收获颇丰,但是以虚拟机为单位,粒度仍不够精细,如果应用程序都过于庞大,那就难以充分实现这一承诺。如今,飞速发展的容器技术、分布式应用程序和微服务技术正悄然改变着我们对数据中心的运行和管理方式。

试想,可否整合数据中心中的所有资源,并将它们放在一个大的虚拟池里,代替单独的物理服务器;然后开放诸如CPU、内存和I/O这些基本资源而不是虚拟机?同样,可否把应用程序拆分成小的、隔离的任务单位,从而根据数据中心应用的需求,从虚拟数据中心池中动态分配任务资源?就像操作系统将PC的处理器和RAM放入资源池,使其可以为不同的进程协调分配和释放资源。进一步讲,我们可以把Mesos作为操作系统内核,然后将数据中心看为PC。这也是正是我想说的:Mesos正在改变数据中心,它让真正的SDDC成为现实。

接下来我先介绍下Mesos的历史。Mesos的起源于Google的数据中心资源管理系统Borg。你可以从WIRED杂志的这篇文章中了解更多关于Borg起源的信息及它对Mesos影响。Twitter从Google的Borg系统中得到启发,然后就开发一个类似的资源管理系统来帮助他们摆脱可怕的“失败之鲸”(译者注:见上图)。后来他们注意到加州大学伯克利分校AMPLab正在开发的名为Mesos的项目,这个项目的负责人是Ben Hindman,Ben是加州大学伯克利分校的博士研究生。后来Ben Hindman加入了Twitter,负责开发和部署Mesos。现在Mesos管理着Twitter超过30,0000台服务器上的应用部署,“失败之鲸”已成往事。其他公司纷至沓来,也部署了Mesos,比如Airbnb(空中食宿网)、eBay(电子港湾)和Netflix。

Mesos是如何让Twitter和Airbnb这样的公司,通过数据中心资源更高效的管理系统,扩展应用的呢?我们从一个相当简单但很优雅的两级调度架构开始说起。

上图修改自Apache Mesos网站上的图片,如图所示,Mesos实现了两级调度架构,它可以管理多种类型的应用程序。第一级调度是Master的守护进程,管理Mesos集群中所有节点上运行的Slave守护进程。集群由物理服务器或虚拟服务器组成,用于运行应用程序的任务,比如Hadoop和MPI作业。第二级调度由被称作Framework的“组件”组成。Framework包括调度器(Scheduler)和执行器(Executor)进程,其中每个节点上都会运行执行器。Mesos能和不同类型的Framework通信,每种Framework由相应的应用集群管理。上图中只展示了Hadoop和MPI两种类型,其它类型的应用程序也有相应的Framework。

Mesos Master协调全部的Slave,并确定每个节点的可用资源,
聚合计算跨节点的所有可用资源的报告,然后向注册到Master的Framework(作为Master的客户端)发出资源邀约。Framework可以根据应用程序的需求,选择接受或拒绝来自master的资源邀约。一旦接受邀约,Master即协调Framework和Slave,调度参与节点上任务,并在容器中执行,以使多种类型的任务,比如Hadoop和Cassandra,可以在同一个节点上同时运行。

我将在接下来的文章中,详细介绍Mesos的体系结构和工作流。我认为,Mesos使用的两级调度架构以及算法、隔离技术让在同一个节点上运行多种不同类型的应用成为了现实,这才是数据中心的未来。正如我之前所述,这是到目前为止我所见过的,履行SDDC承诺最好的现成技术。

我希望这篇介绍让你受用并吊起你了解Mesos的胃口。接下来,我将带你深入技术细节,教你一些上手方法,还会告诉你如何加入社区。

时间: 2024-10-28 10:19:52

深入浅出Mesos(一):为软件定义数据中心而生的操作系统的相关文章

软件定义数据中心(SDDC)的网络安全

软件定义数据中心(SDDC)的安全性可以通过多种形式来保障,身份和访问管理来对用户行为进行控制,操作系统安全性来保护虚拟服务器以及数据安全性,以保护数据和信息安全.本文将会介绍SDDC体系架构中的网络安全性,将介绍微分段.可视化.可扩展策略和自动化的概念,以佐证所有基础设施虚拟化时安全性的演变. 首先来看企业IT安全性的变化,如何适应现代软件定义的架构.数据中心的安全性通常由个别专用设备组成,数据通过这些设备进行过滤,从而扫描恶意行为.单独配置其他网络设备,如路由器和交换机,将进一步硬化网络.

VMware购Virsto增强软件定义数据中心

虚拟化巨头VMware已经收购了存储虚拟机管理器厂商Virsto.这意味着VMware现在可以将服务器.网络(受益于对Nicira的收购)以及现在的存储合并到一个抽象的资源池--提供VMware构建可以运行服务器.网络和存储的软件定义数据中心的三个支柱. Virsto的软件可以作为ESX里面的虚拟存储设备(VSA)来运行,并可以创建vDisk--Virsto的类似于VMDK的组件,可以用于存储虚拟机(VM)的数据.该公司声称该产品可以改善使用率和存储配置速度. 一个Virsto和VMware的集

软件定义数据中心的关键技术与应用

软件定义数据中心(SDDC)的概念最早于2012年由VMware首次提出,指通过软件实现整个数据中心内基础设施资源的抽象.池化.部署和管理,满足定制化.差异化的应用和业务需求,有效交付云服务.传统数据中心架构复杂且缺乏灵活性,业务与基础设施紧耦合,应用系统受制于软硬件之间的依赖关系,同时传统数据中心运维管理复杂,资源利用率低,维护成本高.SDDC概念的提出,是云计算.软件定义.DevOps.基础设施快速灵活部署等一系列技术与需求在数据中心的具体实现,通过SDDC实现了以用户为中心.以服务为导向,

《软件定义数据中心:Windows Server SDDC技术与实践》一第1章 微软数据中心与SDDC漫谈

第1章 微软数据中心与SDDC漫谈 软件定义数据中心:Windows Server SDDC技术与实践 第1章包含4个小节,第1节我们将通过文字带领大家简单"参观"一下微软自己创建的数据中心,看看微软如何在海量计算背景下建设数据中心:第2节介绍混合云的概念.微软混合云和混合云实现:第3节和第4节介绍微软云计算和实现云计算的SDDC发展概况,以及微软如何与其他厂家和开源组织合作来将云计算大范围落地.

VMware Virtual SAN可下载试用 为软件定义数据中心再添新丁

10月10日消息,VMware今天宣布VMware vCloud Suite 5.5和VMware vSphere with Operations Management 5.5现已全面上市,具有更高的可用性与性能,从而为客户的关键应用程序及新增工作量提供支持.此外,VMware还宣布VMware Virtual SAN现可通过公测程序供用户下载试用. VMware云基础架构产品副总裁John Gilmartin表示:"在VMworld 2013 大会上,VMware推出了一批创新产品.今天,我们

软件定义数据中心(SDDC)的日志分析

现代化基础设施不断生成日志数据的速度已远远超过人类分析的速度.而且,现在的数据中心可以在脚本控制下建立或拆除,其活动数量和数据量都在呈指数增长. 传统的数据分析法是每周或每天依照列表审查日志文件,这种方法已无法满足软件定义数据中心(SDDC)对数据审查的要求.SDDC的现代架构具有针对多层应用的高度自动化的动态部署能力,它要求实时日志分析也必须到位,分析是复杂故障排除.动态配置.保证高性能以及卓越安全性的关键. 在软件定义数据中心,你看到的是大量服务器之外的变量.你想看到配置量和配置时间,想知道

软件定义数据中心(SDDC)时代将至

[编者按]之前,VMware公司大中华区技术总监张振伦跳槽到了华为,而该职位的接棒者为NetApp技术总监何英华,上任不久后就出了一篇文章,专门讲述VMware新年展望,以及指出2015年云计算三大趋势:SDDC.混合云.移动化交付. 以下为原文 今天,移动互联网正在以史无前例的力量和速度改变着世界.我们有幸见证了企业进行重大业务转型的时代.各个企业正在进行数字化变革,产品和市场营销战略也在不断变化.在这一大背景下,IT部门必须考虑以何种方式支持企业的变化,以紧随转型大趋势,并进而成为领军者.

面向“未来就绪”的全套融合方案,通往软件定义数据中心的“极简”之路

引言 未来,数据中心就是业务形态的基本反应,传统的数据中心向硬件加速.软件定义的数据中心不断演进,计算.网络和存储高度集成,让企业能够实现更大的价值和更高的效率.软件定义如何打破传统的硬件锁固? 从融合基础架构和参考架构到超融合解决方案,戴尔以自动化.弹性.敏捷性.开放简单.以服务为核心的理念使得数据中心的总拥有成本更低,用户能在第一时间获益于新技术. 具体做法是,戴尔融合解决方案提供了由计算和存储资源组成的单个虚拟化层,基于标准的开放构建块,可针对企业的工作负载量身定制,将服务器.存储设备.联

软件定义数据中心?该面对现实了

"软件定义数据中心"这个概念很多人一定不陌生.是的,这是在数据中心领域里,这两年总被人所提及的专业词汇.所谓的软件定义数据中心,没有标准的定义,一般是指数据中心里所有的资源--包括计算.存储.可用性.网络和安全等--都实现了虚拟化和自动化.软件定义数据中心将不再需要IT技术人员来操纵孤立的服务器,网络和存储硬件,响应供应请求.相反,配置自动进行定义的规则和框架,政策和服务水平协议,通过应用程序编程接口调用的自动化和业务流程引擎,并从一个集中的环境内配置适当的资源.实际上,软件定义数据中