开源Marathon:让数据中心像谷歌一样运行

最近,有一个叫 Marathon的项目进行了开源,它的设计宗旨就是让用户在同一组服务器之上,更智能地运行多种应用程序和服务——Hadoop、Storm,甚至一个标准的Web应用。Marathon出自于一家初创公司 Mesosphere之手,这家公司主要就是想构建一个数据中心操作系统,不过这个系统是运行在 Mesos集群管理软件之上,这也是 Twitter基础设施的重要组成部分。该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias Knaup。

Marathon只不过占据了Mesosphere的一小部分,但是Leibert表示它很重要且有着非常大的吸引力。就目前而言,云计算和大数据的发展趋势已经从巩固阶段跳转到问题的解决阶段,未来可能需要多个分布式系统去处理那些特定的任务。

在阐述Marathon之前,我们应该了解一下它的发展历程:

网格计算将何去何从?

其实早在“云计算”的概念泛滥之前,像“网格计算”和“集群计算”这些专业术语与“请求式”联系的更紧密一些。思路也很简单:很多组织机构(比如银行和研究所)都有着大量的服务器,他们希望尽可能高效地利用这些机器,那么通常也意味着这些服务器会形成一个资源池(当然也可以称之为“云”),进而确保每一个应用程序或者任务都能得到它所需要的资源,而且还是按需分配。不再像以往的模式——为每个应用程序配置一个小集群,然后使用一个大集群托管所有的东西,这也是Platform Computing( 在2012年3月被 IBM收购)几年前对其私有云的定位。

然而,这一概念从未真正进入到主流企业之中,因为这些企业在很大程度上会选择虚拟服务器,而且倾向于考虑亚马逊EC2模式的虚拟服务器来配置自家的私有云。不过随着分布式计算的发展,尤其是 Hadoop等云平台的出现,大大改变了互联网企业的IT环境,那些通用的“网格计算”或者“集群计算”的理念再次得到了回归。

不可否认,其中有一部分原因在于,管理不同的IT环境已经变得十分的复杂:这里运行的是分布式的Web应用,那边还有一个Hadoop集群,甚至某个角落的服务器上还跑着Storm或者Spark,冷不防的你就有了3个集群,而且每一个都需要维护。当然这些复杂性的问题不会出现在Google、Facebook或者Twitter的管理者面前,毕竟他们玩的就是 “效率和自动化”的游戏。

Mesos的架构

这些互联网“巨头”都有自己的软件来处理越来越多的工作负载:谷歌使用的是Borg(尽管该公司已经发表了一个尚未部署的Omega系统的研究论文);Twitter使用的就是Mesos;Facebook的系统称之为Corona(主要用于 Hadoop的工作负载设计,但该公司希望扩展到多种框架上)。

连线的Cade Metz撰写了一篇博文,其中详细介绍了Mesos、Borg和Omega,读者可以 点击阅读。当然,如果和硬件关联不上,那么类似 Mesos这样的软件毫无价值,即使很多大公司都很喜欢这个系统。Airbnb是一个Mesos的忠实用户,他们使用Mesos来管理完全运行在AWS上的工作负载。

为什么Marathon很重要?

Mesos仅仅是适用于集群的管理,这意味着它可以隔离不同的任务负载。但是仍然需要额外的工具来帮助工程师查看不同系统上运行的工作负载。不然的话,如果某些工作负载消耗了所有资源,那么重要的工作负载可能就难以及时地获得资源。

Twitter也构建了一个工具叫Aurora(也在计划进行开源)来处理这个问题,包括Airbnb也有一个名为 Chronos的工具。Mesosphere的创始人Leibert 和Knaup在Airbnb的时候就负责构建Chronos这一工具。Marathon是一个“元架构”,它可以让Mesos和Chronos变得更好用,随着Mesos一起运行,并且在运行工作负载的同时提供了更高的可用性,让用户可以添加资源以及自动的故障转移。

不像Chronos在Mesos之上调度作业,Marathon让Chronos在Mesos的内部进行运行,通过这种方式,Chronos也变成Marathon所管理的一项工作。Chronos的优势在于处理和调度Hadoop作业和其他短期的任务,而Marathon则可以直接管理Chronos和那些长期运行的Web服务。Marathon甚至可以运行多个实例。

A cluster running three distinct applications

The same cluster, after one node died

从更广的层面而言,像Marathon这样的项目将来可能会在SDN(软件定义的网络)、存储,甚至是数据中心有更大的作为。Mesosphere公司也正试图通过软件管理的商用硬件来取代那些昂贵的硬件设施。

时间: 2024-10-04 07:37:33

开源Marathon:让数据中心像谷歌一样运行的相关文章

开源项目Marathon:让你的数据中心像谷歌一样运行

最近,有一个叫 Marathon的项目进行了开源,它的设计宗旨就是让用户在同一组服务器之上,更智能地运行多种应用程序和服务--Hadoop.Storm,甚至一个标准的Web应用.Marathon出自于一家初创公司 Mesosphere之手,这家公司主要就是想构建一个数据中心操作系统,不过这个系统是运行在 Mesos集群管理软件之上,这也是 Twitter基础设施的重要组成部分.该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias K

Facebook公开数据中心令谷歌蒙羞

facebook 导语:美国科技博客BusinessInsider撰稿人马特·罗索夫(Matt Rosoff)今天撰文称,Facebook公开数据中心设计的目的是让谷歌最核心的资产成为普通商品,借此打击谷歌,甚至令其蒙羞. 以下为文章全文: 当一家公司以"开放"自夸时,要搞清它的真实目的,最好的方法就是找到一家与它从事相同业务且封闭的竞争对手. 尽管笃信者一直在辩解,但"开放"的确是包含着一定的商业目的:这是一种从竞争对手主导的市场中挖掘价值的好办法. 先来回顾两个

八个机密数据中心:谷歌的服务方式

以下是谷歌向我们展示的8个机密数据中心.从中可以看到如同迷宫一样的计算机处理中心,通过用户的搜索请求,You Tube视频.剪辑和邮件达到成千上万的用户地址. 可以看到成千上万的服务器.色彩缤纷的电缆,还有工程师可以迅速到达的便捷自行车.从芬兰到爱荷华的农场服务器,滚动下载视频. 展示了谷歌内部八个主要机密数据中心,服务的数据遍布全球,从芬兰到爱荷华. "很少有人可以有很好的理由进入谷歌的数据中心,我们也是第一次进入,必须保证数据的隐私与数据的安全.我们竭尽全力保护它,使得我们的网站在严格监视之

打造大数据中心,谷歌亚马逊微软的烧钱战

据国外媒体报道,为了提升自家网络,争夺企业客户,谷歌.亚马逊和微软都在加大对大数据中心的支出,它们近期的资本支出均呈现明显的增长. 根据财务数据,在今年第一季度,谷歌.亚马逊和微软共计录得资本支出(如房产.计算机服务器)46亿美元,同比上涨约65%.相比之下,三家公司的合计营收同比仅增长12%. 它们的优先事项不尽相同.亚马逊很大一部分的资本支出投向仓储中心.谷歌则购买互联网管道来连接旗下的服务.三家公司都强调需要加大资本支出来提升自家网络,适应消费者和企业数字需求的加大. 从最新的财务数据来看

开源进军专有数据中心

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 公司越来越喜欢对比开源应用与商业的专有应用.由于商业软件成本逐步上升,开源的吸引力愈加明显. 开源应用软件长期以来都被看作是一个利基解决方案,不适合关键业务流程.过去,其适用范围仅限于学术研究.这种模式的新变体出现,提供商业级别的软件支持与法律保护.企业级的开源应用软件有望成为优先解决方案. 如何拥抱开源? Linux操作系统在全球数据中心中占据举足轻重的地位.用户

玩转数据中心:Twitter复制谷歌成名秘密武器

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; Twitter的本海因德曼 <连线>周二刊登了一篇署名为卡德梅茨(Cade Metz)的评论文章,借谷歌网络帝国最核心的软件系统伯格(Borg)分析了Twitter如何重建谷歌的秘密武器. 原文如下: 约翰威尔克斯(John Wilkes)说,加入谷歌就象是<黑客帝国>中的尼欧(Neo)吞下红药丸一样,那就是选择了觉醒. 4年前,威尔克斯只是

英特尔雅虎和谷歌分享数据中心管理新方法

据国外http://www.aliyun.com/zixun/aggregation/31646.html">媒体报道,公司数据中心的管理绝非易事,以下是业内巨头数据中心管理新方法的分享. 谷歌在全球有十多个数据中心.谷歌绿色能源项目负责人威尔(Bill Weihl)表示,公司最初的关注点是让其数据中心比一般的行业平均水平的效率更高.依据EPA(Ethernet for Plant Automation)标准,许多数据中心的综合电力使用效率值为2.0PUE (Power Usage Eff

谷歌数据中心足迹向美国东南部发展

由于谷歌公司需要拓展其庞大的数据中心网络,该公司为了提高其大型计算能力,在其数据中心选址策略中,将其重点放在美国东南部,致力成为全球独一无二的云规模运营商. 采用这个策略似乎是由该地区具有吸引力的经济和谷歌公司将重组现有的能源密集型工业基础设施的利益驱动.其次要因素是这里接近美国人口中心,而美国的半数人口高度集中在美国东部. 2015年12月,谷歌公司表示,将投资6亿美元在田纳西州克拉克斯维尔前半导体制造工厂建设一个数据中心.而2015年6月该公司发布公告将投资6亿美元在阿拉巴马州杰克逊郡将一个

谷歌公司用壁画美化两个数据中心

去年,谷歌公司聘请艺术家在其2016年新推出的两个数据中心外墙上绘制了壁画.如今,该公司还计划在更多的数据中心绘制艺术作品.   在爱尔兰都柏林的数据中心,谷歌公司聘请了当地插画师Fuchsia MacAree绘制了艺术作品.而在美国爱荷华州康瑟尔布拉夫斯的数据中心,该公司聘请了当地画家Gary Kelley创作壁画.   谷歌公司在爱尔兰都柏林的数据中心   壁画改造   谷歌公司在都柏林的数据中心采用了自然冷却技术,利用当地的凉爽空气进行冷却,而不是采用机房空调.MacAree从这个理念获得