集群管理可以很简单,Google又放大招

集群管理的名字并不像"云计算"或" appconomy"那样诱人,但是它确实是相当迷人和重要的技术。如果使用恰当,能够令Google、Facebook和Twitter等公司轻松运营数十亿的用户,并且不用浪费时间和金钱在服务器的管理上。

现在,Google在大力推广其IT技术,它希望每一个人都知道并来体验这项技术。在Google六月份宣布其容器管理技术Kubernetes开源时,我就曾撰文解释过其中的原因。上个月Google又和多个大公司签署合作共同支持Kubernetes。8月18日,Google宣布和Mesosphere合作,更把进程往前推动了一步,这将让GCE的使用者只要点几次鼠标就可以管理自己的集群。

Mesosphere是一个创业公司,它建立在ApacheMesos技术之上。Mesos 本质上是一个系统的开源版本,Google用其来自动化管理数据中心,最终结果是,许多应用程序和服务可以同时共享同一资源,为了优化运行,系统确保了每个应用和服务得到它所需要的资源。mesophere使得它更容易部署Mesos,从中受益,并在其上添加一些工具。

除了Mesosphere新的集群部署功能之外,两家公司还合作整合Kubernetes和Mesos,给共同的使用者可以用Kubernetes管理Docker容器和用Mesos管理整个集群(包括Docker容器)的选择。从最近的一次采访中引用Docker创始人Solomon Hykes的一句话,“如果Docker应用是乐高积木的话,Kubernetes就将是建造千年隼号(译者注:Millennium Falcon是《星球大战》系列作品中一艘虚构的宇宙飞船)的配件,Mesos集群就像是整个星球大战宇宙的建造积木”。

在就Mesosphere的合作采访Google Cloud的产品经理Craig McLuckie时,McLuckie描述了Google的系统从需要“过度”努力去管理到他们今天自动化管理的演变。从容器技术到如今的数据中心操作系统Borg。如果你愿意的话,它将会起重要的作用。

Google技术基础设施高级副总裁Urs Hölzle,在六月的Structure大会上,更详细地解释了这一进化。他说,“我们能够保持的服务数量大大增加了,也使得使我们能够专注于其他部分的组织结构。”

云计算提供商已经做了多年,只有很少(除了那些PaaS产品)能够真正实现端到端的自动化。云总是让获取资源和启动应用程序大大方便。但是IaaS并不意味着分布式体系结构,高可用性和共享资源作为服务。在许多情况下,这些东西还需要一些真正的努力来实现(例如,Netflix公司已经在AwS之上建立了自己的服务)。

虽然不能保证Mesosphere的技术和Google的容器和Kubernetes技术被大家所接受,但是其思想已经启发了世人。提供云计算服务或私有云软件的公司需要找出一个提供这种能力的策略,否则就将成为明日黄花。

原文链接:Google wants to show the world how sexy cluster management really is(翻译/崔天泽 审校/周小璐)

时间: 2024-10-22 17:22:30

集群管理可以很简单,Google又放大招的相关文章

Google披露:大规模集群管理工具Borg的细节

Google最近发布了一篇名为"Google使用Borg进行大规模集群的管理"的论文,披露了这个在过去极少提及的技术的细节. Borg是一个集群管理器,它负责对来自于几千个应用程序所提交的job进行接收.调试.启动.停止.重启和监控,这些job将用于不同的服务,运行在不同数量的集群中,每个集群各自都可包含最多几万台服务器.Borg的目的是让开发者能够不必操心资源管理的问题,让他们专注于自己的工作,并且做到跨多个数据中心的资源利用率最大化.下面这张图表描述了Borg的主要架构: Borg

[喵咪Liunx(5)集群管理利器pssh

[喵咪Liunx(5)集群管理利器pssh 前言 哈喽大家好呀!大家在管理服务器的时候如果只是一两台还好,当你管理三台以上的服务器的时候,你安装任何一个软件更改任何一个配置文件就要无比麻烦的每一台机器都去执行命令(当然用docker等的请无视),pssh可以帮我们解决这些问题,可以吧准备好的脚本批量在所有机器上进行执行,帮助你批量管理服务器集群! 附上: 喵了个咪的博客:w-blog.cn pssh官网地址:http://www.theether.org/pssh/ 1. 安装 pssh和mon

Java微服务开发指南 -- 集群管理、失败转移和负载均衡的实践

集群管理.失败转移和负载均衡的实践     在前一章节中,我们快速的介绍了集群管理.Linux容器,接下来让我们使用这些技术来解决微服务的伸缩性问题.作为参考,我们使用的微服务工程来自于第二.第三和第四章节(Spring Boot.Dropwizard和WildFly Swarm)中的内容,接下来的步骤都适合上述三款框架. 开始     我们需要将微服务打包成为Docker镜像,最终将其部署到Kubernetes,首先进入到项目工程hola-springboot,然后启动jboss-forge,

DockOne微信分享( 九十五):树莓派上的Docker集群管理

本文讲的是DockOne微信分享( 九十五):树莓派上的Docker集群管理[编者的话]随着IOT市场的火热发展,Docker天然的轻量级以及帮助业务快速重构的特性,将会在IOT领域迎来巨大发展潜力,甚至有可能会比它在云端的潜力更大.本文将致力于构建一个利用Rancher&RancherOS来管理运行在树莓派上的容器集群. 目前业界主流基本都是在x86架构上使用Docker,除了因为Intel在服务器领域的绝对领导地位之外,x86 CPU的确在性能上有着卓越的表现.但是近些年来,随着云计算的迅猛

集群管理工具经得起考验吗?

如今集群设计遍地都是.最典型的例子包括软件定义存储.虚拟化架构.超级融合.公有云与私有云,以及众所周知的大数据.集群以横向扩展的方式来构建基础设施,使用商业产品,如服务器和JBOD.横向扩展的设计能够实现容量与性能递增,与大部分纵向扩展的基础架构相比,有着巨大的成本规模效益. 大集群因为其支持大规模融合与整合,可以协助优化整体资本支出,而不断吸引业内目光.那么为什么我们不把现在所有的IT基础设施都集群化呢?大规模集群管理和运维都相当复杂,尤其是在开始将工作负载和租户结合后.如果建造了一个大集群,

一步到位分布式开发Zookeeper实现集群管理

说到分布式开发Zookeeper是必须了解和掌握的,分布式消息服务kafka .hbase 到hadoop等分布式大数据处理都会用到Zookeeper,所以在此将Zookeeper作为基础来讲解.   Zookeeper 是分布式服务框架,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等等. Zookeeper 的核心是广播,这个机制保证了各个Server之间的同步.实现这个机制的协议叫做Zab协议. Zab协议有两种模式,

Spark集群管理器介绍

Spark可以运行在各种集群管理器上,并通过集群管理器访问集群中的其他机器. Spark主要有三种集群管理器,如果只是想让spark运行起来,可以采用spark自带的独立集群管理器,采用独立部署的模式:如果是想让Spark部署在其他集群上,各应用共享集群的话,可以采取两种集群管理器:Hadoop Yarn 或 Apache Mesos. 一.独立集群管理器 Spark独立集群管理器提供的在集群上运行应用的简单方法.要使用集群启动脚本,按照以下步骤执行即可: 1.将编译好的Spark发送到集群的其

ONOS集群管理架构分析

除了分发数据,ONOS集群还要负责以下的任务: 1.检测和处理集群节点的加入和离开(由Cluster Subsystem管理) 2.为每一个设备提供一个主Controller ONOS集群协调的一个重要工具便是Store,Store生成事件,事件被分布式储存持久化,在集群中共享. 根据具体服务的需求,储存的内容可以有不同的特征,如强一致性或最终一致性,这使得每个服务的储存根据需求采用合适的分布机制. 目前ONOS主控部分采用Hazelcast以达到强一致性,而Device.Link等部分的管理使

集群管理器和调度器 Nomad

Nomad 详细介绍 Nomad 是一个集群管理器和调度器,专为微服务和批量处理工作流设计.Nomad 是分布式,高可用,可扩展到跨数据中心和区域的数千个节点. Nomad 提供一个常规工作流跨基础设施部署应用.开发者使用一个声明式作业规范来定义应用该如何部署,资源有什么要求(CPU,内存,硬盘).Nomad 接收这些作业,查找可用的资源来运行应用.调度算法确保所有的约束都满足,尽量在一个主机部署尽可能多的应用,优化资源利用.此外,Nomad 支持在所有主流操作系统运行虚拟化,容器化或者是独立的