阿里 Pouch 技术开源负责人孙宏亮:如何在复杂场景下实现容器技术的大规模运用

日前,在2017中国开源年会上,阿里巴巴自研容器技术 Pouch 宣布开源。在双十一买买买的狂潮之后,阿里选择第一时间将 Pouch 技术开源,无疑,这又一次吸引无数开发者的目光。

借助阿里将自研容器技术 Pouch 开源的契机,记者第一时间采访到阿里 Pouch 技术的开源负责人孙宏亮。他目前负责的内容包含制定 Pouch 技术发展方向,管理与维护 Pouch 开源社区。记者与他详细探讨了 Pouch 技术的一些关键细节,此次开源的缘由以及下一步的展望。

图:阿里 Pouch 技术开源负责人孙宏亮

阿里“云化战略”与容器技术

谈及 Pouch 技术之前,先来说说阿里在今年双十一的“云化战略”。云化技术战略是阿里集团基础设施近年来一直在努力的方向,这其中包括混合云、资源 Pouch 容器化、统一调度、存储计算分离和混部等多项技术的不断突破和创新。这一战略是支撑今年庞大支付量(3 分钟 GMV 超百亿,一小时 GMV 近 600 亿,零点后交易峰值 32.5 万笔/秒,支付峰值 25.6 万笔/秒)的基础,而 Pouch 容器技术在这一战略中占据了尤为重要的地位,它对业务没有任何侵入性,是实现便捷调度,统一基础运维资源接口的基础。

据悉,截止到今年双 11,阿里已在集团范围内实现在线服务全部 Pouch 容器化,内部已达到百万级容器部署规模。

作为一种轻量级、可移植、自包含的软件打包技术,容器技术可以使应用程序在几乎任何地方以相同的方式运行。开发人员在自己笔记本上创建并测试好的容器,无需任何修改就能够在生产系统的虚拟机、物理服务器或公有云主机上运行。但目前来说,以 Docker 为主的容器技术占据了全球大部分市场,中国企业所占的市场份额少之又少。

自研 Pouch

配置快速简单、隔离性和安全性强等,这一系列技术特点让 Docker 成为容器界的网红。事实上,占据庞大市场份额的 Docker 不失为一个好选择,为何阿里会选择自研容器技术,AI科技评论向孙宏亮提出了这个疑问。

他表示,“阿里巴巴不能算是一家软件公司,而是一家技术驱动型公司。在业务的变化之下,需要技术能快速灵活的应对。社区版本的 Docker 的确是业界数一数二的软件,但是在面对一些场景时,难免存在开源软件的弊端。”

他也进一步说明——开源软件的发布周期是有计划的,很明确,但在面对快速变化的业务时,选择这类软件不是一个好方法。”技术在很多时候都是为了更好地支撑业务,本着业务第一的角度,始终要在‘follow开源软件’和‘自研软件自主可控’方面做出一个选择,阿里巴巴毫无意外选择了后者‘自研 Pouch 容器技术’。”

出于技术互补的考量,他们将 Docker 技术与阿里容器技术产品 T4 都做了一些修改整合后,将两者融合为了一个产品,这个产品在阿里内部被称为 AliDocker,也就是 Pouch 的前身。

图:Pouch演进之路

T4 是阿里在2011年的时候基于 Linux Container(LXC) 开发的容器技术基础设施。相比 Docker 的模式和理念,T4 其实更适合阿里内部的运维现状。T4 是从阿里内部的资源管理和日常运维中土生土长出来的产品,在诞生的第一天就针对内部基础设施、运维工具甚至是运维习惯做了很多特别的设计。因此,在阿里内部进行容器管理时,融合 T4 的 Pouch 技术比起 Docker 来说会稍胜一筹。


图:阿里 Pouch 技术历史

“Docker 诞生并走向流行的主要原因在于其提出的‘镜像技术’。Docker 对行业产生深远影响的是 Docker 镜像,这一点对于大型的互联网公司而言,相信肯定深有感触。因此,Docker 镜像流行开来之后,阿里巴巴没有理由不去接受这种给行业带来大价值的技术。”孙宏亮对AI科技评论说道,“这也就回到了‘阿里容器技术融合 Docker 镜像’的这一事实上。另外,一方面,Docker 社区中一些优秀的设计理念以及好的功能实现,我们也在 Pouch 版本中引入,保障 Pouch 和社区的同步。”

关键考虑

Pouch 容器技术的诞生过程中究竟有哪些棘手问题?孙宏亮对AI科技评论说道,“容器的运用不是一个难题,容器技术的大规模运用却是一个十分棘手的问题。要想实现大规模应用,容器技术必须要有能力覆盖足够多的场景。而场景复杂的环境中,安全、性能、稳定问题都会逐渐暴露出来。”

他具体解释了如下三个关键方面:安全、性能、稳定性。

  • 安全方面,主要在 Pouch 技术的隔离功能上线这一节点。在这个节点上,阿里内核也提供了相应的隔离特性,Pouch 也实现了磁盘隔离、网络隔离等功能,从而初步具备大规模应用的能力。
  • 性能方面,主要在 Pouch 支持P2P镜像分发这一节点。企业数据中心集群规模上升之后,容器镜像的传输效率、镜像仓库的网络能力很容易成为瓶颈,为此阿里巴巴研发了镜像分发工具“蜻蜓”,保障镜像分发效率,从而保障业务分发速度。
  • 当安全与性能达标之后,随着规模的继续增长,Pouch 的稳定性提升就成为新的发展拐点。Pouch 在2017年双11的接近一年时间内,投入了巨大精力提升 Pouch 的稳定性,同时对稳定性的指标要求也是不断在提高。直到今年双11,1682亿交易额背后拥有百万级容器规模的支撑集群,也极大的验证了稳定性的战役取得了不小的成绩。

“数年如一日,长时间的技术锤炼与经验积累,铸就了阿里容器今天的成绩。阿里巴巴长时间踩过的坑、走过的弯路,让 Pouch 以一个务实者的姿态出现在如今的容器生态圈,阿里认为‘只有 Pouch 更懂应用,更贴近场景’。”孙宏亮由衷感慨。

他表示,他们目前依然处于攻克一些容器技术难题的过程中,这些技术难题,主要围绕在容器的安全隔离性方面。传统容器主要完全依赖于 Linux 内核的特性提供隔离,而他们认为这样的隔离方式存在缺陷。他进一步陈述到,

  • 第一,我们 Pouch 团队积极与阿里内核团队展开研究合作,在内核架构层面提出创新,尝试让未来的内核技术解决容器技术的隔离性问题。
  • 与此同时,容器技术在软硬件结合层面,依然有很多技术创新的可能性,在基于轻量级虚拟化技术的容器实现中,我们也在于虚拟化团队尝试为 Pouch 做硬件适配,保障提供基于 hypervisor 的隔离性,同时提供硬件加速提高效率。

拥抱开源生态

此次开源对阿里的战略意义何在?

孙宏亮对AI科技评论如此说道,“虽然目前容器生态中关于容器引擎方面,已经有了比较成熟的产品,但是阿里巴巴认为,现有的容器技术在技术落地方面仍然存在一些不足之处。比如,现有的容器技术,对企业的传统应用侵入性依然很高,这也就导致了企业在走向云化,拥抱 Cloud Native 方面存在现实阻力。而阿里内部之所以可以做到业务100%容器化,主要是借助阿里巴巴集团系统软件部对业务系统的了解,与容器技术 Pouch 的不断优化。而 Pouch 这方面的技术优势,对行业无疑是拥有难以估量的价值的,阿里巴巴希望通过开源的方式,把经验和心得与行业共享,真正让行业在云化道路上加快进程,早日拥抱 Cloud Native。”

图:阿里 Pouch 开源计划

阿里巴巴对于 Pouch 的开源计划则主要围绕3点:拥抱生态,解耦依赖与合作共建。

  • 拥抱生态是什么意思呢? 他们希望以标准化的方式去做一些事情,比如,会去兼容 CNCF 基金会中的 kubernetes 生态,会在网络、存储等标准化作出贡献。
  • 解耦依赖,主要是指的阿里容器技术目前和内部系统仍有部分耦合,他们会解耦依赖,抽离通用部分,贡献给社区。
  • 合作共建指的是他们会和合作伙伴一起共建生态,目前他们已经和浙江大学SEL实验室等合作伙伴达成协议,共同参与开源生态,打造国际知名容器品牌。

目前,阿里巴巴容器技术 Pouch 团队有十余位工程师在做开源建设。在采访中,孙宏亮也提到,他们在持续招聘容器领域的专家,预计到18年上半年,这个团队会扩大至20人以上。

Pouch 的代码也已经在 GitHub 公开,大家可以到这个地址查看详情:

https://github.com/alibaba/pouch

原文发布时间为:2017-11-25

本文作者:Non

本文来自合作伙伴“AI科技评论”,了解相关信息可以关注“AI科技评论”。

时间: 2024-09-15 11:13:56

阿里 Pouch 技术开源负责人孙宏亮:如何在复杂场景下实现容器技术的大规模运用的相关文章

重磅!阿里自研容器技术Pouch宣布即将开源

在2017杭州云栖大会上,阿里巴巴正式宣布自主研发的容器技术Pouch即将开源.经过七年的沉淀和锤炼,阿里希望通过开源的形式回馈社区,与开发者共同推动容器技术发展,共建容器技术标准. 拥抱生态,阿里容器宣布开源计划 "技术"是今年云栖大会的最大亮点之一.大会首日阿里巴巴达摩院宣告成立,计划3年投入超1000亿立志以技术创新世界,第二天阿里内部自研容器技术Pouch宣布开源. 现代化IT管理中,容器技术已经成为一种潮流.越来越多的企业选择容器技术来分发业务,越来越多的数据中心采纳容器技术

腾讯云刘永峰:容器技术实现游戏真正云化

[编者按]容器技术是一种轻量级虚拟化技术,能够以很细的粒度,虚拟化独立的系统运行环境.这就意味着,一台物理的服务器,或者是一台云上面的虚拟服务器,能够同时运行成百上千个独立的容器.基于游戏行业"短平快"的鲜明特点,每一个游戏世界里面,每一种业务逻辑,譬如控制人物的行走,战斗,场景,聊天,存档,数据库等,都可以运行在一个独立的容器中.这一系列的容器,就构成了一个独立的游戏世界的自治系统.目前,腾讯内部业务运行环境基本全部实现了容器化,在2014 Container技术大会中,腾讯云高级产

阿里巴巴正式开源其自研容器技术Pouch

在中国开源年会现场,阿里巴巴正式开源了基于 Apache 2.0 协议的容器技术 Pouch.Pouch 是一款轻量级的容器技术,拥有快速高效.可移植性高.资源占用少等特性,主要帮助阿里更快的做到内部业务的交付,同时提高超大规模下数据中心的物理资源利用率.开源之后,Pouch 成为一项普惠技术,人人都可以在 GitHub 上获取,GitHub 项目地址: https://github.com/alibaba/pouch Pouch 的开源,是阿里看好容器技术的一个信号.时至今日,全球范围内,容器

阿里巴巴正式开源自研容器技术Pouch

阿里巴巴正式开源自研容器技术 Pouch 11月19日上午,在<中国开源年会>现场,阿里巴巴正式开源了基于Apache 2.0协议的容器技术Pouch.Pouch是一款轻量级的容器技术,拥有快速高效.可移植性高.资源占用少等特性,主要帮助阿里更快的做到内部业务的交付,同时提高超大规模下数据中心的物理资源利用率.开源之后,Pouch成为一项普惠技术,人人都可以在GitHub上获取,GitHub项目地址:https://github.com/alibaba/pouch . Pouch的开源,是阿里

国内首个容器技术白皮书抢先看 —— 计算开源产业联盟第二次成果发布会即将召开

2016年12月2日,云计算开源产业联盟(OSCAR)将在北京民族饭店召开2016年会暨第二次成果发布会,披露多项重量级工作成果.中国信息通信研究院.华为.烽火.IBM.云栈科技.博云.京东.豆瓣等多家机构和企业将联合发布国内首个容器技术白皮书--"<中国云计算产业发展白皮书>第二部分:基于容器技术的产业".白皮书详细阐述了近两年异常火爆的容器技术的发展历程,全面分析容器技术的特点和优势,介绍容器技术主要的应用场景以及未来发展方向,为业界进进一步了解容器技术和用户相关决策提

云计算:容器技术变革云计算,SaaS带动CaaS市场

报告摘要: 1.容器技术增速惊人,市场认可度提高 虚拟化是云计算的重要基础,Docker定义了一套容器从构建到执行的标准化体系,改变了传统的虚拟化技术,深度影响了云计算领域. 随着谷歌.亚马逊.微软等云计算厂商纷纷加大对Docker开源技术的投入,CaaS(Container-as-a-Service)的市场大门正式被开启.根据统计,到2015年全球已有46万个应用Docker化,两年实现增长3,000%.在发展速度上,已超过当时的虚拟化技术和云计算技术. 2.SaaS产业向移动和垂直领域发展,

国内首个容器技术白皮书即将发布

本文讲的是国内首个容器技术白皮书即将发布[IT168 云计算]近两年,容器已经成为云计算领域快速崛起的一项开源技术,越来越多的企业在实际项目中应用容器技术.为了让业界能够更加深入地了解容器技术,OSCAR继7月份发布"<中国云计算产业发展白皮书>第一部分:基于OpenStack技术的产业"后,将在此次大会上发布业界首个容器技术白皮书--<中国云计算产业发展白皮书>第二部分:基于容器技术的产业".         12月2日,云计算开源产业联盟(OSCA

容器到底可以做什么?—客户不再头疼 —— OSCAR即将发布“容器技术应用场景”规范

容器产业化的三个问题 现在的容器真是让人欢喜让人忧,在客户那里,厂商经常表示容器无所不能,但又有很多客户吐槽容器体验不好.所以,容器你想闹哪样? 容器表示很无辜,我本将心向明月,奈何明月"掉"沟渠.好好的明月技术,用不好,真是有很多的Gap. 不可否认,容器现在还处在初级发展阶段,仍有很多需要完善的地方,但是目前市场上也有很多成功使用容器的案例. 容器能做什么? 怎么做? 怎么选技术解决方案? 这是客户需要亟需了解的三个问题. 容器技术能够帮助企业解决什么具体问题?企业在部署容器技术时

Forrester:全面掌握关于容器技术的云原生解决方案生态系统

容器技术让企业能更快速地开发出高度差异化的应用和服务,并且带来应用质量和地域覆盖范围的提升,以此创造出富有吸引力的用户体验.容器技术已成为数字化转型中至关重要的元素,它为企业架构师带来了更快速的软件交付,更大的应用规模,更好的弹性和灵活性以及更丰富的实施方案选择.企业应用的基础设施.开发方式以及架构都在发生改变,而容器技术在每个方面都扮演着重要角色. 然而正如Forrester的<科技雷达图:商业科技基础设施>报告中提到的,容器和容器管理技术依旧处在创建阶段,这意味着容器的一些组件和管理工具依