探秘阿里分布式任务调度服务SchedulerX

7月中上旬,阿里云企业级分布式应用服务EDAS低调上线分布式任务调度服务,目前处于免费公测阶段。SchedulerX——是该服务在阿里内部的产品名字,顾名思义,比调度做的更多。随着公测的开启,阿里巴巴内部又一款核心中间件产品浮出水面。

SchedulerX是阿里巴巴集团中间件团队开发的一款高性能、分布式任务调度产品,在阿里内部有着广泛的使用,经过集团内上千个业务应用历经多年打磨而成。截止2016年6月,每天平稳运行集团内几十万个任务,完成每天几亿次的任务调度。在未来SchedulerX将支持更多特性以满足集团内外不断增长的用户需求。

SchedulerX 1.0:让任务分布式起来

在2011年之前,阿里中间件的TTM提供定时任务触发服务,随着淘宝业务不断发展壮大TTM简单的触发功能越来越不满足业务不断增长的需求,在很多场景下TTM无法为用户解决问题。比如用户希望能将一个耗时很长的定时任务进行拆解,然后将拆解后的任务分片分发到多台机器去并行处理,这样就能大大减少任务执行的时间。公司内部的一些其他分布式任务调度解决方案,虽然能满足需求但是易用性较差,文档缺失严重,而且没人维护,经常由于重度依赖ZooKeeper导致些严重问题,想要做到大规模的推广比较困难。于是阿里中间件开发了TTD,也就是SchedulerX的前身。

SchedulerX1.0 (TTD)提供了自主运维管理后台,让用户能通过页面来配置、修改和管理定时任务。SchedulerX1.0还能管理任务执行的生命周期,从每次任务执行开始一直到任务执行结束都有记录,用户能看到每次任务执行的开始和结束时间以及能看到执行成功或者失败,SchedulerX1.0还会为用户保留过去的执行记录,用户可以查看定时任务历史执行记录。SchedulerX1.0解决了用户很多痛点,比如以前使用TTM要修改时间表达式的话需要修改代码配置然后再重新发布应用,而SchedulerX1.0则提供了统一的运维管理后台,用户只需要在页面上修改时间表达式即可,不需要重新发布跑定时任务的业务应用。

此外,SchedulerX1.0能把一个执行耗时很长的定时任务拆分成多个子任务分片然后分发到多台机器去并行执行这样就大大减少了定时任务执行的时间。比如集团内很多历史数据迁移的场景,这样的场景往往是每天执行一次,而由于每次迁移的数据量巨大如果单台机器去迁移的话是没办法在一天之内完成迁移任务的,所以必须将这样一个迁移任务拆分成多个子任务分片,然后用多台机器去执行不同的子任务分片,这样就能大大缩短任务执行的时间满足业务需求。更重要的是SchedulerX1.0的编程模型和用户接口都非常简单,用户只需要实现相应的接口即可。

SchedulerX 2.0:完善的任务调度体系

随着集团业务继续发展壮大以及SchedulerX1.0推广运营的过程中收集到的用户反馈和需求,我们决定扩展SchedulerX1.0并开发下一个版本SchedulerX2.0(开发代号为:DTS)。SchedulerX2.0(DTS)进一步提升用户体验,除了优化编程模型,减少用户配置和程序接口之外,同时还新增了多项功能特性,以满足集团内不断增长的业务需求。

SchedulerX2.0(DTS)支持七种功能特性。

简单job单机版是每次随机选择一台机器只执行任务,这种场景用的最多就是一般情况下任务只运行在一台机器执行,但是为了防止单点问题还的解决多机备份的问题,当一台机器宕机的时候可以自动切换到其他正常机器去执行。

简单job广播版则是每次选择所有机器同时触发执行,比如需要定时更新本地内存的场景,这样就需要每台机器同时刷新内存。

并行计算job就是将一个耗时很长的大任务拆分成多个小的子任务然后分发到多台机器去并行执行。

图示计算(任务依赖),这种特性往往用于有业务数据依赖的多个任务之间按照严格先后顺序执行的场景。阿里内部有很多这种场景,两个或者多个任务之间按照某种业务逻辑顺序去执行,比如两个任务A,B其中A执行结束之后B才能开始执行。

 

脚本Job就是只shell,php,python等定时执行的脚本任务,比如集团技术保障部,虾米音乐等部门有大量需要定时执行的shell,php,python等脚本。用户只需要在SchedulerX2.0(DTS)管理后台配置上要定时执行的shell,php,python等命令即可,用户不需要额外写一行代码。

SchedulerX2.0(DTS)的管理运维控制台提供任务配置管理,以及历史执行记录查询,还有完善的监控报警功能。任务没有准点执行能给用户发送报警,任务执行超过预期的时间也能给用户发送报警,甚至任务执行失败了都能给用户发送短信报警。

SchedulerX2.0(DTS)还支持基于SchedulerX2.0的二次开发,用户可以通过SDK里的api来创建,修改,删除任务。在阿里内部有很多业务方在SchedulerX2.0的基础上构建他们自己的任务调度平台。

SchedulerX2.0(DTS)还支持超大规模定时触发器,用户可以通过api创建千亿量级的一次性定时触发器,比如每条交易订单创建的时候就在SchedulerX2.0创建一个定时触发器,用户设置这个触发器的触发时间,到了每个触发器触发时间就会有一个事件通知交易系统去提醒用户确认收货超时。

SchedulerX 3.0:在路上

据悉,目前阿里中间件正在开发SchedulerX3.0,该版本的分布式任务调度将支持更多功能特性,用户值得期待。

时间: 2024-11-03 21:04:14

探秘阿里分布式任务调度服务SchedulerX的相关文章

探秘阿里EDAS任务调度服务

近日,阿里云企业级分布式应用服务EDAS(https://www.aliyun.com/product/edas)上线分布式任务调度服务(低至1元/月,畅享任务调度服务,点击查看该活动),目前处于免费公测阶段.SchedulerX--是该服务在阿里内部的产品名字,顾名思义,比调度做的更多.随着公测的开启,阿里巴巴内部又一款核心中间件产品浮出水面. SchedulerX是阿里巴巴集团中间件团队开发的一款高性能.分布式任务调度产品,在阿里内部有着广泛的使用,经过集团内上千个业务应用历经多年打磨而成.

任务调度服务SchedulerX系列之任务调度类型全解析

SchedulerX支持多种类型的分布式任务调度模式,用户的客户端可以单机.集群方式接入SchedulerX系统.SchedulerX就可以根据用户的任务配置,进行多种类型的分布式调度,触发用户定制的业务逻辑,进行业务处理. 1.单机调度 用户应用程序依赖了SchedulerX-Client之后,配置上相应的分组信息,启动后即可连入到SchedulerX系统,当有任务的触发周期到达时,就会回调用户应用程序去执行用户实现的业务逻辑. 但当用户应用程序是分布式部署的,即有多台部署了用户应用程序和Sc

阿里分布式数据库服务实践

沈询: 阿里巴巴资深技术专家,08年加入阿里巴巴,一直从事阿里分布式数据层方面的研发工作,参与了公司大部分的去IOE工作,具备较多实操经验.目前主要负责淘宝分布式数据层(TDDL),阿里分布式数据库服务(DRDS),阿里分布式消息服务(Notify,MetaQ)的开发和架构设计工作. 经过近一年的运营,阿里巴巴的分布式数据库(DRDS)已经协助电商,电信,银行,政府等多种类型的系统进行过业务分布式改造,在系统实施的过程中,我们碰到和解决了哪些问题? 他们是怎么解决的?背后的思考是什么?未来在何方

利用Docker和阿里云容器服务轻松搭建分布式TensorFlow训练集群(上)

本系列将利用Docker技术在阿里云HPC和容器服务上,帮助您上手TensorFlow的机器学习方案 第一篇:打造TensorFlow的实验环境 第二篇:轻松搭建TensorFlow Serving集群 第三篇:打通TensorFlow持续训练链路 第四篇:利用Neural Style的TensorFlow实现,像梵高一样作画 第五篇:轻松搭建分布式TensorFlow训练集群(上) 本文是该系列中的第五篇文章, 将为您介绍如何在本机以及HPC和阿里云容器服务上快速部署和使用分布式TensorF

Docker监控:基于阿里云容器服务构建自己的Docker监控框架

微服务架构通过将一个复杂系统分解成一系列独立开发.部署和运维的服务,提升了整个系统的敏捷性,可以灵活的响应业务和规模的变化.而Docker技术则将服务的部署和环境完全解耦,利用Docker的可移植性和敏捷性,快速交付分布式应用,从而大大提升了部署运维效率.然而大规模分布式微服务应用,也会给系统监控带来新的挑战. 除去分布式应用自身的复杂性,微服务倡导的快速迭代和动态部署都会加剧管控的复杂性.从技术角度来看,传统的监控系统大多是针对物理机或虚拟机设计的,通常使用静态的配置项来建立应用.环境与监控指

云时代的分布式数据库:阿里分布式数据库服务DRDS

摘要:伴随着系统性能.成本及扩展性的新时代需要,以HBase.MongoDB为代表的NoSQL数据库和以阿里DRDS.VoltDB.ScaleBase为代表的分布式NewSQL数据库如雨后春笋般不断涌现出来.本文详细介绍了阿里分布式数据库服务DRDS. 随着互联网时代的到来,计算机要管理的数据量呈指数级别地飞速上涨,而我们却完全无法对用户数做出准确预估.我们的系统所需要支持的用户数,很可能在短短的一个月内突然爆发式地增长几千倍,数据也很可能快速地从原来的几百GB飞速上涨到了几百个TB.如果在这爆

云时代的分布式数据库:阿里分布式数据库服务 DRDS

随着互联网时代的到来,计算机要管理的数据量呈指数级别地飞速上涨,而我们却完全无法对用户数做出准确预估.我们的系统所需要支持的用户数,很可能在短短 的一个月内突然爆发式地增长几千倍,数据也很可能快速地从原来的几百GB飞速上涨到了几百个TB.如果在这爆发的关键时刻,系统不稳定或无法访问,那么对 于业务将会是毁灭性的打击. 伴随着这种对于系统性能.成本以及扩展性的新需要,以HBase.MongoDB为代表的NoSQL数据库和以阿里DRDS.VoltDB.ScaleBase为代表的分布式NewSQL数据

阿里云容器服务简介

容器服务是阿里云在2015年12月推出的一项新产品,目前正处于公测阶段.   容器服务是一项高性能可扩展的容器管理服务,支持在一组阿里云云服务器上通过 Docker容器来部署或编排应用.用户不再需要安装.运维.扩展自己的集群管理基础设施,而是可以直接通过阿里云控制台图形化界面或API进行容器操作和生命周期管理.容器服务整合了阿里云负载均衡SLB.专有网络 VPC等云产品,为云应用部署与运维场景提供丰富的一站式功能支持.   和业内同类容器服务产品AWS EC2 Container Service

阿里云容器服务飞天敏捷版详解

概述 飞天敏捷版深度整合了Docker商业版套件和阿里的容器服务,成为国内唯一具有全商业版支持能力的容器云平台,可以部署在客户自有数据中心,包含从容器的创建到运行以及镜像的全生命周期管理.飞天敏捷版另外提供开放的接口,全面兼容Docker原生API和命令行以及第三方工具,为客户提供敏捷.弹性.开放的容器云平台.借助阿里云在公共云和专有云方面的积累,飞天敏捷版更提供了独特的混合云管理模式,让客户轻松管理云上云下运行环境. 飞天敏捷版的架构可以用下图表示: 从图中我们可以看到,飞天敏捷版底层基于Do