在阿里云容器服务中使用定时任务

定时任务是常见需求。普遍的做法是,选择一台或几台机器,通过crontab实现定时任务。但是对于大规模或大量的定时任务,这种做法的缺点非常多,比如:

  • 可靠性低,一台机器宕机,该机器上的定时任务就无法执行了
  • 没有调度功能,机器之间的负载可能不均衡
  • 没有重试机制,任务可能运行失败
  • 无法运行大规模分布式任务

阿里云容器服务在离线任务的基础上,增加了定时任务的功能,通过简单的描述,解决了上述问题。关于离线任务的细节,请参考在阿里云容器服务中运行离线作业。

只有10月25号之后升级了agent版本或新创建的集群才能使用该功能。

基于docker compose的定时任务描述

跟离线任务一样,定时任务也是基于docker compose的,只需要在应用模板里添加aliyun.schedule标签,如下面例子所示。

version: "2"
labels:
  aliyun.project_type: "batch"
  aliyun.schedule: "0-59/30     *"
services:
  s1:
    image: registry.aliyuncs.com/jimmycmh/busybox:latest
    labels:
      aliyun.scale: "5"
      aliyun.retry_count: "3"
      aliyun.remove_containers: "remove-all"
    command: date

其中aliyun.schedule: "0-59/30 *"表示每30秒执行一次该任务;schedule的格式跟crontab完全相同(但要注意格式是秒 分 时 天 月 星期,比linux上的crontab多了秒这一项),使用的时间为北京时间。
因为定时任务只能是离线任务,只要添加了aliyun.schedule标签,会自动添加aliyun.project_type: "batch"标签,因此上述例子中aliyun.project_type: "batch"也可以省略。

另外,离线任务中所有的功能,在定时任务中依然可用。比如scaleretry_countremove_containers等,具体含义请参考离线任务的文档。

执行过程

定时任务被创建后,应用处于“等待”状态。当任务指定的时间到达时,任务会被启动运行,其后的状态变化跟离线应用相同;下一个执行时间到达时,应用状态会重复这一过程。

同一个定时任务同一时刻只会有一个实例在执行,如果任务的执行时间大于其执行周期(比如上述任务的执行时间大于30秒),则下一次执行会进入执行队列;如果执行队列长度大于3,则会丢弃该次执行。

可以在应用详情中查看运行历史及结果,如下图所示;只保留最后10次的运行历史。

高可用性

定时任务控制器采用主-从备模式。主控制器故障时,控制功能将切换至备用控制器。

如果任务的执行时刻正好在主从切换期间,则会延迟至切换完成后执行;如果主从切换期间同一个任务有多次执行,切换完成后只会执行一次。

一般情况下,主从切换时间是秒级,但是为了保证不丢失,请不要设置重复周期小于1分钟的定时任务。

时间: 2024-10-04 00:57:50

在阿里云容器服务中使用定时任务的相关文章

当Docker遇到数据库:在阿里云容器服务中使用RDS

Docker与持久化服务 最近一段时间以来,微服务架构和Docker成为了技术社区的"网红".其背后的原因是将微服务与Docker的结合在一起对现有的软件生命周期从架构设计.开发测试到运维迭代构成了一种"颠覆性"的力量:微服务鼓励开发者将整个软件解构为较小的功能组件:每个组件能够独立开发.运维.伸缩和容错:组件之间通过标准的服务接口进行通信,而组件可以选择最适合的技术栈来实现.而容器技术进一步拓展了这种解耦性,它能够将软件与其部署环境分离,利用容器敏捷和可移植的使得

在阿里云容器服务中使用NAS(NFS)数据卷

在阿里云容器服务中使用NAS(NFS)数据卷 Docker的特性,决定了容器本身是非持久化的,容器被删除后其中的数据也一并被删除了.Docker提供数据卷(Volume),通过挂载宿主机上的目录来实现持久存储. 但宿主机上的数据卷有很大的局限性 容器在机器间迁移时,数据无法迁移 不同机器之间不能共享数据卷 为了解决这些问题,阿里云容器服务提供第三方数据卷,将各种云存储包装成数据卷,可以直接挂载在容器上,不同容器间可以共享,并在容器重启.迁移时自动重新挂载. 在上一篇文章中,我们介绍了如何使用OS

在阿里云容器服务中运行离线作业

目前在在线应用,尤其是无状态的在线应用领域,Docker容器已经成为执行层的事实标准,有大量云服务商提供容器云服务.但在离线计算领域,还很少有服务商提供这样的能力. 但离线计算在实际生产中使用很广,小到一个脚本任务,大到大数据分析:而且离线计算对资源隔离.环境隔离的需求更高,这正是docker容器的优势.因此,阿里云容器服务抽象出离线计算的基本模型,推出了基于Docker容器的离线计算功能.其核心功能是: 作业编排 作业调度与生命周期管理 存储与日志等功能的集成 基本概念 首先介绍一下离线计算的

利用Docker和阿里云容器服务部署高可用Ghost博客集群

简介 Ghost是一个流行的开源博客平台(Open source blogging platform),基于 Node.js 构建,博客内容默认采用 Markdown 语法书写,给用户提供一种更加纯粹的内容写作与发布平台. Ghost的部署和运维需要一定的Web开发基础,利用Docker技术可以大大简化Ghost的部署和更新.Docker Hub上面也提供了Ghost官方镜像 使用Docker镜像,不懂得Node.Js的同学也可以分分钟在本地或阿里云容器服务上搭建起一个单节点的Ghost博客,但

Python应用容器化(二)----使用阿里云容器服务部署应用

前言 我们曾经在Python程序容器化(一)中介绍了如何将一个克隆版Twitter程序(retwit-py)容器化,并使用docker-compose运行于宿主机上.对于经典的Web程序,处理前端请求的Web服务通常都是可扩展伸缩的.生产环境中,随着访问量的不断增长,需要部署多个Web服务实例,并通过负载均衡统一对外进行服务.本文将会介绍如何使用阿里云容器服务将retwit-py改造为贴近生产环境的系统并部署. 阿里云容器服务 容器服务是一项高性能可扩展的容器管理服务,支持在一组阿里云云服务器上

利用Docker和阿里云容器服务轻松搭建分布式TensorFlow训练集群(上)

本系列将利用Docker技术在阿里云HPC和容器服务上,帮助您上手TensorFlow的机器学习方案 第一篇:打造TensorFlow的实验环境 第二篇:轻松搭建TensorFlow Serving集群 第三篇:打通TensorFlow持续训练链路 第四篇:利用Neural Style的TensorFlow实现,像梵高一样作画 第五篇:轻松搭建分布式TensorFlow训练集群(上) 本文是该系列中的第五篇文章, 将为您介绍如何在本机以及HPC和阿里云容器服务上快速部署和使用分布式TensorF

阿里云容器服务新增支持Kubernetes编排系统,性能重大提升

阿里云容器服务提供了面向企业客户的技术能力,为企业应用容器化提供了迁移工具和咨询服务.深度学习.区块链等应用解决方案,以帮助企业优化现有IT投资和加速业务创新. 10月12日云栖大会上,阿里云专有云新版本(飞天专有云敏捷版2.0)宣告了对Kubernetes的支持:日前,公共云容器服务也宣布了开放支持Kubernetes 1.8.1 版本的托管服务,并且成为全球首批通过Kubernetes一致性认证的厂商之一.作为容器编排系统的两大流派, Kubernetes和Swarm的重要性不言而喻.融合了

区块链Hyperledger Fabric在阿里云容器服务Kubernetes中的进阶使用技巧(一)

我们在支持用户在阿里云容器服务Kubernetes集群中使用容器服务区块链Hyperledger Fabric配置部署解决方案.或者使用自建的基于Hyperledger Fabric的区块链方案的过程中,逐渐积累了一些相关的进阶使用经验.技巧和最佳实践,涵盖了系统设计.资源规划.服务使用.错误诊断.运营维护等方面,适用于区块链Hyperledger Fabric应用和方案的开发测试.以及生产部署等用途.这些内容将以系列文章的形式陆续发布并更新,同时欢迎有兴趣.有经验的朋友不吝指正. 利用区块链解

Docker监控:基于阿里云容器服务构建自己的Docker监控框架

微服务架构通过将一个复杂系统分解成一系列独立开发.部署和运维的服务,提升了整个系统的敏捷性,可以灵活的响应业务和规模的变化.而Docker技术则将服务的部署和环境完全解耦,利用Docker的可移植性和敏捷性,快速交付分布式应用,从而大大提升了部署运维效率.然而大规模分布式微服务应用,也会给系统监控带来新的挑战. 除去分布式应用自身的复杂性,微服务倡导的快速迭代和动态部署都会加剧管控的复杂性.从技术角度来看,传统的监控系统大多是针对物理机或虚拟机设计的,通常使用静态的配置项来建立应用.环境与监控指