当Docker遇到数据库:在阿里云容器服务中使用RDS

Docker与持久化服务

最近一段时间以来,微服务架构和Docker成为了技术社区的“网红”。其背后的原因是将微服务与Docker的结合在一起对现有的软件生命周期从架构设计、开发测试到运维迭代构成了一种“颠覆性”的力量:微服务鼓励开发者将整个软件解构为较小的功能组件;每个组件能够独立开发、运维、伸缩和容错;组件之间通过标准的服务接口进行通信,而组件可以选择最适合的技术栈来实现。而容器技术进一步拓展了这种解耦性,它能够将软件与其部署环境分离,利用容器敏捷和可移植的使得容器化的组件可以更快地进行创建,在软件流水线不同阶段使用完全相同的镜像部署,不但能够更好的确保软件质量并且更易于维护。

大家在实践中会发现:Docker容器非常适用于无状态的应用,比如Web应用,计算任务等等;利用容器技术,这些应用可以弹性扩展,可以快速部署和回退;然而很多开发者遇到的一个重要的挑战就是:如何对待有状态的服务?这里是指服务本身需要持久化保存某些数据(即状态),不能随便丢弃这些数据。比如,数据库服务器、消息队列、文件存储等等。对于无状态应用,开发者可以像对待牛群(Cattle)那样,可以随时创建、抛弃或替换;而对于持久化服务,很多需要我们像爱护宠物(Pets)那样,精心调优,维护,备份恢复。

当然利用统一的技术解决不同类型工作负载的部署和运维是我们的理想,而且Docker在支持持久化服务的上面已经有了很大进步;比如利用Volume插件和分布式存储技术,Docker容器和它依赖的持久化数据可以更加简单的在不同宿主机节点上迁移。但是在容器环境中对持久化服务进行运维,依然还有很长的道路要走,需要服务的提供商针对容器化部署运维做出调整和简化,才能被社区所接受。

对于开发者而言,他们非常愿意在开发和测试环境中利用Docker容器来创建持久化服务,比如应用中所使用的MySQL数据库,Redis缓存等等。这样的好处是:可以快速构建开发环境,在开发团队中保持一致。然而在生产环境中,他们仍然希望引用外部独立部署的持久化服务,来保证服务质量,采用更加成熟的方式对持久化服务进行运维,比如使用阿里云关系数据库服务(RDS)。

是否有一种方法能够让应用在不同的环境中轻松切换来自不同实现的服务,而且保持行为一致?这样才能够平衡用户对开发和运维不同需求的矛盾。

在阿里云容器服务中,容器编排模板中不但支持容器的链接(Container linking),也非常方便的支持容器到外部服务的链接。这样我们可以在一个应用模板中,轻松地将MySQL容器替换为RDS实例的引用,无需修改任何应用代码。

使用容器Compose模板部署Ghost博客

我们将用之前介绍的Ghost博客应用来完成本次试验。

上文中,我们介绍了一个利用Ghost, MySQL的容器编排模板来部署一个高可用的Ghost博客集群。其Compose模板如下,

ghost:
  image: registry.aliyuncs.com/acs-sample/ghost:0.7
  links:
    - db:mysql
  ports:
    - "2368"
  environment:
    - GHOST_URL=http://blog.${ACS_DEFAULT_DOMAIN}
    - OSS_BUCKET=acs-sample-ghost
    - OSS_BUCKET=acs-sample-ghost
    - OSS_ACCESS_KEY_ID=*
    - OSS_ACCESS_KEY_SECRET=*
    - OSS_PREFIX=http://acs-sample-ghost.oss-cn-beijing.aliyuncs.com
    - OSS_ENDPOINT=http://oss-cn-beijing.aliyuncs.com
  labels:
    aliyun.routing.port_2368: 'http://blog'
    aliyun.scale: '3'
  restart: always
db:
  image: registry.aliyuncs.com/acs-sample/mysql:5.6
  environment:
    - MYSQL_ROOT_PASSWORD=example
    - MYSQL_DATABASE=ghost
    - MYSQL_USER=ghost
    - MYSQL_PASSWORD=ghost_db_password
  restart: always

注意:

  • 用户需要指定正确的OSS bucket和Access Key信息才能够利用,OSS提供的对象存储在不同的Ghost应用直接共享图片和上传的文件
  • 对于GHOST_URL环境变量需要和aliyun.routing标签定义的路由信息向匹配,除了上文提供的自定义域名的方式,用户还可以通过集群服务提供的二级域名来进行测试;访问地址格式如下,更多信息可参见帮助文档
    • <虚拟主机>.<集群ID>.<集群域名>.alicontainer.com

在Compose模板中,Ghost应用利用容器连接的方法引用MySQL容器提供的数据库服务。通过db:mysql定义的连接,Ghost容器中进程可以利用mysql作为host别名和引用db容器的环境变量,比如MYSQL_USERMYSQL_PASSWORD等,这样就可以实现与数据库的绑定。

使用RDS作为Ghost博客数据库

首先我们需要使用阿里云RDS创建一个MySQL数据库,或使用一个已有的RDS实例。

下图在北京域创建一个MySQL 5.6数据库,并选择与容器集群一致的网络类型(经典网络或VPC),这样使得北京域的部署的Docker应用可以通过内网访问RDS实例。

创建数据库用户“ghost”,数据库“blog”并授权。具体操作请参见RDS帮助文档

配置完成后,需要配置RDS对容器集群的访问白名单,创建一个白名单分组“acscluster”并把集群服务中所有ECS节点添加到列表中,这样就可以在集群中任何一个节点应用访问RDS实例了。


完成白名单配置之后,就可以从界面获得RDS的链接信息


现在我们就修改上文的Docker Compose模板来引用所创建的RDS实例了,修改结果如下

ghost:
  image: registry.aliyuncs.com/acs-sample/ghost:0.7
  links:
    - db:mysql
  ports:
    - "2368"
  environment:
    - GHOST_URL=http://blog.${ACS_DEFAULT_DOMAIN}
    - OSS_BUCKET=acs-sample-ghost
    - OSS_BUCKET=acs-sample-ghost
    - OSS_ACCESS_KEY_ID=*
    - OSS_ACCESS_KEY_SECRET=*
    - OSS_PREFIX=http://acs-sample-ghost.oss-cn-beijing.aliyuncs.com
    - OSS_ENDPOINT=http://oss-cn-beijing.aliyuncs.com
  labels:
    aliyun.routing.port_2368: 'http://blog'
    aliyun.scale: '3'
  restart: always
db:
  external:
    host: rds.mysql.rds.aliyuncs.com
    ports:
      - 3306
  environment:
    - MYSQL_DATABASE=blog
    - MYSQL_USER=ghost
    - MYSQL_PASSWORD=*

我们采用External来定义一个外部服务的引用,我们需要指定它的主机地址(host)和端口列表(ports),之后我们还是像原来的MySQL容器一样利用环境变量提供访问数据库的连接信息。这样当部署之后,容器服务可以让Ghost应用通过容器连接访问RDS实例,而其表现行为和连接MySQL容器完全一致,无需修改任何代码就可以让容器应用享受到专业化的数据服务了。这是不是很简单呢?:-)

注:用户需要根据实际情况确保db中host, MYSQL_PASSWORD等值与RDS配置保持一致

利用容器服务,我们可以方便的部署一个Compose模板, 详见上文,来创建一个利用RDS实现数据库访问的高可用Ghost集群。

访问容器应用中ghost服务提供的访问端点,会打开Ghost博客界面


一个崭新的博客就创建出来了!

总结

目前对持久化服务的容器化部署和运维依然是富有挑战性的工作。在现阶段,比较现实的方法是将成熟的云服务,比如阿里云RDS,MongoDB,Redis服务,和容器化应用结合在一起来简化使用并提高服务质量。

根据12-factor应用的建议:将应用逻辑和所依赖的服务解耦;将外部服务配置存储于环境变量中。这样可以方便地让应用在不同的部署间切换不同服务实现,无需改动一行代码。

在之前的文章里,我们为您提供了一些建议,可以构建出符合12-factor原则的云原生容器应用,方便的通过容器链接建立对其他容器的绑定。而阿里云容器服务可以让容器应用统一地使用链接的方式访问容器或外部服务;这个能力可以让用户针对不同场景选择最合适的持久化服务实现。

时间: 2024-10-03 05:05:24

当Docker遇到数据库:在阿里云容器服务中使用RDS的相关文章

在阿里云容器服务中运行离线作业

目前在在线应用,尤其是无状态的在线应用领域,Docker容器已经成为执行层的事实标准,有大量云服务商提供容器云服务.但在离线计算领域,还很少有服务商提供这样的能力. 但离线计算在实际生产中使用很广,小到一个脚本任务,大到大数据分析:而且离线计算对资源隔离.环境隔离的需求更高,这正是docker容器的优势.因此,阿里云容器服务抽象出离线计算的基本模型,推出了基于Docker容器的离线计算功能.其核心功能是: 作业编排 作业调度与生命周期管理 存储与日志等功能的集成 基本概念 首先介绍一下离线计算的

在阿里云容器服务中使用NAS(NFS)数据卷

在阿里云容器服务中使用NAS(NFS)数据卷 Docker的特性,决定了容器本身是非持久化的,容器被删除后其中的数据也一并被删除了.Docker提供数据卷(Volume),通过挂载宿主机上的目录来实现持久存储. 但宿主机上的数据卷有很大的局限性 容器在机器间迁移时,数据无法迁移 不同机器之间不能共享数据卷 为了解决这些问题,阿里云容器服务提供第三方数据卷,将各种云存储包装成数据卷,可以直接挂载在容器上,不同容器间可以共享,并在容器重启.迁移时自动重新挂载. 在上一篇文章中,我们介绍了如何使用OS

在阿里云容器服务中使用定时任务

定时任务是常见需求.普遍的做法是,选择一台或几台机器,通过crontab实现定时任务.但是对于大规模或大量的定时任务,这种做法的缺点非常多,比如: 可靠性低,一台机器宕机,该机器上的定时任务就无法执行了 没有调度功能,机器之间的负载可能不均衡 没有重试机制,任务可能运行失败 无法运行大规模分布式任务 阿里云容器服务在离线任务的基础上,增加了定时任务的功能,通过简单的描述,解决了上述问题.关于离线任务的细节,请参考在阿里云容器服务中运行离线作业. 只有10月25号之后升级了agent版本或新创建的

Docker监控:基于阿里云容器服务构建自己的Docker监控框架

微服务架构通过将一个复杂系统分解成一系列独立开发.部署和运维的服务,提升了整个系统的敏捷性,可以灵活的响应业务和规模的变化.而Docker技术则将服务的部署和环境完全解耦,利用Docker的可移植性和敏捷性,快速交付分布式应用,从而大大提升了部署运维效率.然而大规模分布式微服务应用,也会给系统监控带来新的挑战. 除去分布式应用自身的复杂性,微服务倡导的快速迭代和动态部署都会加剧管控的复杂性.从技术角度来看,传统的监控系统大多是针对物理机或虚拟机设计的,通常使用静态的配置项来建立应用.环境与监控指

阿里云容器服务新增支持Kubernetes编排系统,性能重大提升

阿里云容器服务提供了面向企业客户的技术能力,为企业应用容器化提供了迁移工具和咨询服务.深度学习.区块链等应用解决方案,以帮助企业优化现有IT投资和加速业务创新. 10月12日云栖大会上,阿里云专有云新版本(飞天专有云敏捷版2.0)宣告了对Kubernetes的支持:日前,公共云容器服务也宣布了开放支持Kubernetes 1.8.1 版本的托管服务,并且成为全球首批通过Kubernetes一致性认证的厂商之一.作为容器编排系统的两大流派, Kubernetes和Swarm的重要性不言而喻.融合了

利用Docker和阿里云容器服务部署高可用Ghost博客集群

简介 Ghost是一个流行的开源博客平台(Open source blogging platform),基于 Node.js 构建,博客内容默认采用 Markdown 语法书写,给用户提供一种更加纯粹的内容写作与发布平台. Ghost的部署和运维需要一定的Web开发基础,利用Docker技术可以大大简化Ghost的部署和更新.Docker Hub上面也提供了Ghost官方镜像 使用Docker镜像,不懂得Node.Js的同学也可以分分钟在本地或阿里云容器服务上搭建起一个单节点的Ghost博客,但

利用Docker和阿里云容器服务轻松搭建分布式TensorFlow训练集群(上)

本系列将利用Docker技术在阿里云HPC和容器服务上,帮助您上手TensorFlow的机器学习方案 第一篇:打造TensorFlow的实验环境 第二篇:轻松搭建TensorFlow Serving集群 第三篇:打通TensorFlow持续训练链路 第四篇:利用Neural Style的TensorFlow实现,像梵高一样作画 第五篇:轻松搭建分布式TensorFlow训练集群(上) 本文是该系列中的第五篇文章, 将为您介绍如何在本机以及HPC和阿里云容器服务上快速部署和使用分布式TensorF

Python应用容器化(二)----使用阿里云容器服务部署应用

前言 我们曾经在Python程序容器化(一)中介绍了如何将一个克隆版Twitter程序(retwit-py)容器化,并使用docker-compose运行于宿主机上.对于经典的Web程序,处理前端请求的Web服务通常都是可扩展伸缩的.生产环境中,随着访问量的不断增长,需要部署多个Web服务实例,并通过负载均衡统一对外进行服务.本文将会介绍如何使用阿里云容器服务将retwit-py改造为贴近生产环境的系统并部署. 阿里云容器服务 容器服务是一项高性能可扩展的容器管理服务,支持在一组阿里云云服务器上

在阿里云容器服务上,轻松搭建Concourse CI

Concourse CI是一款CI/CD工具,它的魅力在于极简设计,被广泛应用于Cloud Foundry各个模块的CI/CD.阿里云也推出了CI工具CodePipeline,开箱即用,推荐试用. Concourse CI官方提供了标准的Docker镜像,在阿里云容器服务部署一套 Concourse CI应用是很轻松的一件事儿. 准备Docker集群 首先,在阿里云容器服务控制台创建一个集群.简单起见,这里节点数为1,网络类型为经典网络. 集群创建过程大约几分钟,成功后的状态如下图: 然后需要开