使用阿里云容器服务Jenkins实现持续集成和Docker镜像构建(updated on 2017.3.3)

持续集成作为敏捷开发重要的一步,其目的在于让产品快速迭代的同时,尽可能保持高质量。每一次代码更新,都要通过自动化测试来检测代码和功能的正确性,只有通过自动测试的代码才能进行后续的交付和部署。本文主要介绍如何将时下最流行的持续集成工具之一的Jenkins结合阿里云容器服务,实现自动测试和镜像构建推送。

接下来的演示是如何通过阿里云容器服务Jenkins实现自动测试和Docker镜像构建,实现高质量的持续集成。
具体场景:每次代码提交到GitHub上的nodejs的项目中,阿里云容器服务Jenkins都会自动触发单元测试,测试通过则继续镜像构建及推送到目标镜像仓库中,最后邮件通知结果。大致流程如下图所示:

slave-nodejs 是用来进行单元测试,build镜像和推送镜像的slave节点。

1. Jenkins相关介绍

Jenkins是基于Java开发的一种开源持续集成工具,监控并触发持续重复的工作,具有开源,支持多平台和插件扩展,安装简单,界面化管理等特点。Jenkins使用job来描述每一步工作,节点是用来执行项目的环境。Master节点是Jenkins job的默认执行环境,也是Jenkins应用本身的安装环境。

1.1 master/slave

master/slave相当于server和agent的概念。master提供web接口让用户来管理job和slave,job可以运行在master本机或者被分配到slave上运行。一个master可以关联多个slave用来为不同的job或相同的job的不同配置来服务。
可以通过配置多个slave为不同项目准备单独的测试和构建环境。
Tips: 本文中提到的Jenkins job和项目均指的是Jenkins一个构建单元,执行单元。

2. 使用容器服务部署Jenkins应用和slave节点

不同应用构建、测试所需要的依赖不同,最佳实践是使用包含相应的运行时依赖和工具的不同Slave容器执行测试和构建。通过阿里云容器服务提供的针对Python, NodeJS, go等不同环境的Slave镜像以及示例模板, 用户可以简单快速地生成Jenkins应用以及各种slave节点,在Jenkins应用中配置节点信息,然后在构建项目中指定执行节点,从而实现整个持续集成流程。

2.1 创建Jenkins编排模版

新建模版,以如下内容为基础,创建编排。(阿里云容器服务Jenkins master支持标签1.651.3, 2.19.2, 2.32.2)

jenkins:
    image: 'registry.cn-hangzhou.aliyuncs.com/acs-sample/jenkins:2.60.3'
    mem_limit: 4000000000
    volumes:
        - /var/lib/docker/jenkins:/var/jenkins_home
    restart: always
    labels:
        aliyun.scale: '1'
        aliyun.probe.url: 'tcp://container:8080'
        aliyun.probe.initial_delay_seconds: '10'
        aliyun.routing.port_8080: jenkins
    links:
        - slave-java
slave-java:
    image: 'registry.aliyuncs.com/acs-sample/jenkins-slave-dind-java'
    volumes:
        - /var/run/docker.sock:/var/run/docker.sock
    restart: always
    labels:
        aliyun.scale: '1'

2.2 使用模板创建Jenkins应用和slave节点

当然也可以直接使用阿里云容器服务提供的jenkins示例模版创建Jenkins应用和slave节点。

创建成功后,Jenkins应用和slave节点就出现在服务列表中。

打开容器服务提供的访问端点,就可以使用刚刚部署的Jenkins应用。

3. 实现自动测试,以及自动构建推送镜像

3.1 将slave容器配置成Jenkins应用的slave节点

打开Jenkins应用,进入系统设置界面,选择管理节点,新建节点,配置相应参数。如下图所示。

Note1: 标签为slave的唯一标识。
Note2: slave容器和Jenkins容器同时运行在阿里云平台上,因此填写外网访问不到的容器节点IP,隔离测试环境。

Note3: 添加Credential的时候,使用创建slave-nodejs镜像的Dockerfile里的jenkins帐户和密码(jenkins/jenkins)。
镜像Dockerfile地址:https://github.com/AliyunContainerService/jenkins-slaves/tree/master/jenkins-slave-dind-nodejs

3.2 创建项目实现自动化测试

新建Item,选择构建一个自由风格的软件项目。
填写项目名称,并选择项目运行节点,此示例填写上述准备的slave-nodejs-ut节点。

配置源码管理和代码分支,此示例中源代码使用GitHub管理。

配置构建触发器,此示例采用结合GitHub Webhooks & services实现自动触发项目执行。

最后在GitHub中添加Jenkins的service hook,完成自动触发实现。
在GitHub 项目主页点击settings tab,左侧菜单栏选择Webhooks & services, Add Service,下拉框中选择Jenkins(Git plugin)。
在Jenkins hook url对话框中填写${Jenkins IP}/github-webhook/, eg,

http://jenkins.cd**.cn-beijing.alicontainer.com/github-webhook/


增加Execute shell类型的构建步骤,编写shell脚本执行测试。

本示例中的Command如下:

pwd
ls
cd chapter2
npm test

3.2-1 创建项目实现自动化测试(SVN代码源示例)

在源码管理模块选择Subversion。
Repository URL中填入svn repo地址。(如果Jenkins master时区和SVN服务器时区不一致,请在repo地址末尾添加 @HEAD
Credentials中添加svn服务器的用户名和密码。

配置构建触发器,此示例采用Post-commit hook实现自动触发项目执行。
在身份验证令牌中填写你设置的token。

登录SVN服务器,在代码repo(svn-java-demo)的hooks文件目录下创建post-commit文件。

cd /home/svn/svn-java-demo/hooks
cp post-commit.tmpl post-commit
chmod 755 post-commit

在 post-commit 文件中添加 curl -u ${Jenkins_account}:${password} ${Jenkins_url}/job/svn/build?token=${token} 命令。eg,curl -u test:test http://127.0.0.1:8080/jenkins/job/svn/build?token=qinyujia

3.3 创建项目实现自动构建,推送镜像

新建Item,选择构建一个自由风格的软件项目。
填写项目名称,并选择项目运行节点,此示例填写上述准备的slave-nodejs-ut节点。
配置源码管理和代码分支,此示例中源代码使用GitHub管理。
(由于以上三个步骤和章节2中类似,所以不再配图)
添加如下触发器,设置只有在单元测试成功之后才执行自动构建镜像。

最后编写构建镜像和推送镜像的shell脚本。

本示例的Command如下:

cd chapter2
sudo docker build -t registry.aliyuncs.com/qinyujia-test/nodejs-demo .
sudo docker login -u ${yourAccount} -p ${yourPassword} registry.aliyuncs.com
sudo docker push registry.aliyuncs.com/qinyujia-test/nodejs-demo

4. 自动重新部署应用

4.1 首次部署应用

使用编排模板,将章节3中创建的镜像部署到容器服务中,创建nodejs-demo应用。示例如下:

express:
image: 'registry.aliyuncs.com/qinyujia-test/nodejs-demo'
expose:
    - '22'
    - '3000'
restart: always
labels:
    aliyun.routing.port_3000: express

4.2 自动重新部署

选择刚刚创建的应用nodejs-demo, 创建触发器。

在章节3.3的shell脚本中添加一行,地址即为上文创建的触发器给出的触发器链接。

curl ‘https://cs.console.aliyun.com/hook/trigger?triggerUrl===&secret=

把3.3中的示例的Command改为:

cd chapter2
sudo docker build -t registry.aliyuncs.com/qinyujia-test/nodejs-demo .
sudo docker login -u ${yourAccount} -p ${yourPassword} registry.aliyuncs.com
sudo docker push registry.aliyuncs.com/qinyujia-test/nodejs-demo
curl ‘https://cs.console.aliyun.com/hook/trigger?triggerUrl===&secret=

到此,镜像推送之后,Jenkins会自动触发重新部署nodejs-demo应用。

5. 配置邮件推送结果

如果希望单元测试或者镜像构建的结果能够通过邮件推送给相关开发人员或者项目执行发起者。可以通过如下配置来实现。
首先在Jenkins主页,选择系统管理,系统设置,配置Jenkins系统管理员邮箱。

安装Extended Email Notification plugin,配置SMTP server等相关信息,并设置默认邮件接收人列表。如下图所示。

以上是Jenkins应用系统参数设置,下面是为需要用邮件推送结果的Jenkins项目进行相关配置。
在Jenkins项目中添加构建后操作步骤,选择Editable Email Notification类型,填写邮件接收人列表。

添加邮件发送触发器。

6. 总结

利用Docker镜像和Compose模版,容器服务就能快速创建自动测试和构建的环境,简化持续集成的环境搭建和扩展。容器服务提供的监控,日志,存储等功能,进一步为用户提供方便统一,功能完善的各种环境管理。

感谢@莫源同学的大力支持!

想查看阿里云容器服务提供了哪些slave节点,请访问 https://github.com/AliyunContainerService/jenkins-slaves
想了解更多容器服务内容,请访问 https://www.aliyun.com/product/containerservice

时间: 2025-01-02 18:57:18

使用阿里云容器服务Jenkins实现持续集成和Docker镜像构建(updated on 2017.3.3)的相关文章

使用阿里云容器服务Jenkins实现持续集成之GitLab篇

前面有篇文章<使用阿里云容器服务Jenkins实现持续集成和Docker镜像构建>详细地描述了如何通过阿里云容器服务平台,快速创建Jenkins应用,结合GitHub实现持续集成和镜像构建.这次将使用阿里云容器服务搭建GitLab作为代码管理仓库,最后使用Jenkins插件aliyun-container-service-deploy实现部署应用,并支持蓝绿发布和标准发布两种发布策略. 1.部署Jenkins和Slave 1.1使用编排模板一键部署 阿里云容器服务的示例模板中已经内置支持了Je

使用阿里云容器服务Jenkins 2.0实现持续集成之Pipeline篇(updated on 2016.12.23)

Jenkins 2.0 Jenkins 2.0新特性:Pipeline as code,全新的开箱体验和UI可用性提升以及完全向后兼容. Pipeline as Code通过使用Groovy DSL来描述一套运行于Jenkins上的工作流程,将原本独立运行于单个或者多个节点的任务连接起来,实现单个任务难以完成的复杂发布流程.并且,Jenkins支持从代码库直接读取脚本. 全新的开箱体验和UI可用性提升Jenkins 1.XXX 安装默认是开放所有权限,因为安全性存在隐患.而Jenkins 2.0

使用阿里云容器服务Jenkins 2.0实现持续集成之the tag you want篇(updated on 2017.09.06)

最近收到很多有关于持续集成场景中image tag的反馈,例如,每次image build的时候希望"Jenkins"能够给image标上不一样的tag,部署应用到阿里云容器服务希望Aliyun-Container-Service-Deploy插件能够实现不是每次以固定的tag发布.本文在原来的持续集成场景中增加这样的两种能力:根据git SHA和构建时间来给image打tag,支持环境变量和compose模板配合部署应用. 为了简洁起见,本文将上述两种能力在一个持续集成场景中进行运用

利用阿里云容器服务打通TensorFlow持续训练链路

本系列将利用Docker和阿里云容器服务,帮助您上手TensorFlow的机器学习方案 第一篇:打造TensorFlow的实验环境 第二篇:轻松搭建TensorFlow Serving集群 第三篇:打通TensorFlow持续训练链路 第四篇:利用Neural Style的TensorFlow实现,像梵高一样作画 第五篇:轻松搭建分布式TensorFlow训练集群(上) 本文是该系列中的第三篇文章, 将为您介绍如何利用阿里云的服务快速搭建TensorFlow从训练到服务的交付平台. 随着goog

Python应用容器化(二)----使用阿里云容器服务部署应用

前言 我们曾经在Python程序容器化(一)中介绍了如何将一个克隆版Twitter程序(retwit-py)容器化,并使用docker-compose运行于宿主机上.对于经典的Web程序,处理前端请求的Web服务通常都是可扩展伸缩的.生产环境中,随着访问量的不断增长,需要部署多个Web服务实例,并通过负载均衡统一对外进行服务.本文将会介绍如何使用阿里云容器服务将retwit-py改造为贴近生产环境的系统并部署. 阿里云容器服务 容器服务是一项高性能可扩展的容器管理服务,支持在一组阿里云云服务器上

Docker监控:基于阿里云容器服务构建自己的Docker监控框架

微服务架构通过将一个复杂系统分解成一系列独立开发.部署和运维的服务,提升了整个系统的敏捷性,可以灵活的响应业务和规模的变化.而Docker技术则将服务的部署和环境完全解耦,利用Docker的可移植性和敏捷性,快速交付分布式应用,从而大大提升了部署运维效率.然而大规模分布式微服务应用,也会给系统监控带来新的挑战. 除去分布式应用自身的复杂性,微服务倡导的快速迭代和动态部署都会加剧管控的复杂性.从技术角度来看,传统的监控系统大多是针对物理机或虚拟机设计的,通常使用静态的配置项来建立应用.环境与监控指

Docker常见故障排查指南 - 阿里云容器服务

对于Docker的初学者而言,当容器或应用出现了问题不知从何入手进行排查.为此,我们准备了一个简单指南来帮助阿里云容器服务的用户进行故障排查. 由于阿里云容器服务完全兼容Docker Swarm,并支持使用原生Docker Client/API,所以很多内容对于 Docker/Docker Swarm的用户也是适用的. Docker问题分类 我们可以把Docker在使用中的问题分为如下几类, 安装故障:Docker Engine 无法正常配置使用 应用故障:应用执行状态与预期不一致 容器故障:无

阿里云容器服务测评

背景 为了集中精力在上层逻辑,我们计划将自己搭建的容器调度框架mesos+marathon逐步迁移至阿里云容器服务.经过一个月的测试.迁移和开发,我们已将测试环境所有服务迁移到容器服务,并针对容器服务的问题,做了很多workaround,最终在容器服务上搭建了一个高可用零宕机的容器环境.下面我们从<云计算十字真言及其在小博无线的实践>中提到的五个维度来谈一谈容器服务的亮点和它的不足,以及如何让其变得高可用. 冗余 服务无论是被内部还是外部请求调用,都需要通过冗余来避免单点,防止单点故障时造成的

阿里云容器服务 - 提速云端应用部署与运维

阿里云容器服务 - 提速云端应用部署与运维 阿里云容器服务简介 什么是容器服务 什么是容器 容器服务解决了什么问题 容器服务架构 容器服务使用流程及场景 容器服务 阿里云容器服务(Container Service)是一种高性能可伸缩的容器管理服务.支持一键部署Docker集群,提供便利的基于容器的服务与应用的编排.部署及完整的生命周期管理.提供阿里云Docker镜像加速管理服务,支持基于Git等代码仓库集成.http://www.aliyun.com/product/containerserv