使用阿里云容器服务Jenkins 2.0实现持续集成之Pipeline篇(updated on 2016.12.23)

Jenkins 2.0

Jenkins 2.0新特性：Pipeline as code，全新的开箱体验和UI可用性提升以及完全向后兼容。

  • Pipeline as Code
    通过使用Groovy DSL来描述一套运行于Jenkins上的工作流程，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂发布流程。并且，Jenkins支持从代码库直接读取脚本。
  • 全新的开箱体验和UI可用性提升
    Jenkins 1.XXX 安装默认是开放所有权限，因为安全性存在隐患。而Jenkins 2.0则加强了安全管理。
  • 完全向后兼容
    Jenkins官方公布是完全向后兼容的，所以在Jenkins 1.XXX版本的功能都可以使用，但插件还是得自己验证。

场景描述

我们在定义一个Jenkins项目的时候，希望它是一个清晰的范围。也就是说，如果这个项目叫mvn test and build，我们就应该在脚本里实现测试和jar/war包打包。而事实上是，接下来的需求很多时候是把测试结果展示出来，还有上传jar/war包。这个时候，Devops工程师会陷入一种纠结，就是值不值得为了这个需求再重新创建一个freeStyle的项目。明明可能只有两个语句，却需要整个重新配置一个项目。新建意味着付出更多的精力并且后期维护成本增加；在原有的项目里实现，意味着项目臃肿，定义模糊。Jenkins 2.0 提供的Pipeline项目类型给出了很好的解决办法。

下面我们将用java web源代码来演示一个Pipeline项目如何优雅地实现代码提交触发测试，war包打包，测试结果展示，war包本地存储以及上传OSS，构建镜像，部署应用，邮件推送结果的持续交付方案。 在最后一部分，我们将介绍动态生成slave，执行job，销毁slave。

先给张图来个Pipeline项目的视觉感受：

使用容器服务部署Jenkins应用和Slave

阿里云容器服务的官方示例模板已经新增了Jenkins 2.0镜像版本，只需要将镜像版本号1.651.3改成2.19.2。编排模板如下：

jenkins:
    image: 'registry.aliyuncs.com/acs-sample/jenkins:2.19.2'
    ports:
        - '8080:8080'
        - '50000:50000'
    volumes:
        - /var/lib/docker/jenkins:/var/jenkins_home
    privileged: true
    restart: always
    labels:
        aliyun.scale: '1'
        aliyun.probe.url: 'tcp://container:8080'
        aliyun.probe.initial_delay_seconds: '10'
        aliyun.routing.port_8080: jenkins
    links:
        - slave-java
slave-java:
    image: 'registry.aliyuncs.com/acs-sample/jenkins-slave-dind-java'
    volumes:
        - /var/run/docker.sock:/var/run/docker.sock
    restart: always
    labels:
        aliyun.scale: '1'

（updated）有的情况下用户需要使用root用户来启动slave容器，下面更新的这个模版里的slave镜像registry.cn-beijing.aliyuncs.com/qinyujia-test/jenkins-slave-dind-java-maven是以root用户（密码是passwd）启动的，docker client version为1.12.5,使用容器服务部署的时候请先升级Docker版本到最新版。

jenkins:
    image: 'registry.cn-hangzhou.aliyuncs.com/qinyujia-test/jenkins:2.19.2'
    ports:
        - '8080:8080'
        - '50000:50000'
    volumes:
        - /var/lib/docker/jenkins:/var/jenkins_home
    privileged: true
    restart: always
    labels:
        aliyun.scale: '1'
        aliyun.probe.url: 'tcp://container:8080'
        aliyun.probe.initial_delay_seconds: '10'
        aliyun.routing.port_8080: jenkins
    links:
        - slave-java
slave-java:
    image: 'registry.cn-beijing.aliyuncs.com/qinyujia-test/jenkins-slave-dind-java-maven'
    volumes:
        - /var/run/docker.sock:/var/run/docker.sock
    restart: always
    labels:
        aliyun.scale: '1'

在Jenkins master中配置slave。

创建Pipeline项目实现持续交付流程

选择Jenkins，添加类型为User with Password的Credentials，存储GitLab账号密码。同样添加存储OSS以及阿里云容器服务Registry账号密码的Credentials。了解OSS请参考OSS快速入门

新建一个Pipeline项目。

配置General，选择Discard old builds来减少存储空间占用。

配置Build Trigger，选择Build when a change is pushed to GitLab类型,根据需要来选择触发Event类型，branch，使用Secret token等。

最后最关键的也就是配置Pipeline,本示例采用的是Pipeline Script，直接在项目中填写脚本，就像前面介绍的一样，用户也可以使用Pipeline script from SCM方式，直接从代码读取Jenkinsfile。

Note: 请打开上图中的Pipeline Syntax链接，Jenkins提供了很大程度上帮用户生成脚本的功能。

完整的脚本如下：
node指定的是slave节点，必须使用Jenkins已经管理的节点名称。
stage指的是一个view，名称由用户自己指定。本示例一共创建了6个stage来实现持续交付。其中deploy是连接了一个freestyle的应用部署项目。

  • Prepare：拉取代码。
  • mvn test and build：测试和打包war包。
  • publish and archive：测试结果展示，war包本地存储。
  • Upload to oss：上传war包到共享存储OSS。
  • image build：镜像构建，推送。
  • deploy：部署应用。
node('slave-java') {
  stage('Prepare') {
    withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'gitlab',
      usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
      sh 'rm -rf java-demo'
      sh "git clone http://'${USERNAME}':'${PASSWORD}'@139.129.99.183:10080/root/java-demo.git"
    }
  }
  stage('mvn test and build') {
    sh 'ls'
    dir('./java-demo') {
      sh 'mvn -version'
      sh 'mvn  -Dmaven.test.failure.ignore clean package'
    }
   }
  stage('publish and archive') {
    dir('./java-demo') {
      junit '*/target/surefire-reports/TEST-.xml'
      archive 'target/*.war'
    }
   }
  stage('Upload to oss') {
    withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'gitlab',
      usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
      sh 'rm -rf oss'
      sh "git clone http://'${USERNAME}':'${PASSWORD}'@139.129.99.183:10080/root/oss.git"
    }
    dir('./oss') {
      sh 'unzip OSS_Python_API_20160419.zip'
      withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'oss',
        usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
        sh 'python osscmd put ../java-demo/target/boot-api.war oss://cs-jenkins/boot-api.war --host=oss-cn-qingdao.aliyuncs.com --id=${USERNAME} --key=${PASSWORD}'
      }
    }
  }
  stage('image build') {
    dir('./java-demo') {
      sh 'cp target/boot-api.war .'
      withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'registry',
        usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
          sh 'sudo docker login -u ${USERNAME} -p ${PASSWORD} -e yujia.qyj@alibaba-inc.com registry.cn-beijing.aliyuncs.com'
          sh 'sudo docker build -t registry.cn-beijing.aliyuncs.com/qinyujia/boot-api .'
          sh 'sudo docker push registry.cn-beijing.aliyuncs.com/qinyujia/boot-api'
      }
    }
  }
  stage('deploy') {
    build 'deploy'
  }
  stage('email') {
    emailext body: '''Project: $PROJECT_NAME
    Build Number: # $BUILD_NUMBER
    Build Status: $BUILD_STATUS
    Check console output at $BUILD_URL to view the results.''', recipientProviders: [[$class: 'DevelopersRecipientProvider']], subject: '$BUILD_STATUS - $PROJECT_NAME - Build # $BUILD_NUMBER', to: 'yujia.qyj@alibaba-inc.com'
  }
}

Dynamic slave

下面我们来介绍一下如何配置动态的生成slave，执行Jenkins job，销毁slave。
首先安装yet another docker插件。
然后选择Manage Jenkins，Configure System。
创建一个阿里云服务的集群，作为slave容器的承载。
Docker URL中填写集群接入点地址。
Host Credentials中添加 Docker Host Certificate Authentication类型的证书。按照图中提示把集群相应的证书输入。这时候可以使用Test Connection来测试集群的连通性。

Docker Image Name中填写slave镜像。本示例中使用的是阿里云容器服务提供的示例镜像registry.aliyuncs.com/acs-sample/jenkins-slave-dind-java。
Registry Credentials中添加类型为User with Password的Credentials，输入阿里云容器服务镜像仓库的账号和密码。
Create Container Settings中在Volumes对话框中挂载两个数据卷：
/var/run/docker.sock:/var/run/docker.sock #用来让slave可以使用宿主机的docker deamon。
/home/jenkins/.m2:/root/.m2 #将maven仓库存储在ECS的数据卷中，这样即使容器删除，maven repository还能保留，接下来新生成的slave可以不用重新下载依赖包。

Jenkins Slave Config部分，Labels是slave节点在Jenkins项目的标识符。Launch method是master连接slave的方式，本示例选用的是Docker SSH computer launcher的方式，Credentials中添加类型为User with Password的Credentials，填写registry.aliyuncs.com/acs-sample/jenkins-slave-dind-java镜像的账号密码，为jenkins/jenkins。 （slave镜像registry.cn-beijing.aliyuncs.com/qinyujia-test/jenkins-slave-dind-java-maven的账号密码是root/passwd。）

这样slave的docker源就已经配置完成。下面我们只需要修改一行Jenkins Pipeline代码就可以使用动态slave。把node中的标签由'slave-java'改成‘docker’。 这时候，您就可以变更代码触发整个持续交付流程了。

node('docker')

总结

这套持续交付的方案，最大的两个特性在于，一，使用了Jenkins Pipeline Project，通过Jenkinsfile脚本简化整个配置过程，增加了artifacts存储，加强了结果展示,UT结果看板以及stage时间统计。二，Dynamic slave，提供了动态生成slave，执行Jenkins job，销毁slave的能力。

想查看阿里云容器服务提供了哪些slave节点，请访问 https://github.com/AliyunContainerService/jenkins-slaves
想了解更多容器服务内容，请访问 https://www.aliyun.com/product/containerservice

时间： 2024-10-16 04:13:26

使用阿里云容器服务Jenkins 2.0实现持续集成之Pipeline篇(updated on 2016.12.23)的相关文章

使用阿里云容器服务Jenkins 2.0实现持续集成之the tag you want篇(updated on 2017.09.06)

最近收到很多有关于持续集成场景中image tag的反馈,例如,每次image build的时候希望"Jenkins"能够给image标上不一样的tag,部署应用到阿里云容器服务希望Aliyun-Container-Service-Deploy插件能够实现不是每次以固定的tag发布.本文在原来的持续集成场景中增加这样的两种能力:根据git SHA和构建时间来给image打tag,支持环境变量和compose模板配合部署应用. 为了简洁起见,本文将上述两种能力在一个持续集成场景中进行运用

使用阿里云容器服务Jenkins实现持续集成和Docker镜像构建(updated on 2017.3.3)

持续集成作为敏捷开发重要的一步,其目的在于让产品快速迭代的同时,尽可能保持高质量.每一次代码更新,都要通过自动化测试来检测代码和功能的正确性,只有通过自动测试的代码才能进行后续的交付和部署.本文主要介绍如何将时下最流行的持续集成工具之一的Jenkins结合阿里云容器服务,实现自动测试和镜像构建推送. 接下来的演示是如何通过阿里云容器服务Jenkins实现自动测试和Docker镜像构建,实现高质量的持续集成.具体场景:每次代码提交到GitHub上的nodejs的项目中,阿里云容器服务Jenkins

使用阿里云容器服务Jenkins实现持续集成之GitLab篇

前面有篇文章<使用阿里云容器服务Jenkins实现持续集成和Docker镜像构建>详细地描述了如何通过阿里云容器服务平台,快速创建Jenkins应用,结合GitHub实现持续集成和镜像构建.这次将使用阿里云容器服务搭建GitLab作为代码管理仓库,最后使用Jenkins插件aliyun-container-service-deploy实现部署应用,并支持蓝绿发布和标准发布两种发布策略. 1.部署Jenkins和Slave 1.1使用编排模板一键部署 阿里云容器服务的示例模板中已经内置支持了Je

在阿里云容器服务上创建Spring Boot应用之压测篇

  Spring Boot框架的第一个稳定版本是在2014年由Pivotal发布的,该框架的宗旨在于为基于Spring的Web应用提供快速设计开发,并追求小而美.约定胜于配置.快速开发.自包含且便捷.Spring Boot当前开发中的版本是1.4.   上一篇文章"在阿里云容器服务上创建第一个Spring Boot应用",讲述了如何通过Maven的Docker plugin上传镜像到阿里云的容器Hub,并通过阿里云的容器服务快速在云环境创建应用.本文将描述下,如果在阿里云环境里继续对这

在阿里云容器服务上开发基于Docker的Spring Cloud微服务应用

本文为阿里云容器服务Spring Cloud应用开发系列文章的第一篇. 一.在阿里云容器服务上开发Spring Cloud微服务应用(本文) 二.部署Spring Cloud应用示例 三.服务发现 四.服务间通信与集成 五.服务智能路由 六.集中配置管理 七.高可用和容错 八.监控和日志 九.服务的部署和发布策略 微服务概述 单体应用通常指在一个程序中满足多个业务或技术领域的需求,不同的需求领域内化为模块.假定我们要开发一个Web应用,通常的MVC模式可以满足要求.针对不同领域有不少代码生成工具

Docker监控：基于阿里云容器服务构建自己的Docker监控框架

微服务架构通过将一个复杂系统分解成一系列独立开发.部署和运维的服务,提升了整个系统的敏捷性,可以灵活的响应业务和规模的变化.而Docker技术则将服务的部署和环境完全解耦,利用Docker的可移植性和敏捷性,快速交付分布式应用,从而大大提升了部署运维效率.然而大规模分布式微服务应用,也会给系统监控带来新的挑战. 除去分布式应用自身的复杂性,微服务倡导的快速迭代和动态部署都会加剧管控的复杂性.从技术角度来看,传统的监控系统大多是针对物理机或虚拟机设计的,通常使用静态的配置项来建立应用.环境与监控指

Docker常见故障排查指南 - 阿里云容器服务

对于Docker的初学者而言,当容器或应用出现了问题不知从何入手进行排查.为此,我们准备了一个简单指南来帮助阿里云容器服务的用户进行故障排查. 由于阿里云容器服务完全兼容Docker Swarm,并支持使用原生Docker Client/API,所以很多内容对于 Docker/Docker Swarm的用户也是适用的. Docker问题分类 我们可以把Docker在使用中的问题分为如下几类, 安装故障:Docker Engine 无法正常配置使用 应用故障:应用执行状态与预期不一致 容器故障:无

阿里云容器服务体验： 部署 ShellPays 条码支付整合服务平台 -- (一)系统概要与环境准备

此平台系统已在多种计算环境上进行部署,并且投入生产.本文所述方案是为了参与阿里云容器服务公测.如要投入实际使用,需要跟据实际计算环境调整相关参数,并且需要与支付服务机构签订收单协议,比如:支付宝钱包,微信支付等.还会产生阿里云的资源租用费. 系统概要 此平台系统在于帮助用户,快速.低成本.方便的统一接入多种条码支付收单业务.平台系统采用了多种技术手段的整合,比如:动静分离.OSGi.容器服务等.注:系统架构超过了当前所承载业务的需求 环境准备 1. 注册阿里云账号,并创建 AccessKey 创

当Docker遇到数据库：在阿里云容器服务中使用RDS

Docker与持久化服务 最近一段时间以来,微服务架构和Docker成为了技术社区的"网红".其背后的原因是将微服务与Docker的结合在一起对现有的软件生命周期从架构设计.开发测试到运维迭代构成了一种"颠覆性"的力量:微服务鼓励开发者将整个软件解构为较小的功能组件:每个组件能够独立开发.运维.伸缩和容错:组件之间通过标准的服务接口进行通信,而组件可以选择最适合的技术栈来实现.而容器技术进一步拓展了这种解耦性,它能够将软件与其部署环境分离,利用容器敏捷和可移植的使得