Python fabric实现远程操作和部署

fabric

  title是开发,但是同时要干开发测试还有运维的活……为毛 task*3 不是 salary * 3 (o(╯□╰)o)

  近期接手越来越多的东西,发布和运维的工作相当机械,加上频率还蛮高,导致时间浪费还是优点多。

  修复bug什么的,测试,提交版本库(2分钟),ssh到测试环境pull部署(2分钟),rsync到线上机器A,B,C,D,E(1分钟),分别ssh到ABCDE五台机器,逐一重启(8-10分钟) = 13-15分钟

  其中郁闷的是,每次操作都是相同的,命令一样,要命的是在多个机器上,很难在本机一个脚本搞定,主要时间都浪费在ssh,敲命令上了,写成脚本,完全可以一键执行,花两分钟看下执行结果

  直到,发现了fabric这货

  作用

  很强大的工具

  可以将自动化部署或者多机操作的命令固化到一个脚本里

  和某些运维工具很像,用它主要是因为,python…..

  简单好用易上手

  当然,shell各种命令组合起来也可以,上古神器和现代兵器的区别

  环境配置

  在本机和目标机器安装对应包(注意,都要有)

  sudo easy_install fabric

  目前是1.6版本(或者用pip install,一样的)

  安装完后,可以查看是否安装成功

  [ken@~$] which fab

  /usr/local/bin/fab

  装完之后,可以浏览下官方文档

  然后,可以动手了

  hello world

  先进行本机简单操作,有一个初步认识,例子来源与官网

  新建一个py脚本: fabfile.py

  def hello():

  print("Hello world!")

  命令行执行:

  [ken@~/tmp/fab$] fab hello

  Hello world!

  Done.

  注意,这里可以不用fabfile作为文件名,但是在执行时需指定文件


[ken@~/tmp/fab$] mv fabfile.py test.py

fabfile.py -> test.py

[ken@~/tmp/fab$] fab hello

Fatal error: Couldn't find any fabfiles!

Remember that -f can be used to specify fabfile path, and use -h for help.

Aborting.

[ken@~/tmp/fab$] fab -f test.py hello

Hello world!

Done.

  带参数:

  修改fabfile.py脚本:

  def hello(name, value):

  print("%s = %s!" % (name, value))

  执行


[ken@~/tmp/fab$] fab hello:name=age,value=20

age = 20!

Done.

[ken@~/tmp/fab$] fab hello:age,20

age = 20!

Done.

 执行本机操作

  简单的本地操作:


from fabric.api import local

def lsfab():

local('cd ~/tmp/fab')

local('ls')

  结果:


[ken@~/tmp/fab$] pwd;ls

/Users/ken/tmp/fab

fabfile.py   fabfile.pyc  test.py      test.pyc

[ken@~/tmp/fab$] fab -f test.py lsfab

[localhost] local: cd ~/tmp/fab

[localhost] local: ls

fabfile.py  fabfile.pyc test.py     test.pyc

Done.

  实战开始:

  假设,你每天要提交一份配置文件settings.py到版本库(这里没有考虑冲突的情况)

  如果是手工操作:

  cd /home/project/test/conf/

  git add settings.py

  git commit -m 'daily update settings.py'

  git pull origin

  git push origin

  也就是说,这几个命令你每天都要手动敲一次,所谓daily job,就是每天都要重复的,机械化的工作,让我们看看用fabric怎么实现一键搞定:(其实用shell脚本可以直接搞定,但是fab的优势不是在这里,这里主要位后面本地+远端操作做准备,毕竟两个地方的操作写一种脚本便于维护)

  from fabric.api import local

  def setting_ci():

  local("cd /home/project/test/conf/")

  local("git add settings.py")

  #后面你懂的,懒得敲了…..

  混搭整合远端操作

  这时候,假设,你要到机器A的/home/ken/project对应项目目录把配置文件更新下来


#!/usr/bin/env python

# encoding: utf-8

from fabric.api import local,cd,run

env.hosts=['user@ip:port',] #ssh要用到的参数

env.password = 'pwd'

def setting_ci():

local('echo "add and commit settings in local"')

#刚才的操作换到这里,你懂的

def update_setting_remote():

print "remote update"

with cd('~/temp'):   #cd用于进入某个目录

run('ls -l | wc -l')  #远程操作用run

def update():

setting_ci()

update_setting_remote()

  然后,执行之:


[ken@~/tmp/fab$] fab -f deploy.py update

[user@ip:port] Executing task 'update'

[localhost] local: echo "add and commit settings in local"

add and commit settings in local

remote update

[user@ip:port] run: ls -l | wc -l

[user@ip:port] out: 12

[user@ip:port] out:

Done.

  注意,如果不声明env.password,执行到对应机器时会跳出要求输入密码的交互

多服务器混搭

  操作多个服务器,需要配置多个host


#!/usr/bin/env python

# encoding: utf-8

from fabric.api import *

#操作一致的服务器可以放在一组,同一组的执行同一套操作

env.roledefs = {

'testserver': ['user1@host1:port1',],

'realserver': ['user2@host2:port2', ]

}

#env.password = '这里不要用这种配置了,不可能要求密码都一致的,明文编写也不合适。打通所有ssh就行了'

@roles('testserver')

def task1():

run('ls -l | wc -l')

@roles('realserver')

def task2():

run('ls ~/temp/ | wc -l')

def dotask():

execute(task1)

execute(task2)

  结果:


[ken@~/tmp/fab$] fab -f mult.py dotask

[user1@host1:port1] Executing task 'task1'

[user1@host1:port1] run: ls -l | wc -l

[user1@host1:port1] out: 9

[user1@host1:port1] out:

[user2@host2:port2] Executing task 'task2'

[user2@host2:port2] run: ls ~/temp/ | wc -l

[user2@host2:port2] out: 11

[user2@host2:port2] out:

Done.

  扩展

  1.颜色

  可以打印颜色,在查看操作结果信息的时候更为醒目和方便

  from fabric.colors import *

  def show():

  print green('success')

  print red('fail')

  print yellow('yellow')

  #fab -f color.py show

  2.错误和异常

  关于错误处理

  默认,一组命令,上一个命令执行失败后,不会接着往下执行

  失败后也可以进行不一样的处理, 文档

  目前没用到,后续用到再看了

  3.密码管理

  看文档

  更好的密码管理方式,哥比较土,没打通,主要是服务器列表变化频繁,我的处理方式是:

  1.host,user,port,password配置列表,所有的都写在一个文件

  或者直接搞到脚本里,当然这个更........


env.hosts = [

'host1',

'host2'

]

env.passwords = {

'host1': "pwdofhost1",

'host2': "pwdofhost2",

}

或者

env.roledefs = {

'testserver': ['host1', 'host2'],

'realserver': ['host3', ]

}

env.passwords = {

'host1': "pwdofhost1",

'host2': "pwdofhost2",

'host3': "pwdofhost3",

}

  2.根据key解析成map嵌套,放到deploy中

  另外命令其实也可以固化成一个cmds列表的…

最新内容请见作者的GitHub页:http://qaseven.github.io/

时间: 2024-09-13 14:25:55

Python fabric实现远程操作和部署的相关文章

python fabric实现远程操作和部署示例_python

近期接手越来越多的东西,发布和运维的工作相当机械,加上频率还蛮高,导致时间浪费还是优点多.修复bug什么的,测试,提交版本库(2分钟),ssh到测试环境pull部署(2分钟),rsync到线上机器A,B,C,D,E(1分钟),分别ssh到ABCDE五台机器,逐一重启(8-10分钟) = 13-15分钟其中郁闷的是,每次操作都是相同的,命令一样,要命的是在多个机器上,很难在本机一个脚本搞定,主要时间都浪费在ssh,敲命令上了,写成脚本,完全可以一键执行,花两分钟看下执行结果 直到,发现了fabri

Python的批量远程管理和部署工具Fabric用法实例_python

本文实例讲述了Python的批量远程管理和部署工具Fabric用法.分享给大家供大家参考.具体如下: Fabric是Python中一个非常强大的批量远程管理和部署工具,常用于在多个远程PC上批量执行SSH任务. 常见的使用方法大概总结如下: 1. 首先,要将批量执行的任务写入到一个fabfile.py中, 复制代码 代码如下: # -*- coding:utf-8 -*-    from fabric.api import run, local, roles, env, cd  env.host

python fabric使用笔记

  这篇文章主要介绍了python fabric使用笔记,fabric是一款实现远程操作和部署强大工具,本文就给出了它的多个使用实例,需要的朋友可以参考下 fabric title是开发,但是同时要干开发测试还有运维的活--为毛 task*3 不是 salary * 3 (o(╯□╰)o) 近期接手越来越多的东西,发布和运维的工作相当机械,加上频率还蛮高,导致时间浪费还是优点多. 修复bug什么的,测试,提交版本库(2分钟),ssh到测试环境pull部署(2分钟),rsync到线上机器A,B,C

Python fabric远程自动部署简介

Fabric是一个Python(2.5-2.7)库,用于简化使用SSH的应用程序部署或系统管理任务. 它提供的操作包括:执行本地或远程shell命令,上传/下载文件,以及其他辅助功能,如提示用户输入.中止执行等. 本文主要介绍CentOS 6.3上使用fabric进行自动部署的基本方法. 1.    环境部署 本节主要介绍python版本升级,pip及fabric部署方法. 1.1.    Python版本升级 CentOS 6.3自带的Python版本为2.6,首先需要升级到2.7版本.由于旧

使用python fabric搭建RHEL 7.2大数据基础环境以及部分优化

1.使用python fabric进行Linux基础配置 使用python,可以让任何事情高效起来,包括运维工作,fabric正式这样一套基于python2的类库,它执行本地或远程shell命令提供了操作的基本套件(正常或通过sudo)和上传/下载文件,如提示用户输入运行辅助功能,或中止执行. 用Python3开发的部署工具叫fabric3:fabric3,和fabric一样最大特点是不用登录远程服务器,在本地运行远程命令,几行Python脚本就可以轻松部署. 典型用途包括创建一个包含一个或多个

Python中使用PIPE操作Linux管道_python

Linux中进程的通信方式有信号,管道,共享内存,消息队列socket等.其中管道是*nix系统进程间通信的最古老形式,所有*nix都提供这种通信方式.管道是一种半双工的通信机制,也就是说,它只能一端用来读,另外一端用来写:另外,管道只能用来在具有公共祖先的两个进程之间通信.管道通信遵循先进先出的原理,并且数据只能被读取一次,当此段数据被读取后,马上会从数据中消失,这一点很重要. Linux上,创建管道使用pipe函数,当它执行后,会产生两个文件描述符,分别为读端和写端.单个进程中的管道几乎没有

Python文件及目录操作实例详解

  本文实例讲述了Python文件及目录操作的方法.分享给大家供大家参考.具体分析如下: 在python中对文件及目录的操作一般涉及多os模块,os.path模块.具体函数以及使用方法在程序中说明. ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 5

在Python中使用mongoengine操作MongoDB教程

  在Python中使用mongoengine操作MongoDB教程          这篇文章主要介绍了在Python中使用mongoengine操作MongoDB教程,包括在Django下的一些使用技巧,需要的朋友可以参考下 最近重新拾起Django,但是Django并不支持mongodb,但是有一个模块mongoengine可以实现Django Model类似的封装.但是mongoengine的中文文档几乎没有,有的也是简短的几句介绍和使用.下面我就分享一下我在使用过程中所记录下的一些笔记

python多线程批量远程管理程序

python多线程批量远程管理程序 #!/usr/bin/env python # this script comes from beijing oldboy trainning. # e_mail:70271111@qq.com # function: remote multi exec cmd by ssh. # version:1.1 ################################################ # oldboy trainning info. # QQ