《Python自动化运维:技术与最佳实践》一2.1 文件内容差异对比方法

2.1 文件内容差异对比方法

本节介绍如何通过difflib模块实现文件内容差异对比。difflib作为Python的标准库模块,无需安装,作用是对比文本之间的差异,且支持输出可读性比较强的HTML文档,与Linux下的diff命令相似。我们可以使用difflib对比代码、配置文件的差别,在版本控制方面是非常有用。Python 2.3或更高版本默认自带difflib模块,无需额外安装,我们先通过一个简单的示例进行了解。

2.1.1 示例1:两个字符串的差异对比

本示例通过使用difflib模块实现两个字符串的差异对比,然后以版本控制风格进行输出。
【/home/test/difflib/simple1.py】

#!/usr/bin/python
import difflib
text1 = """text1:    #定义字符串1
This module provides classes and functions for comparing sequences.
including HTML and context and unified diffs.
difflib document v7.4
add string
"""
text1_lines = text1.splitlines()    #以行进行分隔,以便进行对比
text2 = """text2:    #定义字符串2
This module provides classes and functions for Comparing sequences.
including HTML and context and unified diffs.
difflib document v7.5"""
text2_lines = text2.splitlines()
d = difflib.Differ()    #创建Differ()对象
diff = d.compare(text1_lines, text2_lines)    # 采用compare方法对字符串进行比较
print '\n'.join(list(diff))

本示例采用Differ()类对两个字符串进行比较,另外difflib的SequenceMatcher()类支持任意类型序列的比较,HtmlDiff()类支持将比较结果输出为HTML格式,示例运行结果如图2-1所示。

为方便大家理解差异关系符号,表2-1对各符号含义进行说明。

2.1.2 生成美观的对比HTML格式文档

采用HtmlDiff()类的make_file()方法就可以生成美观的HTML文档,对示例1中代码按以下进行修改:

d = difflib.Differ()
diff = d.compare(text1_lines, text2_lines)
print '\n'.join(list(diff))

替换成:

d = difflib.HtmlDiff()
print d.make_file(text1_lines, text2_lines)

将新文件命名为simple2.py,运行# python simple2.py > diff.html,再使用浏览器打开diff.html文件,结果如图示2-2所示,HTML文档包括了行号、差异标志、图例等信息,可读性增强了许多。

2.1.3 示例2:对比Nginx配置文件差异

当我们维护多个Nginx配置时,时常会对比不同版本配置文件的差异,使运维人员更加清晰地了解不同版本迭代后的更新项,实现的思路是读取两个需对比的配置文件,再以换行符作为分隔符,调用difflib.HtmlDiff()生成HTML格式的差异文档。实现代码如下:

【/home/test/difflib/simple3.py】

#!/usr/bin/python
import difflib
import sys

try:
    textfile1=sys.argv[1]    #第一个配置文件路径参数
    textfile2=sys.argv[2]    #第二个配置文件路径参数
except Exception,e:
    print "Error:"+str(e)
    print "Usage: simple3.py filename1 filename2"
    sys.exit()

def readfile(filename):    #文件读取分隔函数
    try:
        fileHandle = open (filename, 'rb' )
        text=fileHandle.read().splitlines()    #读取后以行进行分隔
        fileHandle.close()
        return text
    except IOError as error:
       print('Read file Error:'+str(error))
       sys.exit()

if textfile1=="" or textfile2=="":
    print "Usage: simple3.py filename1 filename2"
    sys.exit()

text1_lines = readfile(textfile1)    #调用readfile函数,获取分隔后的字符串
text2_lines = readfile(textfile2)

d = difflib.HtmlDiff()    #创建HtmlDiff()类对象
print d.make_file(text1_lines, text2_lines)    #通过make_file方法输出HTML格式的比对结果

运行如下代码:

# python simple3.py nginx.conf.v1 nginx.conf.v2 > diff.html

从图2-3中可以看出nginx.conf.v1与nginx.conf.v2配置文件存在的差异。
2.1节示例参考官网文档http://docs.python.org/2/library/difflib.html

时间: 2024-09-20 06:14:43

《Python自动化运维:技术与最佳实践》一2.1 文件内容差异对比方法的相关文章

《Python自动化运维:技术与最佳实践》一导读

前 言 为什么要写这本书 随着信息时代的迅速发展,尤其是互联网日益融入大众生活,作为这一切背后的IT服务支撑,运维角色的作用越来越大,传统的人工运维方式已经无法满足业务的发展需求,需要从流程化.标准化.自动化去构建运维体系,其中流程化与标准化是自动化的前提条件,自动化的最终目的是提高工作效率.释放人力资源.节约运营成本.提升业务服务质量等.我们该如何达成这个目标呢?运维自动化工具的建设是最重要的途径,具体包括监控.部署变更.安全保障.故障处理.运营数据报表等.本书介绍如何使用Python语言来实

数据中心新的自动化运维技术

自从数据中心引入了云计算.虚拟化等大咖技术,立刻变了模样,这些技术大幅提升了数据中心的运行效率,给数据中心带来了诸多好处.不过,任何事情都有两面性,我们在享受新技术带来的益处时,也给数据中心运维的管理带来了不便,需要管理对象的数量.规模及复杂度均呈现指数级增长,传统人工干预.保姆式管理监控与故障处理的方式肯定无法满足要求了.比如对于公有云及大型私有云,服务器数量往往可以达到数万到数十万.百万规模,各类系统云服务及租户的业务应用负载数量,也达到了数以百万乃至千万级的程度,这样全靠人工维护不现实,必

《Python自动化运维:技术与最佳实践》一第2章 业务服务监控详解

第2章 业务服务监控详解 业务服务监控是运维体系中最重要的环节,是保证业务服务质量的关键手段.如何更有效地实现业务服务,是每个运维人员应该思考的问题,不同业务场景需定制不同的监控策略.Python在监控方面提供了大量的第三方工具,可以帮助我们快速.有效地开发企业级服务监控平台,为我们的业务保驾护航.本章涉及文件与目录差异对比方法.HTTP质量监控.邮件告警等内容.

《Python自动化运维:技术与最佳实践》一2.2 文件与目录差异对比方法

2.2 文件与目录差异对比方法 当我们进行代码审计或校验备份结果时,往往需要检查原始与目标目录的文件一致性,Python的标准库已经自带了满足此需求的模块filecmp.filecmp可以实现文件.目录.遍历子目录的差异对比功能.比如报告中输出目标目录比原始多出的文件或子目录,即使文件同名也会判断是否为同一个文件(内容级对比)等,Python 2.3或更高版本默认自带filecmp模块,无需额外安装,下面进行详细介绍. 2.2.1 模块常用方法说明 filecmp提供了三个操作方法,分别为cmp

《Python自动化运维:技术与最佳实践》一3.1 数据报表之Excel操作模块

3.1 数据报表之Excel操作模块 Excel是当今最流行的电子表格处理软件,支持丰富的计算函数及图表,在系统运营方面广泛用于运营数据报表,比如业务质量.资源利用.安全扫描等报表,同时也是应用系统常见的文件导出格式,以便数据使用人员做进一步加工处理.本节主要讲述利用Python操作Excel的模块XlsxWriter(https://xlsxwriter.readthedocs.org),可以操作多个工作表的文字.数字.公式.图表等.XlsxWriter模块具有以下功能: 100%兼容的Exc

《Python自动化运维:技术与最佳实践》一2.3 发送电子邮件模块smtplib

2.3 发送电子邮件模块smtplib 电子邮件是最流行的互联网应用之一.在系统管理领域,我们常常使用邮件来发送告警信息.业务质量报表等,方便运维人员第一时间了解业务的服务状态.本节通过Python的smtplib模块来实现邮件的发送功能,模拟一个smtp客户端,通过与smtp服务器交互来实现邮件发送的功能,这可以理解成Foxmail的发邮件功能,在第一次使用之前我们需要配置smtp主机地址.邮箱账号及密码等信息,Python 2.3或更高版本默认自带smtplib模块,无需额外安装.下面详细进

《Python自动化运维:技术与最佳实践》一1.1 系统性能信息模块psutil

1.1 系统性能信息模块psutil psutil是一个跨平台库(http://code.google.com/p/psutil/),能够轻松实现获取系统运行的进程和系统利用率(包括CPU.内存.磁盘.网络等)信息.它主要应用于系统监控,分析和限制系统资源及进程的管理.它实现了同等命令行工具提供的功能,如ps.top.lsof.netstat.ifconfig.who.df.kill.free.nice.ionice.iostat.iotop.uptime.pidof.tty.taskset.p

《Python自动化运维:技术与最佳实践》一3.2 Python与rrdtool的结合模块

3.2 Python与rrdtool的结合模块 rrdtool(round robin database)工具为环状数据库的存储格式,round robin是一种处理定量数据以及当前元素指针的技术.rrdtool主要用来跟踪对象的变化情况,生成这些变化的走势图,比如业务的访问流量.系统性能.磁盘利用率等趋势图,很多流行监控平台都使用到rrdtool,比较有名的为Cacti.Ganglia.Monitorix等.更多rrdtool介绍见官网http://oss.oetiker.ch/rrdtool

《Python自动化运维:技术与最佳实践》一2.4 探测Web服务质量方法

2.4 探测Web服务质量方法 pycurl(http://pycurl.sourceforge.net)是一个用C语言写的libcurl Python实现,功能非常强大,支持的操作协议有FTP.HTTP.HTTPS.TELNET等,可以理解成Linux下curl命令功能的Python封装,简单易用.本节通过调用pycurl提供的方法,实现探测Web服务质量的情况,比如响应的HTTP状态码.请求延时.HTTP头信息.下载速度等,利用这些信息可以定位服务响应慢的具体环节,下面详细进行说明. pyc