《Python自动化运维：技术与最佳实践》一3.2　Python与rrdtool的结合模块

3.2　Python与rrdtool的结合模块

rrdtool（round robin database）工具为环状数据库的存储格式，round robin是一种处理定量数据以及当前元素指针的技术。rrdtool主要用来跟踪对象的变化情况，生成这些变化的走势图，比如业务的访问流量、系统性能、磁盘利用率等趋势图，很多流行监控平台都使用到rrdtool，比较有名的为Cacti、Ganglia、Monitorix等。更多rrdtool介绍见官网http://oss.oetiker.ch/rrdtool/。rrdtool是一个复杂的工具，涉及较多参数概念，本节主要通过Python的rrdtool模块对rrdtool的几个常用方法进行封装，包括create、fetch、graph、info、update等方法，本节对rrdtool的基本知识不展开说明，重点放在Python rrdtool模块的常用方法使用介绍上。
rrdtool模块的安装方法如下：

easy_install python-rrdtool    #pip安装方法
pip install python-rrdtool    #easy_install安装方法

#需要rrdtool工具及其他类包支持，CentOS环境推荐使用yum安装方法
# yum install rrdtool-python

3.2.1　rrdtool模块常用方法说明

下面介绍rrdtool模块常用的几个方法，包括create（创建rrd）、update（更新rrd）、graph（绘图）、fetch（查询rrd）等。

  1. Create方法
  2. filename [--start|-b start time] [--step|-s step] [DS:ds-name:DST:heartbeat:min:max] [RRA:CF:xff:steps:rows]方法，创建一个后缀为rrd的rrdtool数据库，参数说明如下：

filename创建的rrdtool数据库文件名，默认后缀为.rrd；
--start指定rrdtool第一条记录的起始时间，必须是timestamp的格式；
--step指定rrdtool每隔多长时间就收到一个值，默认为5分钟；
DS用于定义数据源，用于存放脚本的结果的变量；
DST用于定义数据源类型，rrdtool支持COUNTER（递增类型）、DERIVE（可递增可递减类型）、ABSOLUTE（假定前一个时间间隔的值为0，再计算平均值）、GUAGE（收到值后直接存入RRA）、COMPUTE（定义一个表达式，引用DS并自动计算出某个值）5种，比如网卡流量属于计数器型，应该选择COUNTER；
RRA用于指定数据如何存放，我们可以把一个RRA看成一个表，保存不同间隔的统计结果数据，为CF做数据合并提供依据，定义格式为：[RRA:CF:xff:steps:rows]；
CF统计合并数据，支持AVERAGE（平均值）、MAX（最大值）、MIN（最小值）、LAST（最新值）4种方式。

  1. update方法
  2. filename [--template|-t ds-name[:ds-name]...] N|timestamp:value[:value...] [timestamp:value[:value...] ...] 方法，存储一个新值到rrdtool数据库，updatev和update类似，区别是每次插入后会返回一个状态码，以便了解是否成功（updatev用0表示成功，–1表示失败）。参数说明如下：

filename指定存储数据到的目标rrd文件名；
-t ds-name[:ds-name]指定需要更新的DS名称；
N|Timestamp表示数据采集的时间戳，N表示当前时间戳；
value[:value...]更新的数据值，多个DS则多个值。

  1. graph方法
  2. filename [-s|--start seconds] [-e|--end seconds] [-x|--x-grid x-axis grid and label] [-y|--y-grid y-axis grid and label] [--alt-y-grid] [--alt-y-mrtg] [--alt-autoscale] [--alt-autoscale-max] [--units-exponent] value [-v|--vertical-label text] [-w|--width pixels] [-h|--height pixels] [-i|--interlaced] [-f|--imginfo formatstring] [-a|--imgformat GIF|PNG|GD] [-B|--background value] [-O|--overlay value] [-U|--unit value] [-z|--lazy] [-o|--logarithmic] [-u|--upper-limit value] [-l|--lower-limit value] [-g|--no-legend] [-r|--rigid] [--step value] [-b|--base value] [-c|--color COLORTAG#rrggbb] [-t|--title title] [DEF:vname=rrd:ds-name:CF] [CDEF:vname=rpn-expression] [PRINT:vname:CF:format] [GPRINT:vname:CF:format] [COMMENT:text] [HRULE:value#rrggbb[:legend]] [VRULE:time#rrggbb[:legend]] [LINE{1|2|3}:vname[#rrggbb [:legend]]] [AREA:vname[#rrggbb[:legend]]] [STACK:vname[#rrggbb[:legend]]]方法，根据指定的rrdtool数据库进行绘图，关键参数说明如下：

filename指定输出图像的文件名，默认是PNG格式；
--start指定起始时间；
--end指定结束时间；
--x-grid控制X轴网格线刻度、标签的位置；
--y-grid控制Y轴网格线刻度、标签的位置；
--vertical-label指定Y轴的说明文字；
--width pixels指定图表宽度（像素）；
--height pixels指定图表高度（像素）；
--imgformat指定图像格式（GIF|PNG|GD）；
--background指定图像背景颜色，支持#rrggbb表示法；
--upper-limit指定Y轴数据值上限；
--lower-limit指定Y轴数据值下限；
--no-legend取消图表下方的图例；
--rigid严格按照upper-limit与lower-limit来绘制；
--title图表顶部的标题；
DEF:vname=rrd:ds-name:CF指定绘图用到的数据源；
CDEF:vname=rpn-expression合并多个值；
GPRINT:vname:CF:format图表的下方输出最大值、最小值、平均值等；
COMMENT:text指定图表中输出的一些字符串；
HRULE:value#rrggbb用于在图表上面绘制水平线；
VRULE:time#rrggbb用于在图表上面绘制垂直线；
LINE{1|2|3}:vname使用线条来绘制数据图表，{1|2|3}表示线条的粗细；
AREA:vname使用面积图来绘制数据图表。

  1. fetch方法
  2. filename CF [--resolution|-r resolution] [--start|-s start] [--end|-e end]方法，根据指定的rrdtool数据库进行查询，关键参数说明如下：

filename指定要查询的rrd文件名；
CF包括AVERAGE、MAX、MIN、LAST，要求必须是建库时RRA中定义的类型，否则会报错；
--start --end指定查询记录的开始与结束时间，默认可省略。

3.2.2　实践：实现网卡流量图表绘制

在日常运营工作当中，观察数据的变化趋势有利于了解我们的服务质量，比如在系统监控方面，网络流量趋势图直接展现了当前网络的吞吐。 CPU、内存、磁盘空间利用率趋势则反映了服务器运行健康状态。通过这些数据图表管理员可以提前做好应急预案，对可能存在的风险点做好防范。本次实践通过rrdtool模块实现服务器网卡流量趋势图的绘制，即先通过create方法创建一个rrd数据库，再通过update方法实现数据的写入，最后可以通过graph方法实现图表的绘制，以及提供last、first、info、fetch方法的查询。图3-12为rrd创建到输出图表的过程。

第一步　采用create方法创建rrd数据库，参数指定了一个rrd文件、更新频率setp、起始时间--start、数据源DS、数据源类型DST、数据周期定义RRA等，详细源码如下：
【/home/test/rrdtool/create.py】

# -*- coding: utf-8 -*-
#!/usr/bin/python
import rrdtool
import time

cur_time=str(int(time.time()))    #获取当前Linux时间戳作为rrd起始时间
#数据写频率--step为300秒(即5分钟一个数据点)
rrd=rrdtool.create('Flow.rrd','--step','300','--start',cur_time,
#定义数据源eth0_in(入流量)、eth0_out(出流量)；类型都为COUNTER(递增)；600秒为心跳值，
#其含义是600秒没有收到值，则会用UNKNOWN代替；0为最小值；最大值用U代替，表示不确定
  'DS:eth0_in:COUNTER:600:0:U',
  'DS:eth0_out:COUNTER:600:0:U',

  #RRA定义格式为[RRA:CF:xff:steps:rows]，CF定义了AVERAGE、MAX、MIN三种数据合并方式
  #xff定义为0.5，表示一个CDP中的PDP值如超过一半值为UNKNOWN，则该CDP的值就被标为UNKNOWN
  #下列前4个RRA的定义说明如下，其他定义与AVERAGE方式相似，区别是存最大值与最小值
  # 每隔5分钟(1*300秒)存一次数据的平均值,存600笔，即2.08天
  # 每隔30分钟(6*300秒)存一次数据的平均值,存700笔，即14.58天（2周）
  # 每隔2小时(24*300秒)存一次数据的平均值,存775笔，即64.58天（2个月）
  # 每隔24小时(288*300秒)存一次数据的平均值,存797笔，即797天(2年)
  'RRA:AVERAGE:0.5:1:600',
  'RRA:AVERAGE:0.5:6:700',
  'RRA:AVERAGE:0.5:24:775',
  'RRA:AVERAGE:0.5:288:797',
  'RRA:MAX:0.5:1:600',
  'RRA:MAX:0.5:6:700',
  'RRA:MAX:0.5:24:775',
  'RRA:MAX:0.5:444:797',
  'RRA:MIN:0.5:1:600',
  'RRA:MIN:0.5:6:700',
  'RRA:MIN:0.5:24:775',
  'RRA:MIN:0.5:444:797')
if rrd:
    print rrdtool.error()

第二步　采用updatev方法更新rrd数据库，参数指定了当前的Linux时间戳，以及指定eth0_in、eth0_out值（当前网卡的出入流量），网卡流量我们通过psutil模块来获取，如psutil.net_io_counters()[1]为入流量，关于psutil模块的介绍见第1.1。详细源码如下：
【/home/test/rrdtool/update.py】

# -*- coding: utf-8 -*-
#!/usr/bin/python
import rrdtool
import time,psutil

total_input_traffic = psutil.net_io_counters()[1]    #获取网卡入流量
total_output_traffic = psutil.net_io_counters()[0]    #获取网卡出流量
starttime=int(time.time())    #获取当前Linux时间戳
#将获取到的三个数据作为updatev的参数，返回{'return_value': 0L}则说明更新成功，反之失败
update=rrdtool.updatev('/home/test/rrdtool/Flow.rrd','%s:%s:%s' % (str(starttime),str(total_input_traffic),str(total_output_traffic)))
print update
将代码加入crontab，并配置5分钟作为采集频率，crontab配置如下：
*/5 * * * * /usr/bin/python /home/test/rrdtool/update.py > /dev/null 2>&1
第三步　采用graph方法绘制图表，此示例中关键参数使用了--x-grid定义X轴网格刻度；DEF指定数据源；使用CDEF合并数据；HRULE绘制水平线（告警线）；GPRINT输出最大值、最小值、平均值等。详细源码如下：
【/home/test/rrdtool/graph.py】
# -*- coding: utf-8 -*-
#!/usr/bin/python
import rrdtool
import time
#定义图表上方大标题
title="Server network  traffic flow ("+time.strftime('%Y-%m-%d', \
time.localtime(time.time()))+")"
#重点解释"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H"参数的作用（从左往右进行分解）
“MINUTE:12”表示控制每隔12分钟放置一根次要格线
“HOUR:1”表示控制每隔1小时放置一根主要格线
“HOUR:1”表示控制1个小时输出一个label标签
“0:%H”0表示数字对齐格线，%H表示标签以小时显示
rrdtool.graph( "Flow.png", "--start", "-1d","--vertical-label=Bytes/s",\
"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H",\
 "--width","650","--height","230","--title",title,
 "DEF:inoctets=Flow.rrd:eth0_in:AVERAGE",    #指定网卡入流量数据源DS及CF
 "DEF:outoctets=Flow.rrd:eth0_out:AVERAGE",    #指定网卡出流量数据源DS及CF
 "CDEF:total=inoctets,outoctets,+",    #通过CDEF合并网卡出入流量，得出总流量total

"LINE1:total#FF8833:Total traffic",    #以线条方式绘制总流量
 "AREA:inoctets#00FF00:In traffic",    #以面积方式绘制入流量
 "LINE1:outoctets#0000FF:Out traffic",    #以线条方式绘制出流量
 "HRULE:6144#FF0000:Alarm value\\r",    #绘制水平线，作为告警线，阈值为6.1k
 "CDEF:inbits=inoctets,8,*",    #将入流量换算成bit，即*8，计算结果给inbits
 "CDEF:outbits=outoctets,8,*",    #将出流量换算成bit，即*8，计算结果给outbits
"COMMENT:\\r",    #在网格下方输出一个换行符
 "COMMENT:\\r",
 "GPRINT:inbits:AVERAGE:Avg In traffic\: %6.2lf %Sbps",    #绘制入流量平均值
 "COMMENT:   ",
 "GPRINT:inbits:MAX:Max In traffic\: %6.2lf %Sbps",    #绘制入流量最大值
 "COMMENT:  ",
 "GPRINT:inbits:MIN:MIN In traffic\: %6.2lf %Sbps\\r",    #绘制入流量最小值
 "COMMENT: ",
 "GPRINT:outbits:AVERAGE:Avg Out traffic\: %6.2lf %Sbps",    #绘制出流量平均值
 "COMMENT: ",
 "GPRINT:outbits:MAX:Max Out traffic\: %6.2lf %Sbps",    #绘制出流量最大值
 "COMMENT: ",
 "GPRINT:outbits:MIN:MIN Out traffic\: %6.2lf %Sbps\\r")    #绘制出流量最小值

以上代码将生成一个Flow.png文件，如图3-13所示。
查看rrd文件内容有利于观察数据的结构、更新等情况，rrdtool提供几个常用命令：

info查看rrd文件的结构信息，如rrdtool info Flow.rrd；
first查看rrd文件第一个数据的更新时间，如rrdtool first Flow.rrd；
last查看rrd文件最近一次更新的时间，如rrdtool last Flow.rrd；
fetch根据指定时间、CF查询rrd文件，如rrdtool fetch Flow.rrd AVERAGE。

时间： 2024-10-23 22:58:34

《Python自动化运维：技术与最佳实践》一3.2　Python与rrdtool的结合模块的相关文章

数据中心新的自动化运维技术

自从数据中心引入了云计算.虚拟化等大咖技术,立刻变了模样,这些技术大幅提升了数据中心的运行效率,给数据中心带来了诸多好处.不过,任何事情都有两面性,我们在享受新技术带来的益处时,也给数据中心运维的管理带来了不便,需要管理对象的数量.规模及复杂度均呈现指数级增长,传统人工干预.保姆式管理监控与故障处理的方式肯定无法满足要求了.比如对于公有云及大型私有云,服务器数量往往可以达到数万到数十万.百万规模,各类系统云服务及租户的业务应用负载数量,也达到了数以百万乃至千万级的程度,这样全靠人工维护不现实,必

《Python自动化运维：技术与最佳实践》一导读

前 言 为什么要写这本书 随着信息时代的迅速发展,尤其是互联网日益融入大众生活,作为这一切背后的IT服务支撑,运维角色的作用越来越大,传统的人工运维方式已经无法满足业务的发展需求,需要从流程化.标准化.自动化去构建运维体系,其中流程化与标准化是自动化的前提条件,自动化的最终目的是提高工作效率.释放人力资源.节约运营成本.提升业务服务质量等.我们该如何达成这个目标呢?运维自动化工具的建设是最重要的途径,具体包括监控.部署变更.安全保障.故障处理.运营数据报表等.本书介绍如何使用Python语言来实

《Python自动化运维：技术与最佳实践》一3.1　数据报表之Excel操作模块

3.1 数据报表之Excel操作模块 Excel是当今最流行的电子表格处理软件,支持丰富的计算函数及图表,在系统运营方面广泛用于运营数据报表,比如业务质量.资源利用.安全扫描等报表,同时也是应用系统常见的文件导出格式,以便数据使用人员做进一步加工处理.本节主要讲述利用Python操作Excel的模块XlsxWriter(https://xlsxwriter.readthedocs.org),可以操作多个工作表的文字.数字.公式.图表等.XlsxWriter模块具有以下功能: 100%兼容的Exc

《Python自动化运维：技术与最佳实践》一2.3　发送电子邮件模块smtplib

2.3 发送电子邮件模块smtplib 电子邮件是最流行的互联网应用之一.在系统管理领域,我们常常使用邮件来发送告警信息.业务质量报表等,方便运维人员第一时间了解业务的服务状态.本节通过Python的smtplib模块来实现邮件的发送功能,模拟一个smtp客户端,通过与smtp服务器交互来实现邮件发送的功能,这可以理解成Foxmail的发邮件功能,在第一次使用之前我们需要配置smtp主机地址.邮箱账号及密码等信息,Python 2.3或更高版本默认自带smtplib模块,无需额外安装.下面详细进

《Python自动化运维：技术与最佳实践》一第2章 业务服务监控详解

第2章 业务服务监控详解 业务服务监控是运维体系中最重要的环节,是保证业务服务质量的关键手段.如何更有效地实现业务服务,是每个运维人员应该思考的问题,不同业务场景需定制不同的监控策略.Python在监控方面提供了大量的第三方工具,可以帮助我们快速.有效地开发企业级服务监控平台,为我们的业务保驾护航.本章涉及文件与目录差异对比方法.HTTP质量监控.邮件告警等内容.

《Python自动化运维：技术与最佳实践》一1.1　系统性能信息模块psutil

1.1 系统性能信息模块psutil psutil是一个跨平台库(http://code.google.com/p/psutil/),能够轻松实现获取系统运行的进程和系统利用率(包括CPU.内存.磁盘.网络等)信息.它主要应用于系统监控,分析和限制系统资源及进程的管理.它实现了同等命令行工具提供的功能,如ps.top.lsof.netstat.ifconfig.who.df.kill.free.nice.ionice.iostat.iotop.uptime.pidof.tty.taskset.p

《Python自动化运维：技术与最佳实践》一2.1　文件内容差异对比方法

2.1 文件内容差异对比方法 本节介绍如何通过difflib模块实现文件内容差异对比.difflib作为Python的标准库模块,无需安装,作用是对比文本之间的差异,且支持输出可读性比较强的HTML文档,与Linux下的diff命令相似.我们可以使用difflib对比代码.配置文件的差别,在版本控制方面是非常有用.Python 2.3或更高版本默认自带difflib模块,无需额外安装,我们先通过一个简单的示例进行了解. 2.1.1 示例1:两个字符串的差异对比 本示例通过使用difflib模块实

《Python自动化运维：技术与最佳实践》一第3章 定制业务质量报表详解

第3章 定制业务质量报表详解 在日常运维工作当中,会涉及大量不同来源的数据,比如每天的服务器性能数据.平台监控数据.自定义业务上报数据等,需要根据不同时段,周期性地输出数据报表,以方便管理员更加清晰.及时地了解业务的运营情况.在业务监控过程中,也需要更加直观地展示报表,以便快速定位问题.本章介绍Excel操作模块.rrdtool数据报表.scapy包处理等,相关知识点运用到运营平台中将起到增色添彩的作用.

《Python自动化运维：技术与最佳实践》一3.3　生成动态路由轨迹图

3.3 生成动态路由轨迹图 scapy(http://www.secdev.org/projects/scapy/)是一个强大的交互式数据包处理程序,它能够对数据包进行伪造或解包,包括发送数据包.包嗅探.应答和反馈匹配等功能.可以用在处理网络扫描.路由跟踪.服务探测.单元测试等方面,本节主要针对scapy的路由跟踪功能,实现TCP协议方式对服务可用性的探测,比如常用的80(HTTP)与443(HTTPS)服务,并生成美观的路由线路图报表,让管理员清晰了解探测点到目标主机的服务状态.骨干路由节点所