《Python自动化运维:技术与最佳实践》一1.1 系统性能信息模块psutil

1.1 系统性能信息模块psutil

psutil是一个跨平台库(http://code.google.com/p/psutil/),能够轻松实现获取系统运行的进程和系统利用率(包括CPU、内存、磁盘、网络等)信息。它主要应用于系统监控,分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能,如ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。目前支持32位和64位的Linux、Windows、OS X、FreeBSD和Sun Solaris等操作系统,支持从2.4到3.4的Python版本,目前最新版本为2.0.0。通常我们获取操作系统信息往往采用编写shell来实现,如获取当前物理内存总大小及已使用大小,shell命令如下:

物理内存total值: free -m | grepMem | awk '{print $2}'
物理内存used值: free -m | grepMem | awk '{print $3}'

相比较而言,使用psutil库实现则更加简单明了。psutil大小单位一般都采用字节,如下:

>>> import psutil
>>>mem = psutil.virtual_memory()
>>>mem.total,mem.used
(506277888L, 500367360L)

psutil的源码安装步骤如下:

#wget https://pypi.python.org/packages/source/p/psutil/psutil-2.0.0.tar.gz --no-check-certificate
# tar -xzvf psutil-2.0.0.tar.gz
# cd psutil-2.0.0
# python setup.py install

1.1.1 获取系统性能信息

采集系统的基本性能信息包括CPU、内存、磁盘、网络等,可以完整描述当前系统的运行状态及质量。psutil模块已经封装了这些方法,用户可以根据自身的应用场景,调用相应的方法来满足需求,非常简单实用。
(1)CPU信息
Linux操作系统的CPU利用率有以下几个部分:
User Time,执行用户进程的时间百分比;
System Time,执行内核进程和中断的时间百分比;
Wait IO,由于IO等待而使CPU处于idle(空闲)状态的时间百分比;
Idle,CPU处于idle状态的时间百分比。
我们使用Python的psutil.cpu_times()方法可以非常简单地得到这些信息,同时也可以获取CPU的硬件相关信息,比如CPU的物理个数与逻辑个数,具体见下面的操作例子:

>>> import psutil
>>>psutil.cpu_times()#使用cpu_times方法获取CPU完整信息,需要显示所有逻辑CPU信息,
>>>#指定方法变量percpu=True即可,如psutil.cpu_times(percpu=True)
scputimes(user=38.039999999999999, nice=0.01, system=110.88, idle=177062.59, iowait=53.399999999999999, irq=2.9100000000000001, softirq=79.579999999999998, steal=0.0, guest=0.0)
>>>psutil.cpu_times().user    #获取单项数据信息,如用户user的CPU时间比
38.0
>>>psutil.cpu_count()    #获取CPU的逻辑个数,默认logical=True4
>>>psutil.cpu_count(logical=False)    #获取CPU的物理个数
2
>>>

(2)内存信息
Linux系统的内存利用率信息涉及total(内存总数)、used(已使用的内存数)、free(空闲内存数)、buffers(缓冲使用数)、cache(缓存使用数)、swap(交换分区使用数)等,分别使用psutil.virtual_memory()与psutil.swap_memory()方法获取这些信息,具体见下面的操作例子:

>>> import psutil
>>>mem = psutil.virtual_memory()   #使用psutil.virtual_memory方法获取内存完整信息
>>>mem
svmem(total=506277888L, available=204951552L, percent=59.5, used=499867648L, free=6410240L, active=245858304, inactive=163733504, buffers=117035008L, cached=81506304)
>>>mem.total    #获取内存总数
506277888L
>>>mem.free     #获取空闲内存数
6410240L
>>>psutil.swap_memory()    #获取SWAP分区信息sswap(total=1073733632L, used=0L, free=1073733632L, percent=0.0, sin=0, sout=0)
>>>

(3)磁盘信息
在系统的所有磁盘信息中,我们更加关注磁盘的利用率及IO信息,其中磁盘利用率使用psutil.disk_usage方法获取。磁盘IO信息包括read_count(读IO数)、write_count(写IO数)、read_bytes(IO读字节数)、write_bytes(IO写字节数)、read_time(磁盘读时间)、write_time(磁盘写时间)等。这些IO信息可以使用psutil.disk_io_counters()获取,具体见下面的操作例子:

>>>psutil.disk_partitions()    #使用psutil.disk_partitions方法获取磁盘完整信息
[sdiskpart(device='/dev/sda1', mountpoint='/', fstype='ext4', opts='rw'), sdiskpart(device='/dev/sda3', mountpoint='/data', fstype='ext4', opts='rw')]
>>>
>>>psutil.disk_usage('/')  #使用psutil.disk_usage方法获取分区(参数)的使用情况
sdiskusage(total=15481577472, used=4008087552, free=10687057920, percent=25.899999999999999)
>>>
>>>psutil.disk_io_counters()    #使用psutil.disk_io_counters获取硬盘总的IO个数、
                   #读写信息
sdiskio(read_count=9424, write_count=35824, read_bytes=128006144, write_bytes=204312576, read_time=72266, write_time=182485)
>>>
>>>psutil.disk_io_counters(perdisk=True)  #“perdisk=True”参数获取单个分区IO个数、
                             #读写信息
{'sda2': sdiskio(read_count=322, write_count=0, read_bytes=1445888, write_bytes=0, read_time=445, write_time=0), 'sda3': sdiskio(read_count=618, write_count=3, read_bytes=2855936, write_bytes=12288, read_time=871, write_time=155), 'sda1': sdiskio(read_count=8484, write_count=35821, read_bytes=123704320, write_bytes=204300288, read_time=70950, write_time=182330)}

(4)网络信息
系统的网络信息与磁盘IO类似,涉及几个关键点,包括bytes_sent(发送字节数)、bytes_recv=28220119(接收字节数)、packets_sent=200978(发送数据包数)、packets_recv=212672(接收数据包数)等。这些网络信息使用psutil.net_io_counters()方法获取,具体见下面的操作例子:

>>>psutil.net_io_counters()    #使用psutil.net_io_counters获取网络总的IO信息,默
                               #认pernic=False
snetio(bytes_sent=27098178, bytes_recv=28220119, packets_sent=200978, packets_recv=212672, errin=0, errout=0, dropin=0, dropout=0)
>>>psutil.net_io_counters(pernic=True)  #pernic=True输出每个网络接口的IO信息{'lo': snetio(bytes_sent=26406824, bytes_recv=26406824, packets_sent=198526, packets_recv=198526, errin=0, errout=0, dropin=0, dropout=0), 'eth0': snetio(bytes_sent=694750, bytes_recv=1816743, packets_sent=2478, packets_recv=14175, errin=0, errout=0, dropin=0, dropout=0)}
>>>

(5)其他系统信息
除了前面介绍的几个获取系统基本信息的方法,psutil模块还支持获取用户登录、开机时间等信息,具体见下面的操作例子:

>>>psutil.users()    #使用psutil.users方法返回当前登录系统的用户信息
[suser(name='root', terminal='pts/0', host='192.168.1.103', started=1394638720.0), suser(name='root', terminal='pts/1', host='192.168.1.103', started=1394723840.0)]
>>> import psutil, datetime
>>>psutil.boot_time()    #使用psutil.boot_time方法获取开机时间,以Linux时间戳格式返回
1389563460.0
>>>datetime.datetime.fromtimestamp(psutil.boot_time()).strftime("%Y-%m-%d %H:%M:%S")
'2014-01-12 22:51:00'    #转换成自然时间格式

1.1.2 系统进程管理方法

获得当前系统的进程信息,可以让运维人员得知应用程序的运行状态,包括进程的启动时间、查看或设置CPU亲和度、内存使用率、IO信息、socket连接、线程数等,这些信息可以呈现出指定进程是否存活、资源利用情况,为开发人员的代码优化、问题定位提供很好的数据参考。
(1)进程信息
psutil模块在获取进程信息方面也提供了很好的支持,包括使用psutil.pids()方法获取所有进程PID,使用psutil.Process()方法获取单个进程的名称、路径、状态、系统资源利用率等信息,具体见下面的操作例子:

>>> import psutil
>>>psutil.pids()   #列出所有进程PID
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19……]
>>> p = psutil.Process(2424)  #实例化一个Process对象,参数为一进程PID
>>> p.name()  #进程名
'java'
>>> p.exe()  #进程bin路径
'/usr/java/jdk1.6.0_45/bin/java'
>>>p.cwd()  #进程工作目录绝对路径
'/usr/local/hadoop-1.2.1'
>>>p.status()    #进程状态
'sleeping'
>>>p.create_time()    #进程创建时间,时间戳格式
1394852592.6900001
>>>p.uids()    #进程uid信息
puids(real=0, effective=0, saved=0)
>>>p.gids()    #进程gid信息
pgids(real=0, effective=0, saved=0)
>>>p.cpu_times()    #进程CPU时间信息,包括user、system两个CPU时间
pcputimes(user=9.0500000000000007, system=20.25)
>>>p.cpu_affinity()    #get进程CPU亲和度,如要设置进程CPU亲和度,将CPU号作为参数即可
[0, 1]
>>>p.memory_percent()    #进程内存利用率
14.147714861289776
>>>p.memory_info()    #进程内存rss、vms信息
pmem(rss=71626752, vms=1575665664)
>>>p.io_counters()    #进程IO信息,包括读写IO数及字节数
pio(read_count=41133, write_count=16811, read_bytes=37023744, write_bytes=4722688)
>>>p.connections()    #返回打开进程socket的namedutples列表,包括fs、family、laddr
                      #等信息
[pconn(fd=65, family=10, type=1, laddr=('::ffff:192.168.1.20', 9000), raddr=(),……]
>>>p.num_threads()    #进程开启的线程数
33

(2)popen类的使用
psutil提供的popen类的作用是获取用户启动的应用程序进程信息,以便跟踪程序进程的运行状态。具体实现方法如下:

>>> import psutil
>>>from subprocess import PIPE
#通过psutil的Popen方法启动的应用程序,可以跟踪该程序运行的所有相关信息
>>> p = psutil.Popen(["/usr/bin/python", "-c", "print('hello')"], stdout=PIPE)
>>>p.name()
'python'
>>>p.username()
'root'
>>>p.communicate()
('hello\n', None)
>>>p.cpu_times()    #得到进程运行的CPU时间,更多方法见上一小节
pcputimes(user=0.01, system=0.040000000000000001)
时间: 2024-09-20 08:46:04

《Python自动化运维:技术与最佳实践》一1.1 系统性能信息模块psutil的相关文章

数据中心新的自动化运维技术

自从数据中心引入了云计算.虚拟化等大咖技术,立刻变了模样,这些技术大幅提升了数据中心的运行效率,给数据中心带来了诸多好处.不过,任何事情都有两面性,我们在享受新技术带来的益处时,也给数据中心运维的管理带来了不便,需要管理对象的数量.规模及复杂度均呈现指数级增长,传统人工干预.保姆式管理监控与故障处理的方式肯定无法满足要求了.比如对于公有云及大型私有云,服务器数量往往可以达到数万到数十万.百万规模,各类系统云服务及租户的业务应用负载数量,也达到了数以百万乃至千万级的程度,这样全靠人工维护不现实,必

《Python自动化运维:技术与最佳实践》一导读

前 言 为什么要写这本书 随着信息时代的迅速发展,尤其是互联网日益融入大众生活,作为这一切背后的IT服务支撑,运维角色的作用越来越大,传统的人工运维方式已经无法满足业务的发展需求,需要从流程化.标准化.自动化去构建运维体系,其中流程化与标准化是自动化的前提条件,自动化的最终目的是提高工作效率.释放人力资源.节约运营成本.提升业务服务质量等.我们该如何达成这个目标呢?运维自动化工具的建设是最重要的途径,具体包括监控.部署变更.安全保障.故障处理.运营数据报表等.本书介绍如何使用Python语言来实

《Python自动化运维:技术与最佳实践》一3.1 数据报表之Excel操作模块

3.1 数据报表之Excel操作模块 Excel是当今最流行的电子表格处理软件,支持丰富的计算函数及图表,在系统运营方面广泛用于运营数据报表,比如业务质量.资源利用.安全扫描等报表,同时也是应用系统常见的文件导出格式,以便数据使用人员做进一步加工处理.本节主要讲述利用Python操作Excel的模块XlsxWriter(https://xlsxwriter.readthedocs.org),可以操作多个工作表的文字.数字.公式.图表等.XlsxWriter模块具有以下功能: 100%兼容的Exc

《Python自动化运维:技术与最佳实践》一2.3 发送电子邮件模块smtplib

2.3 发送电子邮件模块smtplib 电子邮件是最流行的互联网应用之一.在系统管理领域,我们常常使用邮件来发送告警信息.业务质量报表等,方便运维人员第一时间了解业务的服务状态.本节通过Python的smtplib模块来实现邮件的发送功能,模拟一个smtp客户端,通过与smtp服务器交互来实现邮件发送的功能,这可以理解成Foxmail的发邮件功能,在第一次使用之前我们需要配置smtp主机地址.邮箱账号及密码等信息,Python 2.3或更高版本默认自带smtplib模块,无需额外安装.下面详细进

《Python自动化运维:技术与最佳实践》一第2章 业务服务监控详解

第2章 业务服务监控详解 业务服务监控是运维体系中最重要的环节,是保证业务服务质量的关键手段.如何更有效地实现业务服务,是每个运维人员应该思考的问题,不同业务场景需定制不同的监控策略.Python在监控方面提供了大量的第三方工具,可以帮助我们快速.有效地开发企业级服务监控平台,为我们的业务保驾护航.本章涉及文件与目录差异对比方法.HTTP质量监控.邮件告警等内容.

《Python自动化运维:技术与最佳实践》一2.1 文件内容差异对比方法

2.1 文件内容差异对比方法 本节介绍如何通过difflib模块实现文件内容差异对比.difflib作为Python的标准库模块,无需安装,作用是对比文本之间的差异,且支持输出可读性比较强的HTML文档,与Linux下的diff命令相似.我们可以使用difflib对比代码.配置文件的差别,在版本控制方面是非常有用.Python 2.3或更高版本默认自带difflib模块,无需额外安装,我们先通过一个简单的示例进行了解. 2.1.1 示例1:两个字符串的差异对比 本示例通过使用difflib模块实

《Python自动化运维:技术与最佳实践》一第3章 定制业务质量报表详解

第3章 定制业务质量报表详解 在日常运维工作当中,会涉及大量不同来源的数据,比如每天的服务器性能数据.平台监控数据.自定义业务上报数据等,需要根据不同时段,周期性地输出数据报表,以方便管理员更加清晰.及时地了解业务的运营情况.在业务监控过程中,也需要更加直观地展示报表,以便快速定位问题.本章介绍Excel操作模块.rrdtool数据报表.scapy包处理等,相关知识点运用到运营平台中将起到增色添彩的作用.

《Python自动化运维:技术与最佳实践》一3.3 生成动态路由轨迹图

3.3 生成动态路由轨迹图 scapy(http://www.secdev.org/projects/scapy/)是一个强大的交互式数据包处理程序,它能够对数据包进行伪造或解包,包括发送数据包.包嗅探.应答和反馈匹配等功能.可以用在处理网络扫描.路由跟踪.服务探测.单元测试等方面,本节主要针对scapy的路由跟踪功能,实现TCP协议方式对服务可用性的探测,比如常用的80(HTTP)与443(HTTPS)服务,并生成美观的路由线路图报表,让管理员清晰了解探测点到目标主机的服务状态.骨干路由节点所

《Python自动化运维:技术与最佳实践》一3.2 Python与rrdtool的结合模块

3.2 Python与rrdtool的结合模块 rrdtool(round robin database)工具为环状数据库的存储格式,round robin是一种处理定量数据以及当前元素指针的技术.rrdtool主要用来跟踪对象的变化情况,生成这些变化的走势图,比如业务的访问流量.系统性能.磁盘利用率等趋势图,很多流行监控平台都使用到rrdtool,比较有名的为Cacti.Ganglia.Monitorix等.更多rrdtool介绍见官网http://oss.oetiker.ch/rrdtool