系统基础信息采集模块作为监控模块的重要组成部分,能够帮助运维人员了解当前系统的健康程度,同时也是衡量业务的服务质量的依据,比如系统资源吃紧,会直接影响业务的服务质量及用户体验,另外获取设备的流量信息,也可以让运维人员更好地评估带宽、设备资源是否应该扩容。运用Python第三方系统基础模块,可以轻松获取服务关键运营指标数据,包括Linux基本性能、块设备、网卡接口、系统信息、网络地址库等信息。在采集到这些数据后,我们就可以全方位了解系统服务的状态,再结合告警机制,可以在第一时间响应,将异常现在苗头时就得以处理。
psutil模块
psutil是一个跨平台库(http://code.google.com/p/psutil/),能够轻松实现获取系统运行的进程和系统利用率(包括CPU、内存、磁盘、网络等)信息。它主要应用于系统监控,分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能,如ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。目前支持32位和64位的Linux、Windows、OS X、FreeBSD和Sun Solaris等操作系统,支持从2.4到3.4的Python版本。
一、获取系统性能信息
采集系统基本性能信息
系统基本信息主要包含CPU、内存、磁盘、网络等,可以很好的描述服务器资源使用情况,对于我们运维人员分析资源使用等有重要作用。psutil模块已经封装了这些方法,可以根据我们的需求完成调用和实际应用。
(1)CPU信息
Linux操作系统CPU利用率有以下几个部分
Usertime 执行用户进程的时间百分比:
Systemtime 执行内核进程和中断的时间百分比:
Wait IO 由于IO等待而使CPU处于idle(空闲)状态的时间百分比;
Idle CPU处于idle状态的时间百分比
Linux Shell命令获取以上信息
# top top - 15:33:04 up 85 days, 11:44, 2 users, load average: 0.00, 0.01, 0.00 Tasks: 205 total, 1 running, 204 sleeping, 0 stopped, 0 zombie Cpu(s): 0.8%us, 0.3%sy, 0.0%ni, 98.9%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 16330912k total, 16150528k used, 180384k free, 238244k buffers Swap: 0k total, 0k used, 0k free, 2133688k cached
python psutil模块实现
>>> import psutil >>> cputime=psutil.cpu_times() >>> cpuinfo=psutil.cpu_times() >>> print(cputime) scputimes(user=27.52, nice=0.13, system=38.22, idle=27505.43, iowait=82.71, irq=0.0, softirq=1.17, steal=0.0, guest=0.0, guest_nice=0.0)
很简单的就可以得到我们想要的数据,输出结果是一个元组我们可以使用切片得到具体的值。
>>> print(cputime[0]) #得到用户的值 27.52 >>> print(cputime[2]) #系统值 38.22 >>> 或者以下方式 >>> print(cpuinfo.user) 28.31 >>> print(cpuinfo.system) 40.19 >>>
获取CPU数量
psutil.cpu_count() #逻辑个数
psutil.cpu_count(logical=False) #物理个数
>>> psutil.cpu_count() 1 >>> psutil.cpu_count(logical=False) 1
内存信息
Linux系统的内存利用率信息涉及total(内存总数)、used(已使用的内存数)、free(空闲内存数)、buffers(缓冲使用数)、cache(缓存使用数)、swap(交换分区使用数)等,分别使用
psutil.virtual_memory()与psutil.swap_memory()方法获取这些信息。
获取完整信息
psutil.virtual_memory()
结果
svmem(total=461918208, available=107016192, percent=76.8, used=335712256, free=10584064, active=132857856, inactive=206520320, buffers=0, cached=115621888, shared=6508544) 要是想获取其中的某一个可以使用以下方式 >>> psutil.virtual_memory().free 10395648 >>> psutil.virtual_memory().used 335880192 >>> psutil.virtual_memory().total 461918208
Swap参数获取
psutil.swap_memory() sswap(total=2147479552, used=274354176, free=1873125376, percent=12.8, sin=21311488, sout=298082304)
获取单个值 >>> psutil.swap_memory().total 2147479552 >>> psutil.swap_memory().used 274354176 >>> psutil.swap_memory().free 1873125376 >>>
磁盘信息
在系统的所有磁盘信息中,我们更加关注磁盘的利用率及IO信息,其中磁盘利用率使psutil.disk_usage()方法获取。磁盘IO信息包括read_count(读IO数)、write_count(写IO数)、read_bytes(IO读字节数)、write_bytes(IO写字节数)、read_time(磁盘读时间)、write_time(磁盘写时间)等。这些IO信息可以使用psutil.disk_io_counters()获取
例如
psutil.disk_partitions() #获取磁盘所有信息 [sdiskpart(device='/dev/mapper/cl-root', mountpoint='/', fstype='xfs', opts='rw,relatime,attr2,inode64,noquota'), sdiskpart(device='/dev/sda1', mountpoint='/boot', fstype='xfs', opts='rw,relatime,attr2,inode64,noquota')] psutil.disk_usage("/dev/sda1") sdiskusage(total=219918336, used=0, free=219918336, percent=0.0) >>> psutil.disk_usage("/dev/sda1") sdiskusage(total=219918336, used=0, free=219918336, percent=0.0) 注意:psutil.disk_usage需要参数例如"/dev/sda1"分区信息,就能得到该分区的使用情况 psutil.disk_io_counters() sdiskio(read_count=48990, write_count=85420, read_bytes=2731183616, write_bytes=950151168, read_time=938874, write_time=13787272, read_merged_count=4479, write_merged_count=73400, busy_time=259691)
网络信息
系统的网络信息与磁盘IO类似,涉及几个关键点,包括bytes_sent(发送字节数)、bytes_recv=28220119(接收字节数)、packets_sent=200978(发送数据包数)、packets_recv=212672(接收数据包数)等。这些网络信息使用psutil.net_io_counters()方法获取
使用psutil.net_io_counters获取网络总的IO信息 默认pernic=False,
snetio(bytes_sent=6328062, bytes_recv=19216785, packets_sent=12474, packets_recv=23414, errin=0, errout=0, dropin=0, dropout=0)
当pernic=Ture时可以获取每个网卡的流量信息
psutil.net_io_counters(pernic=True) {'ens33': snetio(bytes_sent=6262442, bytes_recv=19205069,packets_sent=12333, packets_recv=23271, errin=0, errout=0, dropin=0, dropout=0), 'lo': snetio(bytes_sent=6588,bytes_recv=6588, packets_sent=76, packets_recv=76, errin=0, errout=0, dropin=0, dropout=0)}
用户信息与开机时间等信息
使用psutil.users方法返回当前登录系统的用户信息
psutil.users() [suser(name='root', terminal='tty1', host='', started=1491535104.0), suser(name='root', terminal='pts/0', host='192.168.186.1', started=1491535104.0), suser(name='root', terminal='pts/1', host='192.168.186.1', started=1491543808.0), suser(name='root', terminal='pts/2', host='192.168.186.1', started=1492674560.0), suser(name='root', terminal='pts/3', host='192.168.186.1', started=1492676992.0)]
使用psutil.boot_time方法获取开机时间,以Linux时间戳格
>>> psutil.boot_time() 1492648101.0
进程管理
获得当前系统的进程信息,可以让运维人员得知应用程序的运行状态,包括进程的启动时间、查看或设置CPU亲和度、内存使用率、IO信息、socket连接、线程数等,这些信息可以呈现出指定进程是否存活、资源利用情况,为开发人员的代码优化、问题定位提供很好的数据参考。
进程信息
psutil模块在获取进程信息方面也提供了很好的支持,包括使用psutil.pids()方法获取所有进程PID,使用psutil.Process()方法获取单个进程的名称、路径、状态、系统资源利用率等信息。
psutil.pids() #获取目前所有运行进程的id [1, 2, 3, 4, 6, 7, 8, 9, 10, 12, 13, 14, 15, 16, 17, 18, 19, 25, 26, 27, 28, 36, 38, 39, 41, 60, 92, 270, 271, 273, 282, 283, 284, 287, 288, 290, 293, 365, 366, 377, 378, 391, 392, 393, 394, 395, 396, 397, 398, 399, 400, 468, 486, 493, 732, 776, 777, 778, 782, 783, 786, 788, 790, 912, 978, 980, 982, 992, 993, 994, 997, 1009, 1012, 1018, 1330, 1332, 1372, 1469, 1965, 2706, 2722, 2724, 2798, 3516, 4218, 4259, 4261, 4343, 4370, 4479, 4507, 4508, 4531]
我们可以使用进程ID和 psutil.Process()方法将某个进程实例化,这样就能得到更多的信息例如我们将ID为270实例化
mn=psutil.Process(270) >>> mn.name() #进程名称 'ata_sff' >>> mn.exe() #进程bin路径 '' >>> mn.status() #进程状态 'sleeping' >>> mn.cwd() #进程的绝对路径 '/' mn.create_time() #进程创建时间 返回时间戳 1492648102.1 >>> mn.uids() #进程uid信息 puids(real=0, effective=0, saved=0) >>> mn.gids() #进程gid信息 pgids(real=0, effective=0, saved=0) >>> mn.cpu_times() #进程CPU时间信息,包括user、system两个CPU时间 pcputimes(user=0.0, system=0.0, children_user=0.0, children_system=0.0) >>> >>> mn.memory_percent() #进程内存使用率 0.0 >>> mn.memory_info() #进程内存rss、vms信息 pmem(rss=0, vms=0, shared=0, text=0, lib=0, data=0, dirty=0 >>> mn.io_counters()# 进程IO信息,包括读写IO数及字节数 pio(read_count=0, write_count=0, read_bytes=0, write_bytes=0, read_chars=0, write_chars=0) >>> mn.connections() #回打开进程socket的namedutples列表,包括fs、family、laddr等信息 [] >>> mn.num_threads()#进程启动的线程数量 1 >>>