fio数据整理

记录简要的fio数据分析整理，抓取一些关键数据…待完善

import os
import re


class saveFio:
    def __init__(self):
        #获取当前目录
        self.path = os.getcwd()
        #设定文件名
        # 如果是fio多线程，请加上 --group_reporting ，让多个线程读写结果合并，方便统计
        self.filename = "output-1.log"
        self.file = os.path.join(self.path,self.filename)
        rdata = {}

    def openfile(self):
        with open(self.file,'r') as f:
            text = f.read()
            return text
        
    def get_data(self,rw):
        rdata = {}
        for key in ["rIOPS","rBW","rBiW","rclatv","rclatavg","rclatmin","rclatmax","rqos9","rqos29","rqos39"]:
            rdata[key] = ""
        try:
            pattern = f"{rw}:.*?(?=iops)"   #抓从read:开始到 遇到第一个 iops结束的字符串段，包含换行符
            text = re.search(pattern,self.text,re.DOTALL).group()
            print(text)
            #IOPS,BW
            #当rw=read时匹配以 含"read: IOPS="，后接 [\d.]代表整数， + 代表匹配多位，[kKMGT]代表含这些字母 ?代表匹配一个字符
            rdata["rIOPS"] = re.findall(f'{rw}: IOPS=([\d.]+[kKMGT]?)', text)[0]
            rdata["rBiW"] = re.findall(r'BW=([\d.]+[kKMGT]?i?B/s)', text)[0]                #MiB
            rdata["rBW"] = re.findall(f'{rw}:.*\(([\d.]+[kKMGT]?B/s)',text)[0]              #MB
            #clat
            #匹配括号里的字符串，group(1)仅输出括号里的 "字符串"，group() 输出 "(字符串)"，group(0)输出 "clat (字符串)"
            rdata["rclatv"] = re.search(r"clat \((.*?)\)",text).group(1)    
            #([\d.]+)   加+号代表匹配一到多位
            rdata["rclatmin"] = re.search(r"clat.*min=([\d.]+),",text).group(1)
            #rdata["rclatmin"] = re.findall(r"clat.*min=([\d.]+.),",text)[0]
            rdata["rclatmax"] = re.findall(r"clat.*max=([\d.]+),",text)[0]
            rdata["rclatavg"] = re.findall(r"clat.*avg=([\d.]+),",text)[0]
            #qos
            #.strip()  去除字符串前后的空格
            # \.  因为.需要特别转义，让它在这里没有特殊含义，仅代表.，否则正则表达式中它代表 任意一个字符
            rdata["rqos9"] = re.search(r'90\.00th=\[(.*?)\]',text).group(1).strip()
            rdata["rqos29"] = re.search(r'99\.00th=\[(.*?)\]',text).group(1).strip()
            rdata["rqos39"] = re.search(r'99\.90th=\[(.*?)\]',text).group(1).strip()
            #print(rdata["rqos9"])

        except Exception as e:
            print("some value not get")
        return rdata                      
    
    def run(self):
        self.text = self.openfile()
        readData=self.get_data("read")
        writeData=self.get_data("write")
        print(readData)
        print(writeData)


if __name__ == "__main__":
    myclass = saveFio()
    myclass.run()