读书的时候,处理数据都是采用matlab,但毕业后当了程序员,matlab从此在自己的电脑上消失了(安装包太大,还要license,启动也好慢,不符合程序员的需求)。
但是最近公司仿真的数据是以matlab的.mat格式存储的,需要读取出来处理,那就找找python相关的库吧,没有python干不了的活!!!
mat文件存储了matlab中变量数据,因此,python读出的mat数据是以k-v形式存储在字典里,key是变量名,value是数据内容:
最先想到的的是scipy工具
import scipy.io as scio
data = scio.loadmat(‘example.mat')
data[‘loss']
但是读取有的.mat文件的时,会抛出异常(v7.3版本):
raise NotImplementedError(‘Please use HDF reader for matlab v7.3 files’)NotImplementedError: Please use HDF reader for matlab v7.3 files
遇到上面的问题,就需要采用h5py库了:
import h5py
data=h5py.loadmat('example.mat')
data['loss'][:]
但是这样读出来的是file格式,调试的时候都很难知道key是什么,取数据可以按照key来取,但是前提是需要知道key值,不方便独立调试。
今天的主角登场,个人觉得mat73兼容性最好,几乎所有的mat文件都能成功读取,而且读取的结果是k-v的字典,很便于后续处理:
import mat73
data=mat73.loadmat(path)
data['loss']
在win10中,打开
ITC_VD 数据集格式,
结果在训练集ITC_VD_Training_Testing_set中,看到标签文件全是快捷方式,
选中一个文件,右键 属性,看到:
Microsoft Access Table Shortcut (.mat)
查了半天,发现是.mat 的 matlab格式,
from scipy.io import loadmat
m = loadmat(r"E:\data\yolov5_dbb\ITC_VD_Training_Testing_set\Training\GT/00064.mat")
daaa=m.keys()
print(daaa)
print(m['x00064'])
mat 文件里的数据结构是 dict ,所以取值要按照 key:value 的形式:
上面读出来的数据是 ndarray 类型,为了方便数据的展示,我们可以将其转换为,pandas的DataFrame:
import pandas as pd
df = pd.DataFrame(m['H_BETA'])
df.head()
import glob
import cv2
import numpy as np
r_path=r'C:\File\2021-11'
files=glob.glob(r_path+"/*.mat")
from scipy.io import loadmat
# 数据矩阵转图片的函数
def MatrixToImage(data):
# data = data * 255
new_im = data.astype(np.uint8)
return new_im
for file in files:
if "2018" in file:
continue
print(file)
m = loadmat(file)
daaa = m.keys()
data=m['groundTruth']
print(data)
new_im = MatrixToImage(data)
cv2.imshow("asdf",new_im)
cv2.waitKey()
# print(data)