用matlab对数据进行预处理(缺失/异常/平滑等)

在数据处理方面,经常需要使用到matlab软件,matlab可以对数据进行数据缺失和离散值处理,去除平滑和去除线性趋势,数据组合等,针对这些都有很多数据函数,这里简单介绍一下相应的函数。

缺失数据:
一般在大量数据中,总会有一些数据会因为某种原因缺少,数据缺失可以使用函数ismissing函数在数据中查找缺失值。函数rmmissing可以将数据中缺失的nan数值删除;使用函数fillmissing可以填充数据中的缺失值。

用matlab对数据进行预处理(缺失/异常/平滑等)_第1张图片

离群值:
数据预处理如果要筛选去除李群智,你可以使用函数isoutlier将数据中的离群值查找出来。如果使用filloutliers函数,还可以从数据中检测出离群值,并将离群值数据进行替换。
用matlab对数据进行预处理(缺失/异常/平滑等)_第2张图片

数据平滑:
在实测数据记录中经常会存在有很多噪声,会导致数据出现突然的抖动等情况,针对这种情况,你可以使用smoothdata函数对有噪声的原始数据进行数据平滑预处理;还可以使用移动平均值函数movmean以及移动中位数函数movmedian等对数据进行处理。
用matlab对数据进行预处理(缺失/异常/平滑等)_第3张图片

去除线性趋势:
如果你需要去除数据中的线性趋势,你可以使用函数detrend将线性趋势删除,或者使用删除线性趋势filter(1 维数字滤波器函数)或者filter2(二维数字滤波器函数)等进行数据处理。

用matlab对数据进行预处理(缺失/异常/平滑等)_第4张图片

数据组合:
使用函数findgroups你可以在数据中查找出相应的数组,并且返回对应的数组编号。使用splitapply函数还可以将要处理的数据划分归档;使用函数accumarray使用累加构造数组。
用matlab对数据进行预处理(缺失/异常/平滑等)_第5张图片

bin 划分:
bin是二进制英文的缩写,这里可以使用函数discretize即可将数据进行分类划分到 bin 或类别中;使用函数histcounts,它可以将直方图bin进行计数等操作。
用matlab对数据进行预处理(缺失/异常/平滑等)_第6张图片

你可能感兴趣的:(用matlab对数据进行预处理(缺失/异常/平滑等))