数据挖掘--心跳信号分类预测

 

---

Task01--赛题理解

赛题以心电图数据为背景，要求选手根据心电图感应数据预测心跳信号，其中心跳信号对应正常病例以及受不同心律不齐和心肌梗塞影响的病例，这是一个多分类问题。

 数据下载地址，比赛要求参赛选手根据给定的数据集，建立模型，预测不同的心跳信号。赛题以预测心电图心跳信号类别为任务，数据集报名后可见并可下载，该该数据来自某平台心电图数据记录，总数据量超过20万，主要为1列心跳信号序列数据，其中每个样本的信号序列采样频次一致，长度相等。为了保证比赛的公平性，将会从中抽取10万条作为训练集，2万条作为测试集A，2万条作为测试集B，同时会对心跳信号类别（label）信息进行脱敏。

通过这道赛题来引导大家走进医疗大数据的世界，主要针对于于竞赛新人进行自我练习，自我提高。

一、数据概况

本赛题提供两个数据：train.csv和testA.csv

train.csv

• id 为心跳信号分配的唯一标识

• heartbeat_signals 心跳信号序列(数据之间采用“,”进行分隔)

• label 心跳信号类别（0、1、2、3）

testA.csv

• id 心跳信号分配的唯一标识

• heartbeat_signals 心跳信号序列(数据之间采用“,”进行分隔)

二、预测指标

选手需提交4种不同心跳信号预测的概率，选手提交结果与实际心跳类型结果进行对比，求预测的概率与真实值差值的绝对值（越小越好）。

具体计算公式如下：

针对某一个信号，若真实值为[y_1,y_2,y_3,y_4][y1​,y2​,y3​,y4​],模型预测概率值为[a_1,a_2,a_3,a_4][a1​,a2​,a3​,a4​],那么该模型的平均指标abs-sumabs−sum为

例如，心跳信号为1，会通过编码转成[0,1,0,0][0,1,0,0]，预测不同心跳信号概率为[0.1,0.7,0.1,0.1][0.1,0.7,0.1,0.1]，那么这个预测结果的abs-sumabs−sum为

三、代码示例

 

Task02--数据分析

通过第一部分的内容，我们了解了赛题信息及数据格式。接下来我们需要对数据进一步分析，主要是探索性分析和描述性统计分析，以此了解变量间的相互关系以及变量与预测值之间的存在关系。为第三阶段的特征构建提供分析支撑，使数据集的结构和特征集让接下来的预测问题更加可靠。

一、内容介绍

1. 载入各种数据科学以及可视化库:

   • 数据科学库 pandas、numpy、scipy；

   • 可视化库 matplotlib、seabon；

2. 载入数据：

   • 载入训练集和测试集；

   • 简略观察数据(head()+shape)；

3. 数据总览:

   • 通过describe()来熟悉数据的相关统计量

   • 通过info()来熟悉数据类型

4. 判断数据缺失和异常

   • 查看每列的存在nan情况

   • 异常值检测

5. 了解预测值的分布

   • 总体分布概况

   • 查看skewness and kurtosis

   • 查看预测值的具体频数

 

 

二、操作逻辑

前期准备操作包括载入各种数据科学可视化库，载入训练集和测试集。

首先我们需要对数据有一个整体认识，查看train和test数据集的首尾数据，再查看各自的行列数据

   data.describe()——获取数据的相关统计量

   data.info()——获取数据类型

1. describe种有每列的统计量，个数count、平均值mean、方差std、最小值min、中位数25% 50% 75% 、以及最大值 看这个信息主要是瞬间掌握数据的大概的范围以及每个值的异常值的判断，比如有的时候会发现999 9999 -1 等值这些其实都是nan的另外一种表达方式，有的时候需要注意下

2. info 通过info来了解数据每列的type，有助于了解是否存在除了nan以外的特殊符号异常

 

接下来需要进行缺失值和异常判断，task01中提到了缺失值的处理方法。了解关键字段Label的分布信息，最后用pandas_profiling生成数据报告。

 

Task03—特征工程

一、具体内容

数据预处理

• 时间序列数据格式处理
• 加入时间步特征time

特征工程

• 时间序列特征构造
• 特征筛选
• 使用 tsfresh 进行时间序列特征处理

二、数据预处理

# 对心电特征进行行转列处理，同时为每个心电信号加入时间步特征time
train_heartbeat_df = data_train["heartbeat_signals"].str.split(",", expand=True).stack()
train_heartbeat_df = train_heartbeat_df.reset_index()
train_heartbeat_df = train_heartbeat_df.set_index("level_0")
train_heartbeat_df.index.name = None
train_heartbeat_df.rename(columns={"level_1":"time", 0:"heartbeat_signals"}, inplace=True)
train_heartbeat_df["heartbeat_signals"] = train_heartbeat_df["heartbeat_signals"].astype(float)

train_heartbeat_df

output： 

			time		heartbeat_signals
0			0				0.991230
0			1				0.943533
0			2				0.764677
0			3				0.618571
0			4				0.379632
...		...			...
99999	200			0.000000
99999	201			0.000000
99999	202			0.000000
99999	203			0.000000
99999	204			0.000000

20500000 rows × 2 columns

# 将处理后的心电特征加入到训练数据中，同时将训练数据label列单独存储
data_train_label = data_train["label"]
data_train = data_train.drop("label", axis=1)
data_train = data_train.drop("heartbeat_signals", axis=1)
data_train = data_train.join(train_heartbeat_df)

data_train

			id		time	heartbeat_signals
0			0			0			0.991230
0			0			1			0.943533
0			0			2			0.764677
0			0			3			0.618571
0			0			4			0.379632
...		...		...		...
99999	99999	200		0.0
99999	99999	201		0.0
99999	99999	202		0.0
99999	99999	203		0.0
99999	99999	204		0.0

20500000 rows × 4 columns

Task04—模型调参

首先我们需要设计一个reduce_mem_usage 函数调整数据类型，帮助我们减少数据在内存中占用的空间，此函数将用于后续为进行模型调参前的数据处理部分。

def reduce_mem_usage(df):
    start_mem = df.memory_usage().sum() / 1024**2 
    print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))
    
    for col in df.columns:
        col_type = df[col].dtype
        
        if col_type != object:
            c_min = df[col].min()
            c_max = df[col].max()
            if str(col_type)[:3] == 'int':
                if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
                    df[col] = df[col].astype(np.int8)
                elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
                    df[col] = df[col].astype(np.int16)
                elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
                    df[col] = df[col].astype(np.int32)
                elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:
                    df[col] = df[col].astype(np.int64)  
            else:
                if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
                    df[col] = df[col].astype(np.float16)
                elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
                    df[col] = df[col].astype(np.float32)
                else:
                    df[col] = df[col].astype(np.float64)
        else:
            df[col] = df[col].astype('category')

    end_mem = df.memory_usage().sum() / 1024**2 
    print('Memory usage after optimization is: {:.2f} MB'.format(end_mem))
    print('Decreased by {:.1f}%'.format(100 * (start_mem - end_mem) / start_mem))
    
    return df

 随后对数据进行处理

# 读取数据
data = pd.read_csv('data/train.csv')
# 简单预处理
data_list = []
for items in data.values:
    data_list.append([items[0]] + [float(i) for i in items[1].split(',')] + [items[2]])

data = pd.DataFrame(np.array(data_list))
data.columns = ['id'] + ['s_'+str(i) for i in range(len(data_list[0])-2)] + ['label']

data = reduce_mem_usage(data)

Task05—模型融合

本节需要掌握模型融合的基本方法：

1. 回归\分类概率—融合：简单加权平均，结果直接融合；Stacking融合（回归）。
2. 分类模型融合：Voting投票机制；分类的Stacking\Blending融合。
3. 其他方法

回归\分类概率—融合

• 简单加权平均就是将原始数据直接乘以各自的权重再加总。

import numpy as np
import pandas as pd
from sklearn import metrics

## 生成一些简单的样本数据，test_prei 代表第i个模型的预测值
test_pre1 = [1.2, 3.2, 2.1, 6.2]
test_pre2 = [0.9, 3.1, 2.0, 5.9]
test_pre3 = [1.1, 2.9, 2.2, 6.0]

# y_test_true 代表第模型的真实值
y_test_true = [1, 3, 2, 6] 

## 定义结果的加权平均函数
def Weighted_method(test_pre1,test_pre2,test_pre3,w=[1/3,1/3,1/3]):
    Weighted_result = w[0]*pd.Series(test_pre1)+w[1]*pd.Series(test_pre2)+w[2]*pd.Series(test_pre3)
    return Weighted_result

# 各模型的预测结果计算MAE
print('Pred1 MAE:',metrics.mean_absolute_error(y_test_true, test_pre1))
print('Pred2 MAE:',metrics.mean_absolute_error(y_test_true, test_pre2))
print('Pred3 MAE:',metrics.mean_absolute_error(y_test_true, test_pre3))

## 根据加权计算MAE
w = [0.3,0.4,0.3] # 定义比重权值
Weighted_pre = Weighted_method(test_pre1,test_pre2,test_pre3,w)
print('Weighted_pre MAE:',metrics.mean_absolute_error(y_test_true, Weighted_pre))

• Stacking融合