分割训练集和测试集(train_test_split)

sklearn.model_selection.train_test_split随机划分训练集和测试集

X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)

参数:
       train_data:所要划分的样本特征集

       train_target:所要划分的样本结果集

       test_size:样本占比,如果是整数的话就是样本的数量

       random_state:是随机数的种子,是该组随机数的编号,在需要重复试验的时候,保证得到一组一样的随机数。每次都填1,其他参数一样的情况下你得到的随机数组是一样的。但填0或不填,每次都会不一样

       stratify是为了保持split前类的分布。比如有100个数据,60个属于A类,40个属于B类。如果train_test_split(..., test_size=0.25, stratify = y_all), 那么split之后数据如下: 
training: 75个数据,其中45个属于A类,30个属于B类。 
testing: 25个数据,其中15个属于A类,10个属于B类。 

       用了stratify参数,training集和testing集的类的比例是 A:B= 3:2,等同于split前的比例(60:40)。通常在这种类分布不平衡的情况下会用到stratify。

       将stratify=X就是按照X中的比例分配 ; 将stratify=y就是按照y中的比例分配 。

整体总结起来各个参数的设置及其类型如下:

主要参数说明:

train_data,train_target:可以是列表、numpy数组、scipy稀疏矩阵或pandas数据框

test_size:可以为浮点、整数或None,默认为None

①若为浮点时,表示测试集占总样本的百分比

②若为整数时,表示测试样本样本数

③若为None时,test size自动设置成0.25

train_size:可以为浮点、整数或None,默认为None

①若为浮点时,表示训练集占总样本的百分比

②若为整数时,表示训练样本的样本数

③若为None时,train_size自动被设置成0.75

random_state:可以为整数、RandomState实例或None,默认为None

①若为None时,每次生成的数据都是随机,可能不一样

②若为整数时,每次生成的数据都相同

stratify:可以为类似数组或None

①若为None时,划分出来的测试集或训练集中,其类标签的比例也是随机的

②若不为None时,划分出来的测试集或训练集中,其类标签的比例同输入的数组中类标签的比例相同,可以用于处理不均衡的数据集

你可能感兴趣的:(机器学习)