sklearn中train_test_split()函数详解(转载)

sklearn中train_test_split()函数详解
原创Steven灬 最后发布于2019-05-16 17:25:03 阅读数 1305  收藏
展开
train_test_split函数用于将矩阵随机划分为训练子集和测试子集，并返回划分好的训练集测试集样本和训练集测试集标签。

corpus总数为10001条的数据，train_X, test_X为文本数据， train_Y, test_Y为标签数据

test_size = 0.3
train_X, test_X, train_Y, test_Y = train_test_split(corpus, labels,
                                                    test_size=test_data_proportion, random_state=42)
print(len(train_X),len(test_X),len(train_Y),len(test_Y))
每次结果都是固定的：

7000 3001 7000 3001
即7000对训练数据，3001对测试数据。

参数解释：

train_data：被划分的样本特征集

train_target：被划分的样本标签

test_size：如果是浮点数，在0-1之间，表示样本占比；如果是整数的话就是样本的数量

random_state：是随机数的种子，控制随机状态。

shuffle：是否打乱数据的顺序，再划分，默认True。

stratify：none或者array/series类型的数据，表示按这列进行分层采样。

随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。

随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：

种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。

原因：为什么需要用到这样一个参数random_state（随机状态）？

关于random_state，在此先简单罗列三种情况：
1、在构建模型时：

random_state = 0 

2、在生成数据集时：

random_state = 1

3、在拆分数据集为训练集、测试集时：

random_state = 42

如果不设置random_state的话会怎样？
例如1中，每次构建的模型是不同的。
例如2中，每次生成的数据集是不同的。
例如3中，每次拆分出的训练集、测试集是不同的。

之所以会这样，是因为模型的构建、数据集的生成、数据集的拆分都是一个随机的过程。

如果你希望结果可以重现，固定random_state是非常重要的。

对于构建模型，它本质上是随机的，设置不同的随机状态（或者不设置random_state参数）可以彻底改变构建的模型。
对于生成数据集，它本质上也是随机的，设置不同的随机状态（或者不设置random_state参数）可以彻底改变生成的数据集。
对于拆分数据集为训练集、测试集，它本质上也是随机的，设置不同的随机状态（或者不设置random_state参数）可以彻底改变拆分的结果。

固定random_state后，每次构建的模型是相同的、生成的数据集是相同的、每次的拆分结果也是相同的。

总结：对于那些本质上是随机的过程，我们有必要控制随机的状态，这样才能重复的展现相同的结果。
如果，对随机状态不加控制，那么实验的结果就无法固定，而是随机的显现。
 

参考：https://blog.csdn.net/az9996/article/details/86616668

            https://www.cnblogs.com/bonelee/p/8036024.html
————————————————
版权声明：本文为CSDN博主「Steven灬」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_40547993/article/details/90267644