【数据准备】_变量分析和随机抽样_python &R

1.单变量分析

计算gini值，或者iv或者ks
见另一篇文章

2.多变量分析
计算皮尔逊相关系数
python

import matplotlib.pyplot as plt
import seaborn as sns

data3_corr=data3.corr()

data3_corr.to_csv('trade_5_csv.csv')

sns.heatmap(data3_corr)
plt.show()

3.随机抽样

DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)

n： 要抽取的行数,需为整数值
frac：抽取的比列,需为小数值，比方说我们想随机抽取30%的数据，则设置frac=0.3即可。
replace：抽样后的数据是否代替原DataFrame()，默认为False
weights：默认为等概率加权
random_state：随机种子，本质是一个控制器，设置此值为任意实数，则每次随机的结果是一样的
axis：抽取数据的行还是列，axis=0的时是抽取行，axis=1时是抽取列

4.随机划分训练集和测试集

train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和test data。

语法：

X_train,X_test, y_train, y_test =
cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)
参数：

train_data：所要划分的样本特征集
train_target：所要划分的样本结果
test_size：样本占比，如果是整数就是样本的数量
random_state：随机数的种子

随机数种子：

其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到随机数组是一样的。但填0或不填，每次都不一样。

随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：

种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。

官方链接
官方样例1

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split
>>> X, y = np.arange(10).reshape((5, 2)), range(5)
>>> X
array([[0, 1],
       [2, 3],
       [4, 5],
       [6, 7],
       [8, 9]])
>>> list(y)
[0, 1, 2, 3, 4]

>>> X_train, X_test, y_train, y_test = train_test_split(
...     X, y, test_size=0.33, random_state=42)
...
>>> X_train
array([[4, 5],
       [0, 1],
       [6, 7]])
>>> y_train
[2, 0, 3]
>>> X_test
array([[2, 3],
       [8, 9]])
>>> y_test
[1, 4]

>>> train_test_split(y, shuffle=False)
[[0, 1, 2], [3, 4]]

例子2

from sklearn.model_selection import train_test_split
data_train,data_test = train_test_split(data5,test_size=0.3, random_state=0)