pandas DataFrame按比例随机采样以达到拆分数据集的作用

1. 创建/加载数据集

data = {
        '水果':['苹果','梨','草莓','香蕉','西瓜'],
        '价格':[2,6,1,8,3]
       }
df=pd.DataFrame(data)
df
水果 价格
0 苹果 2
1 6
2 草莓 1
3 香蕉 8
4 西瓜 3

2. 按比例随机采样切分数据集

2.1 按比例随机采样

  1. df = df.sample(frac=1.0): 按100%的比例抽样即达到打乱数据的效果
  2. df = df.reset_index():打乱数据之后index也是乱的,如果你的index没有特征意义的话,直接重置就可以了,否则就在打乱之前把index加进新的一列,再生成无意义的index
df1=df.sample(frac=0.6)#按0.6比例随机采样
df1
水果 价格
4 西瓜 3
1 6
2 草莓 1

2.2 去掉df中已经采样过的样本

isin表示df中index和df1重复的行,~表示取反,即不重复的,相当于按行索引取差集

df2=df[~df.index.isin(df1.index)]

2.3 得到df2,即df中去掉采样过的样本后的df2

df2
水果 价格
0 苹果 2
3 香蕉 8

3. 对比查看三个dataframe

如果需要重置行索引,使用df = df.reset_index(drop=True)
默认值是False
如果drop=False,会使原来的index变成新的数据列保留。
如果不想保留原来的index,直接使用重置后的索引,使用drop=True

df
水果 价格
0 苹果 2
1 6
2 草莓 1
3 香蕉 8
4 西瓜 3
df1
水果 价格
4 西瓜 3
1 6
2 草莓 1
df2
水果 价格
0 苹果 2
3 香蕉 8

参考:

  • https://www.jianshu.com/p/5cf2abe4385c
  • https://zhuanlan.zhihu.com/p/37378190
  • https://blog.csdn.net/qq_36523839/article/details/80640139

你可能感兴趣的:(机器学习与深度学习,python,机器学习)