【机器学习】分类任务以mnist为例，数据集准备及预处理

1.数据集准备：

import sklearn
assert sklearn.__version__ >= "0.20"
import numpy as np
import os
from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784', version=1, as_frame=False)
mnist.keys()

输出：

dict_keys(['data', 'target', 'frame', 'categories', 'feature_names', 'target_names', 'DESCR', 'details', 'url'])

如果网络信号不好，可加载下载好的数据集，速度更快：

from scipy.io import  loadmat
mnist = loadmat('/app/datasets/mnist-original.mat')
mnist.keys()

mnist数据集免费下载地址

2.数据集结构为：

X, y = mnist["data"], mnist["label"]
#交换两个维度
X=np.swapaxes(X,0,1)
print(X.shape)
y=np.squeeze(y)
print(y.shape)

输出：

(70000, 784)
(70000,)

3.拼合并展示数据集：

def plot_digits(instances, images_per_row=10, **options):
    size = 28
    images_per_row = min(len(instances), images_per_row)
    # 计算行数
    n_rows = (len(instances) - 1) // images_per_row + 1

    # 用空白补齐缺少的图片:
    n_empty = n_rows * images_per_row - len(instances)
    padded_instances = np.concatenate([instances, np.zeros((n_empty, size * size))], axis=0)

    # 重塑形状 28×28 :
    image_grid = padded_instances.reshape((n_rows, images_per_row, size, size))
    #使用transpose以便于reshape相邻元素：
    big_image = image_grid.transpose(0, 2, 1, 3).reshape(n_rows * size,                                                 images_per_row * size)
    plt.imshow(big_image, cmap = mpl.cm.binary, **options)
    plt.axis("off")

import matplotlib as mpl
import matplotlib.pyplot as plt
plt.figure(figsize=(9,9))
example_images = X[:100]
plot_digits(example_images, images_per_row=10)
plt.show()