采用Keras 自编码器（SAE）实现Mnist的多分类问题

堆栈式自编码器的原理请看：
https://blog.csdn.net/hjimce/article/details/49106869
这里直接进行代码的实现
代码结构分为：1.mnist的读取，2.数据预处理，3.模型的训练过程。

1.mnist的读取

''' 采用keras的堆栈式Autoencode 将mnist的图片进行分类'''
import numpy as np
import os
import struct
np.random.seed(2018)

from keras.datasets import mnist
from keras.models import Model
from keras.layers import Dense,Input
from keras.utils.np_utils import to_categorical
import matplotlib.pyplot as plt

# 训练集 shape (60,000,28*28) 测试集 shape (10000,)
def load_mnist(path,kind='train'):
    ''' load MNIST data from path'''
    labels_path=os.path.join(path,'%s-labels.idx1-ubyte' % kind)
    images_path=os.path.join(path,'%s-images.idx3-ubyte' % kind)

    with open(labels_path,'rb') as lbpath:
        magic,n=struct.unpack('>II',lbpath.read(8))
        labels=np.fromfile(lbpath,dtype=np.uint8)
    with open(images_path,'rb') as impath:
        magic,num,rows,cols=struct.unpack('>IIII',impath.read(16))
        images=np.fromfile(impath,dtype=np.uint8).reshape(len(labels),784)
    return images,labels

X_train,y_train=load_mnist('F:\pycharm\MNIST_dataset','train')
X_test,y_test=load_mnist('F:\pycharm\MNIST_dataset','test')
y_train_cate= to_categorical(y_train, num_classes=10)
y_test_cate= to_categorical(y_test, num_classes=10)

# 显示mnist图片
# 图形2*5 灰度值
fig,ax=plt.subplots(nrows=2,ncols=5,sharex=True,sharey=True)
ax=ax.flatten()
for i in range(10):
    img=X_train[y_train==i][1].reshape(28,28)
    ax[i].imshow(img,cmap='Greys',interpolation='nearest')

ax[0].set_xticks([])
ax[0].set_yticks([])
plt.tight_layout()
plt.show()

当然也可以直接采用keras中的函数 mnist.load_data()获取数据，但是由于数据量比较大，有可能直接下载不成功，所以我们直接采用将数据下载到本地文件夹中，然后再进行读取。数据下载链接：http://yann.lecun.com/exdb/mnist/
在数据读取过程中，需要特别注意的地方数据格式是idx1-ubyte，idx3-ubyte的格式，需要进行转换。
详细解释代码：
load_mnist 函数返回两个数组, 第一个是一个 n x m 维的 NumPy array(images), 这里的 n 是样本数(行数), m 是特征数(列数). 训练数据集包含 60,000 个样本, 测试数据集包含 10,000 样本. 在 MNIST 数据集中的每张图片由 28 x 28 个像素点构成, 每个像素点用一个灰度值表示. 在这里, 我们将 28 x 28 的像素展开为一个一维的行向量, 这些行向量就是图片数组里的行(每行 784 个值, 或者说每行就是代表了一张图片). load_mnist 函数返回的第二个数组(labels) 包含了相应的目标变量, 也就是手写数字的类标签(整数 0-9).
为了理解这两行代码, 我们先来看一下 MNIST 网站上对数据集的介绍:

TRAINING SET LABEL FILE (train-labels-idx1-ubyte):

[offset] [type]          [value]          [description] 
0000     32 bit integer  0x00000801(2049) magic number (MSB first) 
0004     32 bit integer  60000            number of items 
0008     unsigned byte   ??               label 
0009     unsigned byte   ??               label 
........ 
xxxx     unsigned byte   ??               label
The labels values are 0 to 9.

通过使用上面两行代码, 我们首先读入 magic number, 它是一个文件协议的描述, 也是在我们调用 fromfile 方法将字节读入 NumPy array 之前在文件缓冲中的 item 数(n). 作为参数值传入 struct.unpack 的 >II 有两个部分:

: 这是指大端(用来定义字节是如何存储的); 如果你还不知道什么是大端和小端, Endianness 是一个非常好的解释. (关于大小端, 更多内容可见<<深入理解计算机系统 – 2.1 节信息存储>>)
I: 这是指一个无符号整数.
通过执行下面的代码, 我们将会从刚刚解压 MNIST 数据集后的 mnist 目录下加载 60,000 个训练样本和 10,000 个测试样本.

为了了解 MNIST 中的图片看起来到底是个啥, 让我们来对它们进行可视化处理. 从 feature matrix 中将 784-像素值 的向量 reshape 为之前的 28*28 的形状, 然后通过 matplotlib 的 imshow 函数进行绘制。

2.数据预处理

# 数据预处理
X_train=X_train.astype('float32')/255-0.5 # minmax_normalized(归一化在（-0.5,0.5）)之间
X_test=X_test.astype('float32')/255-0.5 # minmax_normalized
X_train_len=X_train.shape[0]
X_test_len=X_test.shape[0]

X_train=X_train.reshape((X_train_len,-1))
X_test=X_test.reshape((X_test_len,-1))

print(X_train.shape,X_test.shape)

主要是将灰度图像值进行（-0.5,0。5）的归一化

3.模型训练

自编码网路结构采用（784，128,64,10,10,64，128,684）的结构进行无监督训练。

nput_img=Input(shape=(784,))
# 编码层
encoded=Dense(128,activation='relu',name='encoded_hidden1')(input_img)
encoder_output=Dense(64,activation='relu',name='encoded_hidden2')(encoded)
LR=Dense(10,activation='softmax',name='LR')(encoder_output)

# 解码层
decoded=Dense(64,activation='relu',name='decoded_hidden2')(encoder_output)
decoded=Dense(128,activation='relu',name='decoded_hidden3')(decoded)
decoded=Dense(784,activation='tanh',name='decoded_output')(decoded)

# 构建自编码模型
autoencoder=Model(inputs=input_img,outputs=decoded)

# complile autoencoder 设置自编码的优化参数
autoencoder.compile(optimizer='adam',loss='mse')
# train
hist=autoencoder.fit(X_train,X_train,epochs=20,batch_size=250,shuffle=True)

中间设置一个LR层，进行后面的多分类输出层。
下面是多分类的模型训练过程：

采用编码层的网络结构，从新构成一个新的model，此model的参数跟原来autoencode的训练的参数一样。
encoder=Model(inputs=input_img,outputs=LR)
encoder.compile(optimizer='adam',loss='categorical_crossentropy',metrics=['categorical_accuracy'])
encoder.fit(X_train,y_train_cate,epochs=20,batch_size=250,shuffle=True)
core=encoder.evaluate(X_test,y_test_cate)
print(score)
print(encoder.summary())

评估结果与网络参数如下：

score:
[0.09663939199754969, 0.9704]
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         (None, 784)               0         
_________________________________________________________________
encoded_hidden1 (Dense)      (None, 128)               100480    
_________________________________________________________________
encoded_hidden2 (Dense)      (None, 64)                8256      
_________________________________________________________________
LR (Dense)                   (None, 10)                650       
=================================================================
Total params: 109,386
Trainable params: 109,386
Non-trainable params: 0

可以看出准确率与loss都很好。
参考链接：
http://yann.lecun.com/exdb/mnist/
https://www.cnblogs.com/wzdLY/p/9683657.html
https://blog.csdn.net/simple_the_best/article/details/75267863
https://blog.csdn.net/hjimce/article/details/49106869