深度学习 实验八 自编码器
文章目录
- 深度学习 实验八 自编码器
- 一、问题描述
- 二、设计简要描述
- 三、程序清单
深度学习 实验八 自编码器
一、问题描述
自编码器是一种数据的压缩算法，其中数据的压缩和解压缩函数有如下几个特点：
1）数据相关的
2）有损的
3）从样本中自动学习。
在大部分提到的自动编码器的场合，压缩和解压缩的函数是通过神经网络实现的。
搭建一个自动编码器需要完成下面三项工作：搭建编码器，搭建解码器，设定一个损失函数，用以衡量由于压缩而损失掉的信息。本实验会通过搭建一个简单的自编码器观测数据信息，并再搭建一个卷积自编码器作为对比，并学会使用自编码器进行降噪。
二、设计简要描述
1. 自编码器
1.1 自编码器简介
1.2 搭建简单的自编码器模型
1.3 导入数据集
1.4 拟合模型
1.5 查看重构的输出与原来的输出对比
2. 卷积自编码器
2.1 搭建卷积自编码器
2.2加载数据并拟合模型
2.3查看重构的输出与原来的输出对比
3. 自编码器的应用
3.1介绍
把训练样本用噪声污染，然后使用解码器解码出干净的照片，以获得去噪自动编码器。
3.2 把原图片加入高斯噪声
3.3 构建自编码器
参考2.1按如下步骤使用Keras函数模型搭建自编码器并拟合
1）设置input_img参数
2）搭建编码器，添加Conv2D层，输入是input_img，输出维度32，卷积核大小3×3，激活函数’‘relu’,padding设置为‘same’，返回给x
3）添加Maxpooling2D层，大小是（2，2），padding设置为‘same’
4）添加Conv2D层，输出维度32，卷积核大小3×3，激活函数’‘relu’,padding设置为‘same’
5）添加Maxpooling2D层，大小是（2，2），padding设置为‘same’，返回给encoded
6）设置解码器，添加Conv2D层，输入是encoded，输出维度32，卷积核大小3×3，激活函数’‘relu’,padding设置为‘same’，返回给x
7）添加上采样层，大小是（2，2）
8）添加Conv2D层，输出维度32，卷积核大小3×3，激活函数’‘relu’,padding设置为‘same’
9）添加上采样层，大小是（2，2）
10）添加Conv2D层，输入是encoded，输出维度1，卷积核大小3×3，激活函数’‘sigmoid’,padding设置为‘same’，返回给decoded
11）设置自编码器，输入是input_img,decoded
12）编译自编码器，参数不变。
13）拟合数据，参数与2.1节一致
3.4查看重构的输出与原来的输出对比
参考1.5节查看10张重构后的图像与原图像的对比
三、程序清单
# test8_自编码器
# 1 自编码器
# 1.1 自编码器简介
# 1.2 搭建简单的自编码器模型
from keras.layers import Input, Dense
from keras.models import Model
# 编码器维度
encoding_dim = 32
input_img = Input(shape=(784,))
# "encoded" 是把输入编码表示
encoded = Dense(encoding_dim, activation='relu')(input_img)
# "decoded" 是输入的有损重构
decoded = Dense(784, activation='sigmoid')(encoded)
# 搭建自编码模型
autoencoder = Model(input_img, decoded)
autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')
# 1.3 导入数据集
from keras.datasets import mnist
import numpy as np
(x_train, _), (x_test, _) = mnist.load_data()
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train),np.prod(x_train.shape[1:])))
x_test =x_test.reshape((len(x_test), np.prod(x_test.shape[1:])))
print(x_train.shape)
print(x_test.shape)
# 1.4 拟合模型
# 通过以上数据拟合模型autoencoder
autoencoder.fit(x_train, x_train,
epochs=50,
batch_size=256,
shuffle=True,
validation_data=(x_test, x_test))
# 1.5 查看重构的输出与原来的输出对比
# 可以通过以下方式来查看
get_ipython().run_line_magic('matplotlib', 'inline')
# 从测试集选取一些数据来编码和解码
# encoded_imgs = autoencoder.predict(x_test)
decoded_imgs = autoencoder.predict(x_test)
import matplotlib.pyplot as plt
n = 10 # 打印的图片数量
plt.figure(figsize=(20, 4))
for i in range(n):
# 显示原来图像
ax = plt.subplot(2, n, i + 1)
plt.imshow(x_test[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
# 显示重构后的图像
ax = plt.subplot(2, n, i + 1 + n)
plt.imshow(decoded_imgs[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
plt.show()
# 2 卷积自编码器
# 2.1 搭建卷积自编码器
# 创建如下的卷积编码器和解码器并编译
from keras.layers import Input, Dense, Conv2D, MaxPooling2D, UpSampling2D
from keras.models import Model
from keras import backend as K
input_img = Input(shape=(28, 28, 1)) #输入图像形状
#编码器
x=Conv2D(16, (3, 3), activation='relu', padding='same')(input_img)
#卷积层
x = MaxPooling2D((2, 2), padding='same')(x)#空域下采样
x = Conv2D(8, (3, 3), activation='relu', padding='same')(x)
x = MaxPooling2D((2, 2), padding='same')(x)
x = Conv2D(8, (3, 3), activation='relu', padding='same')(x)
encoded = MaxPooling2D((2, 2), padding='same')(x)
#解码
x = Conv2D(8, (3, 3), activation='relu', padding='same')(encoded)
x = UpSampling2D((2, 2))(x)#上采样层
x = Conv2D(8, (3, 3), activation='relu', padding='same')(x)
x = UpSampling2D((2, 2))(x)
x = Conv2D(16, (3, 3), activation='relu')(x)
x = UpSampling2D((2, 2))(x)
decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x)
autoencoder = Model(input_img, decoded)
autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')#编译
# 2.2加载数据并拟合模型
# 参考1.3和1.4节加载数据并完成模型拟合
# x_train用reshape重构时参数设置为x_train = np.reshape(x_train, (len(x_train), 28, 28, 1)) ，x_test类似
# autoencoder中的batch_size设置为128，其他不变
from keras.datasets import mnist
import numpy as np
(x_train, _), (x_test, _) = mnist.load_data()
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = np.reshape(x_train, (len(x_train), 28, 28, 1))
x_test = np.reshape(x_test, (len(x_test), 28, 28, 1))
autoencoder.fit(x_train, x_train,
epochs=50,
batch_size=128,
shuffle=True,
validation_data=(x_test, x_test),)
# 2.3查看重构的输出与原来的输出对比
# 参考1.5节查看10张重构后的图像与原图像的对比
import matplotlib.pyplot as plt
get_ipython().run_line_magic('matplotlib', 'inline')
decoded_imgs = autoencoder.predict(x_test)
n = 10
plt.figure(figsize=(20, 4))
for i in range(n):
# 显示原图像
ax = plt.subplot(2, n, i+1)
plt.imshow(x_test[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
# 显示重构后的图像
ax = plt.subplot(2, n, i + n+1)
plt.imshow(decoded_imgs[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
plt.show()
# 3 自编码器的应用
# 3.1介绍
# 把训练样本用噪声污染，然后使用解码器解码出干净的照片，以获得去噪自动编码器。
# 3.2 把原图片加入高斯噪声
# 通过以下方式来加入噪声并查看加噪后的图片
from keras.datasets import mnist
import numpy as np
import matplotlib.pyplot as plt
get_ipython().run_line_magic('matplotlib', 'inline')
(x_train, _), (x_test, _) = mnist.load_data()
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = np.reshape(x_train, (len(x_train), 28, 28, 1))
x_test = np.reshape(x_test, (len(x_test), 28, 28, 1))
noise_factor = 0.5
x_train_noisy = x_train + noise_factor * np.random.normal(loc=0.0, scale=1.0, size=x_train.shape)
x_test_noisy = x_test + noise_factor * np.random.normal(loc=0.0, scale=1.0, size=x_test.shape)
x_train_noisy = np.clip(x_train_noisy, 0., 1.)
x_test_noisy = np.clip(x_test_noisy, 0., 1.)
n = 10
plt.figure(figsize=(20, 2))
for i in range(n):
ax = plt.subplot(1, n, i+1)
plt.imshow(x_test_noisy[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
plt.show()
# 3.3 构建自编码器
# 参考2.1按如下步骤使用Keras函数模型搭建自编码器并拟合
# 1）设置input_img参数
# 2）搭建编码器，添加Conv2D层，输入是input_img，输出维度32，卷积核大小3×3，激活函数’‘relu’,padding设置为‘same’，返回给x
# 3）添加Maxpooling2D层，大小是（2，2），padding设置为‘same’
# 4）添加Conv2D层，输出维度32，卷积核大小3×3，激活函数’‘relu’,padding设置为‘same’
# 5）添加Maxpooling2D层，大小是（2，2），padding设置为‘same’，返回给encoded
# 6）设置解码器，添加Conv2D层，输入是encoded，输出维度32，卷积核大小3×3，激活函数’‘relu’,padding设置为‘same’，返回给x
# 7）添加上采样层，大小是（2，2）
# 8）添加Conv2D层，输出维度32，卷积核大小3×3，激活函数’‘relu’,padding设置为‘same’
# 9）添加上采样层，大小是（2，2）
# 10）添加Conv2D层，输入是encoded，输出维度1，卷积核大小3×3，激活函数’‘sigmoid’,padding设置为‘same’，返回给decoded
# 11）设置自编码器，输入是input_img,decoded
# 12）编译自编码器，参数不变。
# 13）拟合数据，参数与2.1节一致
from keras.layers import Input, Dense, Conv2D, MaxPooling2D, UpSampling2D
from keras.models import Model
from keras import backend as K
input_img = Input(shape=(28, 28, 1))
x = Conv2D(32, (3, 3), activation='relu', padding='same')(input_img)
x = MaxPooling2D((2, 2), padding='same')(x)
x = Conv2D(32, (3, 3), activation='relu', padding='same')(x)
encoded = MaxPooling2D((2, 2), padding='same')(x)
x = Conv2D(32, (3, 3), activation='relu', padding='same')(encoded)
x = UpSampling2D((2, 2))(x)
x = Conv2D(32, (3, 3), activation='relu', padding='same')(x)
x = UpSampling2D((2, 2))(x)
decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x)
autoencoder = Model(input_img, decoded)
autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')
autoencoder.fit(x_train_noisy, x_train,
epochs=100,
batch_size=128,
shuffle=True,
validation_data=(x_test_noisy, x_test),)
# 3.4查看重构的输出与原来的输出对比
# 参考1.5节查看10张重构后的图像与原图像的对比
decoded_imgs = autoencoder.predict(x_test)
n = 10
plt.figure(figsize=(20, 4))
for i in range(n):
ax = plt.subplot(2, n, i + 1)
plt.imshow(x_test_noisy[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
ax = plt.subplot(2, n, i + n + 1)
plt.imshow(decoded_imgs[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
plt.show()
.reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
ax = plt.subplot(2, n, i + n + 1)
plt.imshow(decoded_imgs[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
plt.show()