tensorflow2学习笔记 7正则化

欠拟合和过拟合

• 欠拟合解决方法
  1.增加特征
  2.增加网络参数
  3.减少正则化参数
• 过拟合解决办法
  1.数据清洗
  2.增加训练集
  3.采用正则化
  4.增大正则化参数

可以看到正则化是能能够有效缓解欠拟合和过拟合的有效方法
以下程序模拟了没有加入正则化时的预测

import tensorflow as tf
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
#测试数据读取
df = pd.read_csv('./class2/dot.csv')
x_data = np.array(df[['x1','x2']])
y_data = np.array(df['y_c'])

#reshape中-1表示自动计算行数，2表示每两个元素组合成为一个新的元素
x_train = x_data
y_train = y_data.reshape(-1, 1)
y_color = [['red' if y else 'blue'] for y in y_train]
x_train = tf.cast(x_train, tf.float32)
y_train = tf.cast(y_train, tf.float32)

#生成数据集合,32组数据为一个batch
train_db = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32)

#搭建网络结构
w1 = tf.Variable(tf.random.normal([2, 11]), dtype=tf.float32)
b1 = tf.Variable(tf.constant(0.01, shape=[11]))

w2 = tf.Variable(tf.random.normal([11, 1]), dtype=tf.float32)
b2 = tf.Variable(tf.constant(0.01, shape=[1]))

lr  = 0.05
epochs = 1000
for epoch in range(epochs):
    for step,(x_train,y_train) in enumerate(train_db):
        with tf.GradientTape() as tape:
            h1 = tf.matmul(x_train,w1) + b1
            h1 = tf.nn.relu(h1)  #激活函数选用relu
            y = tf.matmul(h1,w2) + b2 
            #不进行正则化
            loss = tf.reduce_mean(tf.square(y_train - y))
        #计算梯度
        grads = tape.gradient(loss,[w1,b1,w2,b2])
        #更新参数
        w1.assign_sub(lr * grads[0])
        b1.assign_sub(lr * grads[1])
        w2.assign_sub(lr * grads[2])
        b2.assign_sub(lr * grads[3])
    #20轮打印一次训练结果
    if epoch %  20 == 0:
        print("epoch:{},loss:{}".format(epoch,loss))

# 预测部分
# xx在-3到3之间以步长为0.01，yy在-3到3之间以步长0.01,生成间隔数值点
xx, yy = np.mgrid[-3:3:.1, -3:3:.1]
# 将xx, yy拉直，并合并配对为二维张量，生成二维坐标点
grid = np.c_[xx.ravel(), yy.ravel()]
grid = tf.cast(grid, tf.float32)
# 将网格坐标点喂入神经网络，进行预测，probs为输出
probs = []
for x_predict in grid:
    # 使用训练好的参数进行预测
    h1 = tf.matmul([x_predict], w1) + b1
    h1 = tf.nn.relu(h1)
    y = tf.matmul(h1, w2) + b2  # y为预测结果
    probs.append(y)

# 取第0列给x1，取第1列给x2
x1 = x_data[:, 0]
x2 = x_data[:, 1]
# probs的shape调整成xx的样子
probs = np.array(probs).reshape(xx.shape)
#散点绘制
plt.scatter(x1, x2, color=np.squeeze(y_color))
# 轮廓线绘制
#xx,yy分别为横纵坐标，prob是相应坐标的高度，levels用于指定边界的阈值
plt.contour(xx, yy, probs, levels=[.5])
plt.show()

运行结果如下：

无正则化预测结果.png

正则化

概念与计算方法

• 概念：损失函数中引入复杂度指标，给w加权
• loss = loss(y与y_) + regularizer * loss(w)
  loss(y与y_)描述了预测结果和正确结果的差距
  regularizer表征正则化权重，为参数w在总loss(w)中的比重
• loss(w)的计算方式
  l1正则化：loss(w) = sum(w[i])
  l2正则化：loss(w) = sum(w[i]^2)
  特性:l1稀疏参数，l2减小参数数值
• l2正则化计算

在上文的模拟预测代码中，将原本的loss计算方式

loss = tf.reduce_mean(tf.square(y_train - y))

更改为如下形式进行l2正则化

loss_mse = tf.reduce_mean(tf.square(y_train - y))
loss_reguls = []
loss_reguls.append(tf.nn.l2_loss(w1))
loss_reguls.append(tf.nn.l2_loss(w2))
loss_regul = tf.reduce_sum(loss_reguls)
loss = loss_mse + 0.03*loss_regul #regularizer = 0.03

加入l2正则化后模拟结果曲线更加平滑，有效缓解了过拟合问题，结果如下

l2正则化结果.png