Tensorflow2 model.compile()理解

在TensorFLow2中进行神经网络模型的训练主要包括以下几个主要的步骤：

• 导入相关模块import
• 准备数据，拆分训练集train、测试集test
• 搭建神经网络模型model (两种方法：Sequential或自定义模型class)
• 模型编译model.compile()
• 模型训练model.fit()
• 查看模型model.summary()
• 模型评价
• 模型预测model.predict()

model.compile()的作用就是为搭建好的神经网络模型设置损失函数loss、优化器optimizer、准确性评价函数metrics。

这些方法的作用分别是：

• 损失函数和优化器用在反向传播的时候，我们会求损失函数对训练变量的导数，即梯度，然后根据选择的优化器来确定参数更新公式，根据公式对可训练参数进行更新。
• 准确性评价函数用在评估模型预测的准确性。在模型训练的过程中，我们会记录模型在训练集、验证集上的预测准确性，之后会据此绘制准确率随着训练次数的变化曲线。通过查看和对比训练集、测试集随着训练次数的准确率曲线，我们能发现模型是否是过拟合、欠拟合，或者也可以发现多少轮后可以停止模型训练了。

由上可以看出，神经网络模型建模训练的过程中，核心的灵魂环节就是搭建模型和编译compile了。所以，这是非常非常重要的一个模块。

1、首先，上代码，直观看下model.compile()在神经网络建模中的使用示例

#model.compile()配置模型训练方法
model.compile(  
    optimizer = tf.keras.optimizers.SGD(lr = 0.1), #使用SGD优化器，学习率为0.1
    loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits = False), #配置损失函数
    metrics = ['sparse_categorical_accuracy'] #标注准确性评价指标
)

2、解读model.compile()中配置方法

compile(optimizer,  #优化器
        loss=None,  #损失函数
        metrics=None,   # ["准确率”]
        loss_weights=None, 
        sample_weight_mode=None, 
        weighted_metrics=None, 
        target_tensors=None)

2.1  loss可以是字符串形式给出的损失函数的名字，也可以是函数形式

例如：”mse" 或者 tf.keras.losses.MeanSquaredError()

           "sparse_categorical_crossentropy"  或者  tf.keras.losses.SparseCatagoricalCrossentropy(from_logits = False)

   损失函数经常需要使用softmax函数来将输出转化为概率分布的形式，在这里from_logits代表是否将输出转为概率分布的形式，为False时表示转换为概率分布，为True时表示不转换，直接输出

2.2  optimizer可以是字符串形式给出的优化器名字，也可以是函数形式，使用函数形式可以设置学习率、动量和超参数

例如：“sgd”   或者   tf.optimizers.SGD(lr = 学习率，

                                                             decay = 学习率衰减率，

                                                              momentum = 动量参数）

           “adagrad"  或者  tf.keras.optimizers.Adagrad(lr = 学习率，

                                                                                   decay = 学习率衰减率）

            ”adadelta"  或者  tf.keras.optimizers.Adadelta(lr = 学习率，

                                                                                     decay = 学习率衰减率）

             “adam"  或者  tf.keras.optimizers.Adam(lr = 学习率，

                                                                            decay = 学习率衰减率）

2.3 Metrics神经网络模型的准确性评价指标

例如：

        "accuracy" : y_ 和 y 都是数值，如y_ = [1] y = [1]  #y_为真实值，y为预测值

        “sparse_accuracy":y_和y都是以独热码 和概率分布表示，如y_ = [0, 1, 0], y = [0.256, 0.695, 0.048]

        "sparse_categorical_accuracy" :y_是以数值形式给出，y是以 独热码给出，如y_ = [1], y = [0.256 0.695, 0.048]