3.深度学习之线性回归与Softmax分类

3.1 线性回归

• 线性回归输出是一个连续值，因此适用于回归问题。
  • 回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。
• 与回归问题不同，分类问题中模型的最终输出是一个离散值。
• 所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。
• 由于线性回归和softmax回归都是单层神经网络，它们涉及的概念和技术同样适用于大多数的深度学习模型。

3.1.1 神经网络图

• 在深度学习中，可以使用神经网络图直观地表现模型结构
• 为了更清晰地展示线性回归作为神经网络的结构，使用神经网络图表示线性回归模型。

• 神经网络图隐去了模型参数权重和偏差。

  
  
• 线性回归是一个单层神经网络

3.1.2 线性分类

3.1.3 得分函数

3.1.3.1 实例

3.1.4 损失函数

3.1.5 正则化

3.2 softmax回归

3.2.1 Softmax分类器

3.2.1.1 Sigmoid函数

• Softmax的输出（归一化的分类概率）

• 损失函数：交叉熵损失（cross-entropy loss）

  
  

• 被称作softmax 函数其输入值是一个向量，向量中元素为任意实数的评分值

  
  
• 输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1

3.2.2 Softmax

3.2.2.1 Softmax实例

3.2.3 损失函数对比

3.2.4 softmax回归

• softmax回归模型
  • softmax回归同线性回归一样，也是一个单层神经网络。
  • 由于每个输出o1, o2, o3的计算都要依赖于所有的输入x1, x2, x3, x4，softmax回归的输出层也是一个全连接层。

  • softmax回归是一个单层神经网络

    
    
• 模型预测及评价
  • 在训练好softmax回归模型后，给定任一样本特征，就可以预测每个输出类别的概率。

  • 通常，把预测概率最大的类别作为输出类别。

    
    
  • 如果它与真实类别（标签）一致，说明这次预测是正确的。
  • 它等于正确预测数量与总预测数量之比。