线性回归理论

### 线性回归与Softmax回归

#### 线性回归
线性回归是一种用于估计连续值的回归方法。它的应用场景非常广泛，比如在房地产市场中，参观一个房子后，我们可以通过线性回归模型来估计房子的价格，从而决定出价。线性回归的核心思想是通过训练数据来学习参数，使得模型的预测值与真实值之间的差异最小化。

在神经网络中，线性回归可以看作是一个单层神经网络。通过损失函数来衡量预测值与真实值之间的差异，常用的损失函数包括均方误差（L2损失）。为了找到使损失函数最小的参数，我们通常使用梯度下降法。梯度下降法通过沿着梯度的反方向更新参数，逐步逼近损失函数的最小值。

#### 梯度下降法
梯度下降法是一种基础优化算法，它通过不断沿着损失函数递减的方向更新参数来降低误差。梯度是一个由全部变量的偏导数汇总而成的向量，它指示了函数值减小最多的方向。虽然梯度所指的方向不一定是最小值的方向，但沿着梯度方向可以最大限度地减小函数的值。

在实际应用中，我们通常使用小批量随机梯度下降法（Mini-batch Gradient Descent），这是深度学习中默认的求解算法。它通过在小批量数据上计算梯度来更新参数，既能充分利用计算资源，又能避免批量过大导致的资源浪费。学习率和批量大小是两个重要的超参数，需要根据具体问题进行调整。

#### Softmax回归
Softmax回归是一种用于多类分类的模型。与线性回归不同，Softmax回归的输出是离散的类别。例如，在手写数字识别（MNIST）中，Softmax回归可以将输入图像分类为0到9中的一个数字。在ImageNet数据集中，Softmax回归可以对自然对象进行分类，类别数量可能高达1000个。

Softmax回归的输出层神经元数量通常等于类别的数量。对于每个输入，Softmax回归通过Softmax运算得到每个类别的预测置信度。Softmax运算将输出转换为概率分布，确保每个类别的预测值非负且总和为1。例如，输入向量[1, -1, 2]经过Softmax运算后，得到的概率分布为[0.26, 0.04, 0.7]。

#### 损失函数
在Softmax回归中，常用的损失函数是交叉熵损失（Cross-Entropy Loss）。交叉熵损失通常用于比较概率分布，特别是在分类任务中。通过最小化交叉熵损失，模型可以提高预测的准确性。

#### 总结
线性回归和Softmax回归是机器学习和深度学习中常用的模型。线性回归用于估计连续值，而Softmax回归用于多类分类。梯度下降法及其变体（如小批量随机梯度下降）是优化这些模型参数的常用方法。通过合理选择损失函数和超参数，我们可以训练出高效的模型来解决实际问题。

谢谢聆听！