线性神经网络——线性回归

 3.1线性回归

回归是能为一个或多个自变量与因变量之间关系建模的一类方法。在机器学习领域中，大多数任务与预测有关。预测一个数值时，与回归有关。

3.1.1线性回归的基本元素

数据集：训练数据集或训练集

每行数据：样本，数据点，样本数据

预测的目标：标签或目标

自变量：特征

3.1.1.1线性模型

权重w：决定每个特征对预测值的影响

偏置b：所有的特征取值为0，预测值是多少

给定一个数据集，线性回归的目标是寻找模型的权重w和偏置b.

使模型做出的预测准确寻找最好的模型参数w和b，需要做的

1.模型质量的度量 2.提高模型预测质量的方法

3.1.1.2损失函数

量化目标与实际值与预测值的差距，最常用平方误差函数.

3.1.1.3 随机梯度下降

梯度:函数对x,y的偏导数。函数变化增加最快的地方。沿梯度方向，就是f增加最快的地方。损失函数沿着梯度的反方向，梯度减少最快，找到最小值。

随机梯度下降:不断的在损失函数递减的方向上 更新参数 降低误差

梯度下降的用法：计算损失函数关于模型参数的导数，在每次计算更新的时候，随机抽取一小批量样本B。计算小批量的平均损失关于模型参数的导数（梯度），然后梯度乘*正数n学习率。然后取负号。

算法步骤:

1.初始化模型参数的值，随机初始化

2.从数据集随机抽取小批量样本，负梯度更新参数，不断迭代。