图解神经网络之--2.0 线性单元（Linear Regression）

制作软件幕布，可生成清晰的思维度导图

了解幕布
注册连接：幕布是一款结构化思维生产力工具
如果大家喜欢的话麻烦从我的这个连接注册，这样我就可以使用高级会员功能了，，，谢谢啦

---

建议直接看思维导图，如果图片不清晰可点击查看原图（屏幕中间下方）。

查看原图

---

文章列表

图解神经网络之--1.0 感知器（Perceptron）
图解神经网络之--2.0 线性单元（Linear Regression）

---

线性单元以及梯度下降

线性单元.png

---

下面是幕布标签内容
线性单元的概念：在面对一个数据集不是线性可分的时候，使用感知器规则 可能无法进行收敛，无法训练成一个感知器的问题时，我们用一个可倒的线性函数来替换感知器的跳跃函数，这样的感知器就叫做线性单元，线性单元在面对线性不可分的数据集时，会收敛到一个最佳的近似值上。
图示：

输出：更改激活函数之后线性单元返回的是一个实数值而不是0，1分类，因此线性单元用来解决的是回归问题而不是分类问题。

线性模型：当我们说模型时，我们实际上在谈论根据输入X 预测输出Y的算法

工资模型的表达式 输入分别是影响工资的参数 x1 - x4

更改为向量的形式

输出Y 就是输入x1-x4的线性组合。

线性单元的目标函数和梯度下降优化：目标函数预测值和标签的近似程度 e是单个样本的误差。（一般用的是差的平方的二分之一，乘二分之一是为了之后求导好算）

整体误差：

单个预测输出：

整体误差代入式（x和y都是已知的下式是关于w的函数）

对于一个训练数据集来说，误差越小就说明模型越好，由此可见，模型的训练，实际上就是求取到合适的w。则需要使用下面的优化算法优化我们的目标函数(E(W))

批梯度下降（Batch Gradient Descent）优化优化的目的：通过梯度下降对得到的目标函数 (E(W))进行优化找到最合适的w

理论基础：连续函数最小值的点，是其倒数为零的点。因为计算机无法进行求导操作，所以通过枚举法一步一步的把极值点试出来。

梯度概念：梯度是一个向量，它指向函数值上升最快的方向。
方法：我们通过梯度的反方向去修改x的值，在找到极值点。

公式： 倒三角是梯度算子，f(x)是梯度，n是步长，也叫学习率。

目标函数的梯度：

推倒过程推倒目的：

step1：提出常数

step2：抛开求和

step3：复合求导

step4：带入上式

修改之后的线性单元的参数修改规则

随机梯度下降算法(Stochastic Gradient Descent, SGD)概念：如果样本数目非常大，那么采用批梯度下降计算量将会异常巨大，在SGD中，每次w的迭代只计算一个样本，这样更新效率就会大大提高

图示：