1. 机器学习、深度学习的基本概念

一、机器学习基本概念介绍

1. 有未知参数的函数

2.定义损失函数Loss

• $e=|y-\hat{y}|$
• $e=(y-\hat{y}{)}^2$

3.优化

$w^{\ast },b^{\ast }=\underset{w,b}{\mathrm{argminL}}$

Gradient Descent:

1. 随机选取初始值: $w=w_0,b=b_0$

2. 计算$\frac{\partial L}{\partial w}{|}_{w=w^0,b=b^0}$

   $\eta \frac{\partial L}{\partial w}{|}_{w=w^0,b=b_0}$ $\eta$:Learning rate

3. 更新参数：

   $w_1\leftarrow w_0-\eta \frac{\partial L}{\partial w}{|}_{w=w_0,b=b_0}$

   $b_1\leftarrow b_0-\eta \frac{\partial L}{\partial b}{|}_{w=w_0,b=b_0}$

   可能得不到使得Loss最小的解：Local minima,Global minima问题

Training： Step1+Step2+Step3

二、深度学习基本概念

更加复杂的线性模型

Piecewise linear curve线段组成

红色线可由几个Hard Sigmoid函数相加而成

Sigmoid function:$y=C\frac{1}{1+e^{-(b+wx)}}=Csigmoid(-b+wx)$

需要构造不同的sigmoid逼近：

• 改变w：斜率
• 改变b：截距
• 改变c：高度

红色曲线可以写成：$y=b+{\sum }_i^{}{C}_{i}Sigmoid(b_i+w_i{x}_i)$

当有多个特征时：$y=b+{\sum }_j{w}_j{x}_j=b+{\sum }_i{C}_{i}Sigmoid(b_i+w_{ij}{x}_j)$

简化成向量和矩阵形式：$r=b+wx$

Neural Network，Deep Learning

$y=b+C^T\delta (b+wx)$

*x：*特征 *w,b,c:*未知参数，用$\theta$表示

​ 最终得到了一个可以表示更加复杂情形的模型

重新定义Loss：$L(\theta )\theta =({\theta }_0,{\theta }_1,\dots )$

优化：${\theta }^{\ast }=\underset{\theta }{\mathrm{argmin}}L$

更新参数：${\theta }_1\leftarrow {\theta }_0-\eta \frac{\partial L}{\partial \theta }$

划分Batch Size，每个Batch计算Loss，更新一次参数

Sigmoid——> Relu(Hard Sigmoid):

相加可以得到ReLU，激活函数为ReLU：$y=b+C_i{\sum }_{2i}\max (0,b+wx)$

发展：

​ Alexnet(2012) VGG(2014) GoogleNet(2014) Residual Net(2015) Taipei

过拟合： 训练集上的误差小，新数据上的误差大（为什么不无限加深网络层数）