第一次周报

从本周开始学习李宏毅2022机器学习深度学习课程。本门课程一共分为十五个章节。

1-5:监督式学习 supervised learning

6:生成对抗网络 generative adversarial network

7:自我监督学习 self-supervised learning

8:异常检测 anomaly detection

9:可解释性AI explainable AI

10:模型的攻击 model attack

11:领域适应 domain adaptation

12:强化学习 reinforcement learning(RL)

13:模型压缩 network compression

14:终身学习 life-long learning

15:元学习 meta learning

在基本了解课程知识框架之后,对机器学习的基本概念进行一些简单的了解

机器学习就相当于寻找函数,那如何寻找函数成为了第一个问题。

寻找函数一共分为三个步骤:

第一步是具有未知参数的函数 funciton with unknown parameters

Model:y=b+wx1(y和x1是已知的,w和b是未知的)

x1:feature w:weight b:bias

第二步是定义训练数据的损失 define loss from training data

求loss:L(b,w)=   \frac{1}{n}\sum_{n}^{}e_{n}        e=|y-\breve{y}|或(y-\breve{y})的平方,L被称为MAE或MSE

L越大,表示参数L(b,w)不好

第三步是最佳化 optimization        方法:梯度下降  cradient descent  

 分段函数

All Piecewise Linear Curves=constant +sum of a set of hard sigmoid

sigmoid function  y=C\frac{1}{1+{e_{}}^{-(b+wx{1}))}}             即y=C sigmiod(b+wx1)

x1 \to+ \infty ,y\to C;x1 \to-\infty ,y\to 0;

different w,change slopes  斜率

different b,shift 左右移动

different c,change height 高度

总:y=b+\sum_{i}^{} c_{i}sigmoid(b_{i}+w_{i}x1)

a=sigmoid(r)   记作a=\sigma(r)

那么线性代数的表示方式为y=b+c^{T}\sigma (b+wx)

未知参数统称\vartheta,求L(\vartheta),\vartheta*

 B:batch

1 epoch=see all the batches once

updata和epoch 概念不同

RELU:Rectified Linear Unit 

function式子:C max(0,b+wx1)

两个ReLU合成一个Hard Sigmoid

sigmoid 和 max 统称为 Activation function

Sigmoid:y=b+\sum_{i}^{}C_{i}sigmoid(b_{i}+\sum_{j}^{}w_{ij}x_{j})

ReLU:y=b+\sum_{2i}^{}C_{i}max(0,b_{i}+\sum_{j}^{}w_{ij}x_{j})

Deep=Many hidden layers(层数)

Over fitting:Better on training data, worse on unseen data    过拟合

 

你可能感兴趣的:(机器学习,深度学习)