【机器学习】——基本概念

1、什么叫机器学习?
让机器具备找函数的能力。

常见应用:语音辨识、图片辨识......

回归:函数的输出是一个数值。

【机器学习】——基本概念_第1张图片

分类:给定的选项中选择一个当作输出。

【机器学习】——基本概念_第2张图片

例:点击量预测模型

step1:写出带有未知参数的函数

y=b+wx

b 和 w 是未知参数     x:2月25日点击量      y:预测2月26日点击量

step2:根据训练资料,定义Loss函数

Loss is a function of parameters

L(b,w)

L(0.5k,1)    y=0.5k+1x

训练资料是过去的点击量。

【机器学习】——基本概念_第3张图片

将过去的点击量x带入0.5k+1x=y 

预估1月2日  y=5.3k       实际  y'=4.9k    label(正确的数值)

预估1月3日 5.4k   实际7.5k

e_1=|y-y'|=0.4k

e_2=|y-y'|=2.1k

以此类推可以算出e_n

Loss:L=\frac{1}{n}\sum_{1}^{n}e_{n}

e=|y-y'|            L is mean absolute error (MAE)绝对误差

e=(y-y')^{2}         L is mean square error (MSE)  均方误差

【机器学习】——基本概念_第4张图片

step3:最优化

找一组w和b 使得Loss最小

Gradient Descent

  • 随机选一个初始点w0
  • 计算w=w0时, L对w的微分 \frac{\partial L}{\partial w}|_{w=w_{0}}    为负--->把w的值变大 就能使L变小  为正---> w变小
  • w_{1}=w_{0}-\eta\frac{\partial L}{\partial w}|_{w=w_{0}}     \eta: learning\, \, \, rate  更新w =w1

两个参数同理

  • 随机选一个初始点w0 b0
  • 计算w=w0时, L对w和b的微分 \frac{\partial L}{\partial w}|_{w=w_{0},b=b_{0}}  \frac{\partial L}{\partial b}|_{w=w_{0},b=b_{0}} 
  • w_{1}=w_{0}-\eta\frac{\partial L}{\partial w}|_{w=w_{0},b=b_{0}}    b_{1}=b_{0}-\eta\frac{\partial L}{\partial b}|_{w=w_{0},b=b_{0}}    更新w =w1 ,b=b1

你可能感兴趣的:(机器学习)