李宏毅机器学习day1

了解什么是Machine learning
  机器学习就是从已知的有限的数据，发现其潜在的规律。通过数据训练得到训练模型，然后对未知数据进行预测
学习中心极限定理，学习正态分布，学习最大似然估计
  中心极限定理：中心极限定理指的是给定一个任意分布的总体。我每次从这些总体中随机抽取 n 个抽样，一共抽 m 次。 然后把这 m 组抽样分别求出平均值。 这些平均值的分布接近正态分布。
  (1) 推导回归 Loss function
     logistic回归
$$p(y=1|x)=\frac{1}{1+exp(-w^{T}x)}$$
$$p(y=0|x)=1-\frac{1}{1+exp(-w^{T}x)}=\frac{exp(-w^{T}x)}{1+exp(-w^{T}x)}$$
交叉熵损失函数
> https://blog.csdn.net/tsyccnh/article/details/79163834
N—样本
$$R(w)=-\frac{1}{N}\sum _{n=1}^N((p(y=1|x)log(\hat{y})+(p(y=0|x)log(1-\hat{y}))=-\frac{1}{N}\sum _{n=1}^{N}ylog(\hat{y})+(1-y)log(1-\hat{y})$$
二分类 y ⊂{0,1}
p(y=1|x:θ)=h(x),p(y=0|x:θ)=1-h(x)，合并起来 p(y|x:θ)=[$h(x{)}^y$][$(1-h(x){)}^{1-y}$]
N个样本独立同分布，似然函数 $L(\theta )={\prod }_{n=1}^{N}p(y^{(n)}|x^{(n)}:\theta )$ （x,y）是已知的。求解(θ)。
所以取对数
$log(L(\theta ))=log({\prod }_{n=1}^{N}p(y^{(n)}|x^{(n)}:\theta )={\sum }_{n=1}^{N}log(p(y^{(n)}|x^{(n)})={\sum }_{n=1}^{N}log([h(x{)}^y][(1-h(x){)}^{1-y}])={\sum }_{n=1}^N(ylog(h(x)+(1-y)log(1-h(x))$
线形回归
$y^{(i)}={\theta }^T{X}^{(i)}+{\xi }^{(i)}$ ξ 是模型与实际数值的误差。有中心极限定理加上独立同分布可知。ξ 属于高斯分布
$p(y^{(i)}|x^{(i)}:\theta )=\frac{1}{\sqrt{2\pi }\delta }{e}^{-}\frac{(y^{(i)}-{\theta }^T{X}^{(i)}{)}^2}{2{\delta }^2}$
y和x是已知的。我们要求的是θ。采用最大似然估计。得到似然函数
$log(p)=log(({\prod }_{n=1}^N(\frac{1}{\sqrt{2\pi }\delta }{e}^{-}\frac{(y^{(i)}-{\theta }^T{X}^{(i)}{)}^2}{2{\delta }^2}))={\sum }_{n=1}^{N}log(\frac{1}{\sqrt{2\pi }\delta })-{\sum }_{n=1}^N\frac{(y^{(i)}-{\theta }^T{X}^{(i)}{)}^2}{2{\delta }^2})$
(2) 学习损失函数与凸函数之间的关系

  (3) 了解全局最优和局部最优
有损失函数就可以看出。会有多个极值。极值就是局部最优的位置。然而极值并非最大值。最值一定是极值。最值就是全局最优点

• 学习导数，泰勒展开
  (1) 推导梯度下降公式
  线形回归；$h^{(i)}(\theta )={\theta }_0+{\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(2)}+....{\theta }_n{x}_n^{(n)}$
  损失函数；$J(\theta )=\frac{1}{2N}{\sum }_{n=1}^N(y^{(i)}-h^{(i)}(\theta ){)}^2$
  $d{\theta }_0=-\frac{1}{N}{\sum }_{n=1}^N(y^{(i)}-h^{(i)}(\theta ))$
  $d{\theta }_1=-x_1^{(i)}\frac{1}{N}{\sum }_{n=1}^N(y^{(i)}-h^{(i)}(\theta ))$
  $d{\theta }_2=-x_2^{(i)}\frac{1}{N}{\sum }_{n=1}^N(y^{(i)}-h^{(i)}(\theta ))$
        …
  更新 ${\theta }_0:={\theta }_0-\alpha d{\theta }_0$
       ${\theta }_1:={\theta }_1-\alpha d{\theta }_1$
      ${\theta }_2:={\theta }_2-\alpha d{\theta }_2$
       …
  逻辑回归
  $f(z)=\frac{1}{1+e^{-z}}$
  $df(z)=\frac{e^{-z}}{(1+e^{-z}{)}^2}=\frac{1+e^{-z}}{(1+e^{-z}{)}^2}-\frac{1}{(1+e^{-z}{)}^2}=f(z)-f(z{)}^2=f(z)(1-f(z))$
  $z^{(i)}(\theta )={\theta }_0+{\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(2)}+....{\theta }_n{x}_n^{(n)}$
  $f(z^{(i)})=\frac{1}{1+e^{-z^{(}i)}}$
  损失函数:
  $J(\theta )=-\frac{1}{N}{\sum }_{n=1}^N(y^{(i)}log(f(z^{(i)}))+(1-y^{(i)})log(1-f(z^{(i)})))$
  一个 样本 $dJ(\theta )=y\frac{\frac{df(z)}{d(z)}\frac{d(z)}{d(\theta )}}{f(z)}-(1-y)\frac{\frac{df(z)}{d(z)}\frac{d(z)}{d(\theta )}}{1-f(z)}=y\frac{f(z)(1-f(z))d\theta }{f(z)}-(1-y)\frac{f(z)(1-f(z))d\theta }{1-f(z)}=(y-f(z)d\theta )$
  $dJ({\theta }_0)=-\frac{1}{N}{\sum }_{n=1}^N(y^{(n)}-f(z^{(n)})d{\theta }_0)$
  $dJ({\theta }_1)=-\frac{1}{N}{\sum }_{n=1}^N(y^{(n)}-f(z^{(n)})d{\theta }_1)$
  $dJ({\theta }_2)=-\frac{1}{N}{\sum }_{n=1}^N(y^{(n)}-f(z^{(n)})d{\theta }_2)$
  …
  更新 ${\theta }_0:={\theta }_0-\alpha d{\theta }_0$
       ${\theta }_1:={\theta }_1-\alpha d{\theta }_1$
      ${\theta }_2:={\theta }_2-\alpha d{\theta }_2$
       …
  (2)写出梯度下降的代码

• 学习L2-Norm，L1-Norm，L0-Norm
  (1) *推导正则化公式说明
  $J(\theta )=J_{(原来)}(\theta )+\lambda {\sum }_{i=1}^n{\theta }_i^2$ 注意 θ 从 1 开始。${\theta }_0$相当于b，不做正则化。
  $dJ(\theta )=d{J}_{(原来)}(\theta )+\lambda \theta$
  更新参数时：
  $\theta :=\theta -\alpha d(\theta )=\theta -\alpha d(\theta )-\lambda \alpha \theta =(1-\lambda \alpha )\theta -\alpha d(\theta )$

  (2) 为什么用 L1-Norm代替 L0-Norm学习
  (3) 为什么只对 w/Θ 做限制，不对 b 做限制*
  我认为w都是与数据挂钩的。r