Task 01- LR-Softmax-MLP

Task 01 线性回归-Softmax-MLP

1 线性回归

1.1 是什么

即单层神经网络，是最简单的机器学习模型之一：
$$\mathbf{y}=x_1{w}_1+x_2{w}_2+...+x_n{w}_n+b=\mathbf{x}\mathbf{w}+b$$
其中$\mathbf{w}$即权重，$b$即偏置。

1.2 模型训练

• 损失：均方误差

$$L(\mathbf{w},b)=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b-y^{(i)}{)}^2$$

• 优化：mini-batch stochastic gradient descent (SGD)
  $$\begin{gathered} (\mathbf{w},b)\leftarrow (\mathbf{w},b)-\frac{\alpha }{\left|\beta \right|}\sum _{i\in \beta }{\partial }_{(\mathbf{w},b)}{l}^{(i)}(\mathbf{w},b) \\ or \\ \theta \leftarrow \theta -\frac{\alpha }{\left|\beta \right|}{\nabla }_{\theta }{l}^{(i)}(\theta ) \\ {\nabla }_{\theta }{l}^{(i)}(\theta )=\left[\begin{array}{c}{x}_1^{(i)}\\ x_2^{(i)}\\ 1\end{array}\right]({\hat{y}}^{(i)}-y^{(i)}) \end{gathered}$$
  其中$\alpha$为学习率，$\beta$为批次大小

1.3 表示方法

from 《动手学深度学习》

1.0.0 学习代码

# define a timer class to record time
class Timer(object):
    """Record multiple running times."""
    def __init__(self):
        self.times = []
        self.start()

    def start(self):
        # start the timer
        self.start_time = time.time()

    def stop(self):
        # stop the timer and record time into a list
        self.times.append(time.time() - self.start_time)
        return self.times[-1]

    def avg(self):
        # calculate the average and return
        return sum(self.times)/len(self.times)

    def sum(self):
        # return the sum of recorded time
        return sum(self.times)

2 Softmax

2.0 逻辑回归

• 信息熵

$$H(X)=-\sum _{i=1}^{n}p(x_i)log(p(x_i))$$

• 相对熵（Kullback-leibler散度）：描述两个概率分布的差距
  $$KL(P||Q)=\sum P(x)log\frac{P(x)}{Q(x)}$$

$$H(p,q)=-\sum p(x_i)log(q(x_i))$$

相对熵=信息熵+交叉熵

• Logistic分布（$F(x)=\frac{1}{1+e^{-(x-\mu /\gamma )}}$）图形为“S形曲线”(sigmoid curve）

• 几率（odds）：某事件发生的概率与不发生的概率之比

• 对数几率（logit函数）：
  $$logit(p)=log\frac{p}{1-p}$$

• Logistic regression (for classification)
  $$logit(p)=\mathbf{w}\mathbf{x}$$

2.1 是什么

单层神经网络的一种，线性回归用于连续值，softmax用于多输出离散值（分类任务）

2.2 模型运算

$$\begin{gathered} \begin{array}{rl}{o}_1& =x_1{w}_{11}+x_2{w}_{21}+x_3{w}_{31}+x_4{w}_{41}+b_1\end{array} \\ \begin{array}{rl}{o}_2& =x_1{w}_{12}+x_2{w}_{22}+x_3{w}_{32}+x_4{w}_{42}+b_2\end{array} \\ \begin{array}{rl}{o}_3& =x_1{w}_{13}+x_2{w}_{23}+x_3{w}_{33}+x_4{w}_{43}+b_3\end{array} \\ {\hat{y}}_1,{\hat{y}}_2,{\hat{y}}_3=\text{softmax}(o_1,o_2,o_3) \\ {\hat{y}}_1=\frac{\exp (o_1)}{{\sum }_{i=1}^3\exp (o_i)},{\hat{y}}_2=\frac{\exp (o_2)}{{\sum }_{i=1}^3\exp (o_i)},{\hat{y}}_3=\frac{\exp (o_3)}{{\sum }_{i=1}^3\exp (o_i)}. \\ or \\ \begin{array}{rl}\mathbf{O}& =\mathbf{X}\mathbf{W}+\mathbf{b},\\ \hat{\mathbf{Y}}& =\text{softmax}(\mathbf{O}),\end{array} \end{gathered}$$

• 损失函数：交叉熵（cross entropy）
  $$\begin{gathered} H\left({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)}\right)=-\sum _{j=1}^q{y}_j^{(i)}\log {\hat{y}}_j^{(i)} \\ \ell (\mathbf{\Theta })=\frac{1}{n}\sum _{i=1}^{n}H\left({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)}\right), \end{gathered}$$

3 MLP (Multi-Layer Perceptron)

3.1 是什么

多层感知机在单层神经网络的基础上引入了⼀到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。

3.2 模型运算

$$\begin{array}{rl}\mathbf{H}& =\mathbf{X}{\mathbf{W}}_h+{\mathbf{b}}_h,\\ \mathbf{O}& =\mathbf{H}{\mathbf{W}}_o+{\mathbf{b}}_o,\end{array}$$

3.3 模型表示