第一周【任务2】无约束最优化

任务名称： 极大似然估计以及优化理论

任务简介：学习和阅读花书3-4章，观看并理解讲解视频（极大似然估计 、无约束优化 、有约束优化）

任务详解：

1、学习花书3-4章内容，重点关注：

2、观看讲解视频，进一步理解下列知识点：

• 极大似然估计，以及用极大似然估计来估计高斯分布的参数
• 从极大似然估计的角度重新看多元线性回归，与最小二乘的等价性
• 无约束最优化，梯度下降法，梯度的思想来源与推导。牛顿法的两种解释
• 有约束优化，拉格朗日乘子法的直观意义，等式约束，不等式约束，kkt条件

打卡要求：打卡提交作业（不少于2张图片，不少于20字）

a. 理解以及会运用极大似然估计，完成浙大概率论与数理统计第四版p174的第11题（截图或拍照，然后打卡提交作业）

b.求函数$z=x\exp (2y)$在（1,1）点的梯度（需打卡提交作业）

c. 理解梯度下降，理解牛顿法，理解kkt条件

1.浙大概率论与数理统计第四版p174的第11题

(1) 最大似然估计量

首先我们有对数似然函数
$$\begin{gathered} L=\ln \left[P\left(x_1;\theta \right)P\left(x_2;\theta \right)\cdots P\left(x_n;\theta \right)\right]=\ln [\frac{1}{\theta }{x}_1^{\frac{1-\theta }{\theta }}\frac{1}{\theta }{x}_2^{\frac{1-\theta }{\theta }}\cdots \frac{1}{\theta }{x}_n^{\frac{1-\theta }{\theta }}] \\ =-n\ln \theta +\frac{1-\theta }{\theta }[\sum _{i=1}^n\ln x_i] \end{gathered}$$
然后求导取0：
$$\frac{\partial L}{\partial \theta }=-\frac{n}{\theta }+\frac{-\theta -(1-\theta )}{{\theta }^2}[\sum _{i=1}^n\ln x_i]=-\frac{n}{\theta }+\frac{-1}{{\theta }^2}[\sum _{i=1}^n\ln x_i]=0\Rightarrow \hat{\theta }=-\frac{1}{n}[\sum _{i=1}^n\ln x_i]$$

(2)证明$\hat{\theta }$是$\theta$的无偏估计量

我们已经有$\hat{\theta }=-\frac{1}{n}[{\sum }_{i=1}^n\ln x_i]$,因此令
$$E[\hat{\theta }]=E[-\frac{1}{n}[\sum _{i=1}^n\ln x_i]]=-\frac{1}{n}\sum _{i=1}^{n}E[\ln x_i]$$
我们就要求
$$\begin{gathered} E[\ln x]={\int }_0^1\ln x\times \frac{1}{\theta }{x}^{\frac{1-\theta }{\theta }}dx={\int }_0^1\ln x\cdot d(x^{\frac{1}{\theta }})={x^{\frac{1}{\theta }}\ln x|}_0^1-{\int }_0^1{x}^{\frac{1}{\theta }}d(\ln x) \\ =0-0-\theta {\int }_0^1\frac{1}{\theta }{x}^{\frac{1}{\theta }-1}dx=0-\theta =-\theta \end{gathered}$$
所以
$$E[\hat{\theta }]=-\frac{1}{n}\sum _{i=1}^{n}E[\ln x_i]=-\frac{1}{n}n(-\theta )=\theta$$
因此$\hat{\theta }$是$\theta$的无偏估计量

2.求$z=x\exp (2y)$在(1, 1)点梯度

$z=f(x,y)=x\exp (2y)$,因此
$$\nabla f=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)=\frac{\partial f}{\partial x}\mathbf{i}+\frac{\partial f}{\partial y}\mathbf{j}=\exp (2y)\mathbf{i}+2x\exp (2y)\mathbf{j}$$
在(1, 1)， 有$\exp (2)\mathbf{i}+2\exp (2y)\mathbf{j}$