O.M.

1.最优化问题

无约束：

约束：

2.最优解

[严格]局部最优解：

[严格]全局最优解：

3.函数

n元单值函数的一阶导数--梯度： n元1值函数求一阶导后会变为n元n值函数，用向量表示
$\nabla f(x)= \color{green}{ \begin{bmatrix} \frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ \vdots \\ \frac{\partial f(x)}{\partial x_n}\\ \end{bmatrix}} =(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\cdots,\frac{\partial f(x)}{\partial x_n})^T$

n元单值函数的二阶导数--hessian阵 求二阶导后会变为n元n×n值函数,用矩阵表示,推测求三阶导会变成n元n×n×n值函数。现在不知是否叫张量。
$\nabla ^2 f(x)= \begin{bmatrix} \frac {\partial^2 f(x)}{\partial x_1^2} &\cdots & \frac {\partial^2 f(x)}{\partial x_1 \partial x_n} \\ \vdots && \vdots\\ \frac {\partial^2 f(x)}{\partial x_n \partial x_1} &\cdots &\frac {\partial^2 f(x)}{\partial x_n^2} \end{bmatrix}$

一元m值函数的一阶导数 "m值函数的一阶导还是m值函数"
$h(x)= \begin{bmatrix} h_1(x) \\ h_2(x) \\ \vdots \\ h_m(x) \end{bmatrix} \qquad \nabla h(x)= \begin{bmatrix} \frac{\partial h_1(x)}{\partial x}\\ \frac{\partial h_2(x)}{\partial x}\\ \vdots \\ \frac{\partial h_m(x)}{\partial x}\\ \end{bmatrix}$

n元m值函数的一阶导数 "多元向量值函数,每个h_i(x)都是一个n元单值函数。仅求一次导就变成了n元m×n值函数。推测求二阶导会成n元m×n×n值函数。"
$h({\bf x})= \begin{bmatrix} h_1({\bf x}) \\ h_2({\bf x}) \\ \vdots \\ h_m({\bf x}) \end{bmatrix} \qquad \ h'({\bf x})=\begin{bmatrix} \color{green}{\frac{\partial h_1({\bf x})}{\partial x_1}}& \color{green} {\frac{\partial h_1({\bf x})}{\partial x_2} } & \color{green} \cdots & \color{green} {\frac{\partial h_1({\bf x})}{\partial x_n}} \\ \frac{\partial h_2({\bf x})}{\partial x_1} & \frac{\partial h_2({\bf x})}{\partial x_2} &\cdots & \frac{\partial h_2({\bf x})}{\partial x_n}\\ \vdots &&&\vdots \\ \frac{\partial h_m({\bf x})}{\partial x_1} & \frac{\partial h_m({\bf x})}{\partial x_2} &\cdots & \frac{\partial h_m({\bf x})}{\partial x_n}\\ \end{bmatrix}_{m\times n}=\nabla h({\bf x})^T_{n \times m}$

4.泰勒展式

多元一阶：

多元二阶：

5.约束问题解法

变为无约束问题

改写：
令
把约束问题等价地写成

问题的可行域由无约束的变为约束的

序列无约束问题算法：
通过求解一系列无约束问题来逼近约束问题的解。
罚函数法&乘子法

外点罚函数法：

约束问题的解等价于下面无约束问题的解：

引入如下函数：
"约束违反度函数"
"罚函数"
"增广目标函数"

外点罚函数算法：
0. 取初始点x[0],罚参数序列u[k],可以取u[k]=2^(k-1),精度eps>0,令k=0.
1. 构造增广目标函数F[x[k]]=f(x[k])+P(x[k])
2. 求解无约束问题得x[k]
3. P(x[k])<=eps,终止,否则k=k+1转步骤1

内点罚函数法： (...)

乘子法：

O.M.

1.最优化问题

2.最优解

3.函数

4.泰勒展式

5.约束问题解法

变为无约束问题

你可能感兴趣的:(O.M.)