convex optimization笔记: 第一章

[color=red]请使用非IE浏览器,如firefox,opera等浏览, IE会把\转义成/[/color]


PS.很多中文翻译把optimization problem翻译成最优化问题, 而convex optimization翻译成凸优化。这里做个统一，optimization problem翻译成优化问题。

[size=medium][b]数学优化问题[/b],或[b]优化问题[/b]是以下形式：
[align=center][img]http://www.texify.com/img/\large\!minimize{\quad}f_0(x)\\subject{\quad}to{\qquad}f_i(x){\le}b,{\qquad}i=1,...,m..gif[/img][/align]
其中
[img]http://www.texify.com/img/x=(x_1,...,x_n).gif[/img]：此问题的优化变量,它是一个n维向量。
[img]http://www.texify.com/img/f_0:\mathbf{R}^n\rightarrow\mathbf{R}.gif[/img]：目标函数;
[img]http://www.texify.com/img/f_i:\mathbf{R}^n\rightarrow\mathbf{R}.gif[/img]：约束函数，
常量[img]http://www.texify.com/img/b_1,...,b_m.gif[/img]：是约束的界限，或称范围。
如果存在[img]http://www.texify.com/img/x^*.gif[/img]使得目标函数[img]http://www.texify.com/img/f_0.gif[/img]在满足所有约束下取得最小值，那[img]http://www.texify.com/img/x^*.gif[/img]被称为[b]最优解[/b],或称此数学优化问题的解。

如果[img]http://www.texify.com/img/f_0,...,f_m.gif[/img]满足以下条件：
[align=center][img]http://www.texify.com/img/\large\!f_i({\alpha}x+{\beta}y)={\alpha}f_i(x)+{\beta}f_i(y).gif[/img][/align]
则此优化问题称作[b]线性优化问题[/b],不满足此条件则是非线性优化问题。
此书的重点针对的是[img]http://www.texify.com/img/f_0,...,f_m.gif[/img]满足以下形式的优化问题：
[align=center][img]http://www.texify.com/img/\large\!f_i({\alpha}x+{\beta}y)\le{\alpha}f_i(x)+{\beta}f_i(y).gif[/img][/align]
此类问题就是[b]凸优化问题[/b]。其中[img]http://www.texify.com/img/{\alpha}+{\beta}=1,{\alpha}\ge0,{\beta}\ge0.gif[/img]。比较以上两式，我们发现线性优化问题是凸优化问题的特殊形式，凸优化问题比线性优化问题更具普遍性。

[b]最小二乘问题(Least-squares Problem)[/b]


[/size]