经典优化问题的求解（持续更新）

这篇博客将会聊一些经典的需要opt的一些问题，方便我/大家在将来推导公式并需要优化时可以想到对应的方式进行优化。

如果连公式都推导出来了但是不会求解岂不是很尴尬（不知道可以转化成求解的话连代码都写不了= =）

---

 

Question 1

given matrix A and vector b,minimize ||Ax-b||².(当A的行数大于b的列数时，可能没有满足Ax-b=0)

基础方法x* = (A^TA)^-1A^Tb,这种方法是必然可以求解的。这也是最小二乘法的矩阵表示

 

---

 

Question 2

minimize ||Ax||², s.t. ||x||=1.

solution: let A = UDV^T, x = V_-1(the last column of V) 

这样的方法显得很简单，的确，但是如果A是一个非常大的矩阵比如n*3，n很大，而对A进行SVD所需要的时间消耗时n^3。随着n的增大，求解这个问题将会变得异常的困难。

这个时候应该将式子展开求解 minimize Tr(x^TA^TAx)，要求解这个问题，只需要将A^TA进行特征值分解，即A^TA=QDQ^-1,而由于A^TA是个对角阵Q^-1=Q^T，让x取对应特征值最小的特征向量即可。这样的方法避免了巨大的矩阵进行SVD分解转而改为一个小矩阵的特征值分解，削减了计算量。