python解最小二乘（least square）

给定 $A\in {\mathbb{R}}^{d\times n}$、$b\in {\mathbb{R}}^d$，求 $x=\arg {\min }_x\parallel Ax-b{\parallel }^2$。

numpy 和 scipy 都有相应的包，见 [1,2]。需要注意的是，传入的 A、b 是按列向量排，即 A 是 [d, n] 形状的，$b$ 只有一个就是 [d]，多个就是 [d, m]，这与 tf、pytorch 中第一维是样本 id 的习惯不同，详见 [1,2] 中的维度信息。

Code

import numpy as np
import scipy.linalg

A = np.arange(12).reshape(3, 4)
b = np.array([1, 2, 3])
print("A:", A)
print("b:", b)

# 求解
x1 = np.linalg.lstsq(A, b)[0]
x2 = scipy.linalg.lstsq(A, b)[0]
print("numpy:", x1)
print("scipy:", x2)

# 验算
b_hat_1 = A.dot(x1)
b_hat_2 = A.dot(x2)
print("numpy reconstruct:", b_hat_1)
print("scipy reconstruct:", b_hat_2)

References

1. numpy.linalg.lstsq
2. scipy.linalg.lstsq
3. scipy.optimize.nnls