python_numpy实用的最小二乘法理解

最小二乘法解决的问题:Ax=C 无解下的最优解
例子1:
一条过原点的直线OA,C是直线外一点,求C在OA上的投影点P

python_numpy实用的最小二乘法理解_第1张图片
例子1

例子2:
已知三个不在一条直线上的点A,B,C,求一条直线,使A,B,C到直线的距离和最小

python_numpy实用的最小二乘法理解_第2张图片
例子2

例子3:
已知三个不在一条直线上的点A,B,C,求一点,到A,B,C的距离和最小

python_numpy实用的最小二乘法理解_第3张图片
例子3

其实这3个例子的本质都是一样的。都是求未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。
以第一个例子为例:

                             Ax=C  无解
                        要求||Ax-C||^2最小
                           A.TAx'=A.TC
                      x'=(A.TA)^(-1)A.TC
                                  P=Ax'
python_numpy实用的最小二乘法理解_第4张图片
公式推导

同理,例子2,3中都需要写成Ax=C 的形式,求最优解。
只是例子2中的最优解是直线y=ax+b中的a,b。例子3中的最优解是P的坐标P(xp,yp)。
使用程序求例子1:A(3,1),C(1,3)
CODE

import numpy as np 
from matplotlib import pyplot as plt

A = np.array([[3],[1]])
C = np.array([[1],[3]])

#x'=(A.TA)^(-1)A.TC
B = A.T.dot(C)
AA = np.linalg.inv(A.T.dot(A))#求A.T.dot(A)的逆
l=AA.dot(B)
#P=Ax'
P=A.dot(l)

x=np.linspace(-2,2,10)#x.shape=(10,)
x.shape=(1,10)
#画出直线y=ax
xx=A.dot(x)
fig = plt.figure() #figsize=(10,6)
ax= fig.add_subplot(111)
ax.plot(xx[0,:],xx[1,:])
#画出A点
ax.plot(A[0],A[1],'ko')
#画出C点,P点
ax.plot([C[0],P[0]],[C[1],P[1]],'r-o')
#画出OC线
ax.plot([0,C[0]],[0,C[1]],'m-o')

#画出坐标轴x=0,y=0
ax.axvline(x=0,color='black')
ax.axhline(y=0,color='black')

#标写每个点的字母
margin=0.1
ax.text(A[0]+margin, A[1]+margin, r"A",fontsize=20)
ax.text(C[0]+margin, C[1]+margin, r"C",fontsize=20)
ax.text(P[0]+margin, P[1]+margin, r"P",fontsize=20)
ax.text(0+margin,0+margin,r"O",fontsize=20)
ax.text(0+margin,4+margin, r"y",fontsize=20)
ax.text(4+margin,0+margin, r"x",fontsize=20)
plt.xticks(np.arange(-2,3))
plt.yticks(np.arange(-2,3))

ax.axis('equal')
plt.show()

结果:

python_numpy实用的最小二乘法理解_第5张图片
例子1结果

你可能感兴趣的:(python_numpy实用的最小二乘法理解)