在了解了最小二乘法的基本原理之后python_numpy实用的最小二乘法理解，就可以用最小二乘法做曲线拟合了
1.直线拟合
直线拟合
已知图中拟合数据的坐标，对图中的拟合数据进行直线拟合。
依旧使用最小二乘法求解
Ax=b——————1
无解下的最优解。已知点的个数为n，所求直线的方程为y1=ax1+b，A由方程右边的a，b的系数构成构成(nx2)的矩阵,每行为（x1,1），b由已知点的y1坐标构成矩阵(nx1)。方程1中的x为要求的列向量[a,b]。
A.TAx'=A.Tb
x'=(A.TA)^(-1)A.TC
求得x‘后，画出拟合曲线的yy=Ax'
import numpy as np
import matplotlib.pyplot as plt
#x的个数决定了样本量
x = np.arange(-1,1,0.02)
#y为理想函数
y = 2*np.sin(x*2.3)+0.5*x**3
#y1为离散的拟合数据
y1 = y+0.5*(np.random.rand(len(x))-0.5)
##################################
#主要程序
one=np.ones((len(x),1))#len(x)得到数据量
x=x.reshape(x.shape[0],1)
A=np.hstack((x,one))#两个100x1列向量合并成100x2,(100, 1) (100,1 ) (100, 2)
C=y1.reshape(y1.shape[0],1)
#等同于C=y1.reshape(100,1)
#虽然知道y1的个数为100但是程序中不应该出现人工读取的数据
def optimal(A,b):
B = A.T.dot(b)
AA = np.linalg.inv(A.T.dot(A))#求A.T.dot(A)的逆
P=AA.dot(B)
print P
return A.dot(P)
#求得的[a,b]=P=[[ 2.88778507e+00] [ -1.40062271e-04]]
yy = optimal(A,b)
#yy=P[0]*x+P[1]
##################################
plt.plot(x,y,color='g',linestyle='-',marker='',label=u'理想曲线')
plt.plot(x,y1,color='m',linestyle='',marker='o',label=u'拟合数据')
plt.plot(x,yy,color='b',linestyle='-',marker='.',label=u"拟合曲线")
# 把拟合的曲线在这里画出来
plt.legend(loc='upper left')
plt.show()
直线拟合结果
从结果中可以看出，直线拟合并不能对拟合数据达到很好的效果，下面我们介绍一下曲线拟合。
2.曲线拟合
曲线拟合
图中的拟合数据如果用直线进行拟合效果会更差，曲线能更好的表达数据的特征。这里我们使用多项式函数进行拟合。
拟合函数：
y=ax n+bx(n-1)+cx^(n-2)+...+d
假设拟合数据共有100个
由 Ax=b
A=[x1^n x1^(n-1) x1^(n-2) ...... 1]
[x2^n x2^(n-1) x2^(n-2) ...... 1]
......
[x100^n x100^(n-1) x100^(n-2) . 1]
b=[y1]
[y2]
......
[y100]
解得拟合函数的系数[a,b,c.....d]
CODE:
import numpy as np
import matplotlib.pyplot as plt
x = np.arange(-1,1,0.02)
y = ((x*x-1)**3+1)*(np.cos(x*2)+0.6*np.sin(x*1.3))
y1 = y+(np.random.rand(len(x))-0.5)
##################################
### 核心程序
#使用函数y=ax^3+bx^2+cx+d对离散点进行拟合，最高次方需要便于修改，所以不能全部列举，需要使用循环
#A矩阵
m=[]
for i in xrange(7):#这里选的最高次为x^7的多项式
a=x**(i)
m.append(a)
A=np.array(m).T
b=y1.reshape(y1.shape[0],1)
##################################
def projection(A,b):
AA = A.T.dot(A)#A乘以A转置
w=np.linalg.inv(AA).dot(A.T).dot(b)
print w#w=[[-0.03027851][ 0.1995869 ] [ 2.43887827] [ 1.28426472][-5.60888682] [-0.98754851][ 2.78427031]]
return A.dot(w)
yw = projection(A,b)
yw.shape = (yw.shape[0],)
plt.plot(x,y,color='g',linestyle='-',marker='',label=u"理想曲线")
plt.plot(x,y1,color='m',linestyle='',marker='o',label=u"已知数据点")
plt.plot(x,yw,color='r',linestyle='',marker='.',label=u"拟合曲线")
plt.legend(loc='upper left')
plt.show()
结果
根据结果可以看到拟合的效果不错。
我们可以通过改变
- 拟合函数类型
- 样本数（此处为x的个数）
来调整拟合效果。
如果此处我们把拟合函数改为最高次为x^20的多项式
m=[]
for i in xrange(20):
a=x**(i)
m.append(a)
所得结果如下：
x^20 样本数100
这种现象称为 过拟合现象
- 可以通过增加样本数数，
- 降低拟合函数的次数
矫正过拟合现象
在保持拟合函数改为最高次为x^20的多项式的条件下，增大样本数：
x = np.arange(-1,1,0.005) #原来是x = np.arange(-1,1,0.02)
x^20 样本数400
通过结果可以看出，过拟合现象得到了改善。