点x、x’与摄像机中心C和C’是共面的,并且与空间点X也是空面的,这5个点共面于平面π。这是一个最本质的约束,即5个点决定了一个平面π;
由该约束,可以推导出一个重要性质:由图像点x和x’反投影的射线共面,并且,在平面π上。
基础矩阵是对极几何的代数表达方式,基础矩阵描述了图像中任意对应点 x↔x’ 之间的
约束关系
所以可得到方程:
即相应方程式为:
给定n组点的集合,我们有如下方程:
如果存在确定(非零)解,则系数矩阵A的秩最多是8。由于F是齐次矩阵,所以如果矩阵A的秩为8,则在差一个尺度因子的情况下解是唯一的。可以直接用线性算法解得。
如果由于点坐标存在噪声则矩阵AA的秩可能大于8(也就是等于9,由于A是n×9的矩阵)。这时候就需要求最小二乘解,这里就可以用SVD来求解,f的解就是系数矩阵A最小奇异值对应的奇异向量,也就是A奇异值分解后A=UDVT中矩阵V的最后一列矢量,这是在解矢量f在约束∥f∥下取∥Af∥最小的解。以上算法是解基本矩阵的基本方法,称为8点算法。
上述求解后的F不一定能满足秩为2的约束,因此还要在F的基础上加以约束。通过SVD分解可以解决,令F=UΣVT,则
因为要秩为2,所以取最后一个元素设置为0,则
最终的解
第一步,导入两幅图像,并使用sift算法提取特征;
第二步,使用函数match_twosided连接两幅图的特征;
第三步,RANSAC去除错误点匹配;
第四步,归一化8点算法估计基础矩阵。这是通过对应点来计算基础矩阵的算法。
计算基础矩阵:
from PIL import Image
from numpy import *
from pylab import *
import numpy as np
import PCV.geometry.camera as camera
import PCV.geometry.homography as homography
import PCV.geometry.sfm as sfm
import PCV.localdescriptors.sift as sift
im1 = array(Image.open('33.jpg'))
sift.process_image('33.jpg', 'im1.sift')
im2 = array(Image.open('34.jpg'))
sift.process_image('34.jpg', 'im2.sift')
l1, d1 = sift.read_features_from_file('im1.sift')
l2, d2 = sift.read_features_from_file('im2.sift')
matches = sift.match_twosided(d1, d2)
ndx = matches.nonzero()[0]
x1 = homography.make_homog(l1[ndx, :2].T)
ndx2 = [int(matches[i]) for i in ndx]
x2 = homography.make_homog(l2[ndx2, :2].T)
d1n = d1[ndx]
d2n = d2[ndx2]
x1n = x1.copy()
x2n = x2.copy()
figure(figsize=(16,16))
sift.plot_matches(im1, im2, l1, l2, matches, True)
show()
def F_from_ransac(x1, x2, model, maxiter=5000, match_threshold=1e-6):
""" Robust estimation of a fundamental matrix F from point
correspondences using RANSAC (ransac.py from
http://www.scipy.org/Cookbook/RANSAC).
input: x1, x2 (3*n arrays) points in hom. coordinates. """
import PCV.tools.ransac as ransac
data = np.vstack((x1, x2))
d = 10 # 20 is the original
F, ransac_data = ransac.ransac(data.T, model,
8, maxiter, match_threshold, d, return_all=True)
return F, ransac_data['inliers']
model = sfm.RansacModel()
F, inliers = F_from_ransac(x1n, x2n, model, maxiter=5000, match_threshold=1e-5)
print F
P1 = array([[1, 0, 0, 0], [0, 1, 0, 0], [0, 0, 1, 0]])
P2 = sfm.compute_P_from_fundamental(F)
X = sfm.triangulate(x1n[:, inliers], x2n[:, inliers], P1, P2)
cam1 = camera.Camera(P1)
cam2 = camera.Camera(P2)
x1p = cam1.project(X)
x2p = cam2.project(X)
figure(figsize=(16, 16))
imj = sift.appendimages(im1, im2)
imj = vstack((imj, imj))
imshow(imj)
cols1 = im1.shape[1]
rows1 = im1.shape[0]
for i in range(len(x1p[0])):
if (0<= x1p[0][i]
画极点和极线
# -*- coding: utf-8 -*-
from pylab import *
from mpl_toolkits.mplot3d import axes3d
import sfm
#在前两个视图中点的索引
ndx = (corr[:,0]>=0) & (corr[:,1]>=0)
#获得坐标,并将其用齐次坐标表示
x1 = points2D[0][:,corr[ndx,0]]
x1 = vstack((x1,ones(x1.shape[1])))
x2 = points2D[1][:,corr[ndx,1]]
x2 = vstack((x2,ones(x2.shape[1])))
#计算F
F = sfm.compute_fundamental(x1,x2)
#计算极点
e = sfm.compute_epipole(F)
#绘制图像
figure()
imshow(im1)
#分别绘制每条线,这样会绘制出很漂亮的颜色
for i in range(5):
sfm.plot_epipolar_line(im1,F,x2[:,i],e,False)
axis('off')
figure()
imshow(im2)
#分别绘制每个点,这样绘制出和线同样的颜色
for i in range(5):
plot(x2[0,i],x2[1,i],'o')
axis('off')
show()
sfm.py:
# -*- coding: utf-8 -*-
def compute_fundamental(x1,x2):
"""使用归一化的八点算法,从对应点(x1,x2 3*n 的数组)中计算基础矩阵
每行由如下构成:
[x'*x,x'*y,x',y'*x,y'*y,y',x,y,1]"""
n = x1.shape[1]
if x2.shape[1]!=n:
raise ValueError("Number of points don't match.")
#创建方程对应的矩阵
A = zeros((n,9))
for i in range(n):
A[i] = [x1[0,i]*x2[0,i],x1[0,i]*x2[1,i],x1[0,i]*x2[2,i],
x1[1,i]*x2[0,i],x1[1,i]*x2[1,i],x1[1,i]*x2[2,i],
x1[2,i]*x2[0,i],x1[2,i]*x2[1,i],x1[2,i]*x2[2,i] ]
#计算线性最小二乘解
U,S,V = linalg.svd(A)
F = V[-1].reshape(3,3)
#受限F
#通过将最后一个奇异值置0,使秩为2
U,S,V = linalg.svd(F)
S[2] = 0
F = dot(U,dot(diag(S),V))
return F
def compute_epipole(F):
"""从基础矩阵F中计算右极点(可以使用F,T获得左极点)"""
#返回F的零空间(FX=0)
U,S,V = linalg.svd(F)
e = V[-1]
return e/e[2]
def plot_epipolar_line(im,F,x,epipole=None,show_epipole=True):
"""在图像中,绘制外极点和外极线 Fx=0 。F是基础矩阵,x是另一幅图像中的点"""
m,n = im.shape[:2]
line =dot(F,x)
#外机线参数和值
t = linspace(0,n,100)
lt = array([(line[2]+line[0]*tt)/(-line[1]) for tt in t])
#仅仅处理位于图像内部的点和线
ndx = (lt>=0) & (lt