电子稳像技术介绍
发展历史
在成像过程中，成像设备相对于景物是随机振动的，在人眼或仪器中难以稳定地成像。通常采用的稳像方法有三种，即主动稳像、被动稳像和电子稳像。
1、主动稳像是安装陀螺稳定平台的稳定摄像系统，陀螺稳定平台主要是衰减低频振动。
1.机械式稳像： 在一些大型的武器系统中，往往将整个仪器置于稳定平台上，而在一些小型导弹导引头或电视摄像头中，是将整个光学系统稳定起来。在这些系统中使用机械的方法来达到稳像目的，因此称为机械式稳像。这种系统像面是运动的，为后续图像处理系统增加了困难。
2，光学稳像： 在一些光学仪器中用光学的方法实现图像稳定，称为光学稳像。在这里，一般是在光路中设置一个光学元件作为对不稳定图像的补偿。光学稳像方法不需将整个仪器或光学系统稳定，因此减轻了稳定系统的重量，同时物镜和像面均是固定的，便于对图像进一步处理，目前的稳像光学仪器广泛采用的是该方法。
2、被动稳像是采用减震装置来隔离载体的振动，用以减少高频振动对摄像系统的影响。
3、电子稳像技术是一种将电子、计算机、图像处理等技术融合实现图像稳定的技术，具有精度高、功耗低、体积小等优点。
目前出现在国内的电子稳像算法有:经典的代表点匹配法(RPM，Representative Point Matching)，灰度投影算法(PA，ProjectionAlgorithin)，块匹配法(BMA，Block Matching Algorithm)，位平面法(BpM，Bit Plane Matohing)及三步法 (TSS，Threest叩Searching)等，也有一些对经典算法的搜索策略进行改进的新算法。
电子稳像的基本算法己经比较完善，对于有平移运动、简单的旋转运动(单轴旋转)以及图像上有小目标运动物体的图像序列可以做到快速、准确地稳定。稳定图像的晃动量将以损失部分图像信息为代价，这在一定程度上限制了电子稳像的使用范围
电子稳像
1、设计思路
首先通过摄像机采集视频图像，依次经过运动估计单元(局部运动估计和全局运动估计)和运动补偿单元，然后获得校正抖动的运动补偿向量。最后再根据运动补偿向量对每一帧抖动图像进行处理，获得适于人眼观测的稳定的图像序列。
局部运动估计系统就是通过各种不同的算法对图像序列中的局部图像进行处理，估算出当前帧相对于参考帧的运动偏移 LMVs，局部运动矢量精度受噪声影响，需要全局运动决定单元判断所估计运动矢量的有效性以提高运动矢量的检测精度，从而获得全局运动矢量GMV。为了避免因补偿后获得的运动矢量不连续而引起图像质量下降，运动矢量平滑单元将对全局运动矢量进行处理，获得平滑运动矢量SMV(Smoothing
MotionVector)。
运动补偿则是通过运动估计单元提供的运动参数去控制 CCD输出像元各行、列的起始读出位置，或直接利用数字图像处理的方法使图像上的像素按被检测出的运动偏移反方向做等量移动。
2、稳像精度
视频电子稳像效果需要完成一定范围的偏移，假设需要实现40像素以内的扰动，水平、垂直方向实现80像素缩减，实现抖动校正矢量正负40像素。水平、垂直方向像素偏移量可根据实际分辨率进行调整，实现较好的稳像效果，但稳定图像的晃动量会损失部分图像信息。
3、数据处理
系统的运动估计对灰度图像进行操作，可以节省计算资源。假设输入RGB分量，首先转换为YUV分量，然后再对Y分量实施匹配估计算法，最终获得当前帧相对前一帧的偏移矢量。
传统数字稳像技术方案
数字稳像传统技术多采用３步法：运动估计、运动补偿和图像修补。
主要的稳定算法有:经典的代表点匹配法(RPM，Representative Point Matching)，投影算法(PA，ProjectionAlgorithin)，特征量跟踪算法(FTA，FeaturesTrackingAlgorithm)，位平面匹配法(BpM，Bit Plane Matohing)。
1、代表点匹配法(RPM)
代表图像最简单的特征量，将图像分成四个区域，每个区域分别选取 30个代表点，每个点有一个确定的搜索区域，建立先前帧与当前帧图像代表点之间的关系式，最后以搜索区域内选定的代表点为相对参考点做一个相同的位移值，相应的有一个绝对差值，对所有代表点坐标的绝对值求和，获得一个相关函数关系式，第k个代表点
p ( i , j ) = ∑ I t − 1 ( x k , y k ) − I t ( x k + i , y k + j ) p(i,j) = \sum I_{t-1}(x_k,y_k)-I_{t}(x_{k+i},y_{k+j}) p(i,j)=∑It−1(xk,yk)−It(xk+i,yk+j)
四个区域位移矢量平均作为图像的运动矢量。
优点：算法简单，计算量小
缺点：特征点是确定的，对旋转晃动和慢速晃动不能补偿
2、投影算法（PA）
基于标准的帧与帧间的互相关运算
1）图像映射：一帧输入图像映射为水平垂直的一维波形
2）投影滤波：对投影值进行余弦滤波器滤波，保留中间区域幅值，降低边界信息幅值，提高校正精度。
边缘信息在互相关计算时对互相关的峰值计算不利，图像移动量较大，边缘信息在图像中是唯一的
3、投影互相关计算：当前帧和参考帧平滑后的映射灰度波形进行互相关计算，最终得到两条互相关曲线
3、特征量跟踪算法（FTA）
利用特征量有角点、直边缘等局部特征和型心、表面积、惯量矩等全局特征。
缺点：实际环境很复杂，干扰项很多。
4、位平面匹配法（BPM）
图像灰度图像的位平面实现快速二值匹配确定图像局部运动矢量。显著降低图像处理计算量。
图像处理成二值图，计算BPM估计误差
算法对比
参考-《电子稳像技术中核心算法的研究及实现》
运动平滑补偿
抖动视频的相机运动存在抖动的“噪声”，运动平滑即消除噪声，使得运动路径变得平滑。运动平滑通常采用滤波器对运动路径进行平滑。常用的有卡尔曼滤波、高斯滤波、均值滤波等。通过运动平滑得到平滑路径，接下来对视频每一帧进行补偿，再得到每一帧的补偿矩阵对每一帧进行几何变换，由此得到稳定的视频帧序列。
1、卡尔曼滤波
是一种利用线性系统状态方程，利用递推估计，估计性能最优。递推计算形式能够适合实时处理，因此卡尔曼滤波被称为最优滤波器。
2、高斯滤波
是一种线性平滑滤波，适用于消除高斯噪声。抖动视频的噪声可以建模为符合高斯分布的噪声。高斯滤波抑制噪声的过程即为运动平滑的过程。
3、均值滤波
是典型的线性滤波算法，主要采用邻域平均法。用均值替代原图像中各个像素值。
稳像评估方法
视频稳像算法通常包含主观和客观两类评估指标。
主观评估方法：主观评估方法是通过人眼对最终生成的稳定视频进行评价。由于受到人为因素的干扰，评估存在较大的不确定性，对稳像后的视频评价可能存有差异。
客观评估方法：
1、峰值信噪比（PSNR）
峰值信噪比是基于均方差的图像质量描述方法。通常采用帧间的峰值信噪比评估视频稳像的效果，PSNR 值越高说明稳像效果越好。
2、均方差（MSE）
MSE 可以表现视频帧间内容变化的快慢以及位移量改变。
3、结构相似性
结构相似性（SSIM）常用于视频帧像素间的相互关系，注重视频帧内在规律的相似性。也是一种常用的稳像评估方法。其中，SSIM 值越接近 1 说明稳像效果越好。