DeepSORT简单理解

DeepSORT算法通过结合目标框的马氏距离(Mahalanobis distance)和特征余弦距离（Cosine similarity）两个度量来整合运动信息和外观信息。外观信息是指使用了一个简单的CNN网络去提取被检测物体的外观特征。运动信息是指卡尔曼（kalman）滤波预测的结果。

Deepsort的算法流程是：

（1）获取视频的初始帧

（2）使用卡尔曼（kalman）滤波器进行目标运动状态的预测，得到估计目标的两种状态。

        DeepSORT中的滤波算法使用的状态是一个8个维度的向量。分别是（u, v, γ, h, ẋ, ẏ, γ̇, ḣ），（u, v）表示目标中心点的水平坐标和目标中心的垂直坐标，（γ）是宽高比，（h）是高度，其余四个变量（ẋ, ẏ, γ̇, ḣ）表示对应的在图像坐标系中的速度信息。

        1）均值(Mean)：通过观测矩阵（observation matrix）输出的包含目标的位置和速度信息的(u,v,r,h)。

        2）协方差(Covariance) ：表示通过线性估计获取的物体运动状态的不确定性值，矩阵中数字越大则表明不确定性越大。

（3）提取检测到的物体的视觉特征和运动特征.

（4）进行相似度计算，计算前面的帧和当前帧目标之间的匹配程度。

        1）马氏距离（Mahalanobis distance），是计算两个未知样本集之间相似度的有效方法。当协方差(Covariance) 不确定性越小的情况下，DeepSORT算法使用检测框和跟踪器预测框之间的马氏距离来计算运动信息的相似度，这对短时间遮挡是有效的。

        2）当协方差(Covariance) 不确定性越大的情况下，DeepSORT 对每一个追踪的目标通过神经网络提取一个外观特征向量, 通过计算当前帧的检测与历史追踪的目标特征向量之间的最小余弦距离来确定相似度. 余弦距离考虑外观信息，这对长期遮挡的目标ID的找回比较有效。

（5）最后对运动和外观两种度量方式进行线性加权作为最终的度量，最终通过匈牙利算法关联的代价矩阵对数据进行关联，为每个对象分配目标的ID。

DeepSORT(SORT)알고리즘은 object bounding box의 마하라노비스 거리(Mahalanobis distance)와 특징 코사인거리(Cosine similarity)의 두 메트릭스를 결합하여 운동 정보와 외관 정보를 통합한다. 외관 정보란 검출 대상물의 외관 특징을 추출하기 위해 간단한 CNN 네트워크를 사용하는 것을 말한다. 운동 정보란 칼만(kalman) 필터가 예측한 결과를 말한다.

Deepsort 알고리즘의 프로세스는 아래 5가지 순서로 나타낸다.

1) 비디오의 초기 프레임 가져오기

2) 칼만 필터를 사용하여 대상의 움직임 상태를 예측한다. 목표를 얻은 두 가지 상태.

DeepSORT에서의 칼만 필터 알고리즘은 8차원（u, v, γ, h, ẋ, ẏ, γ̇, ḣ）벡터를 사용하여 타겟의 대상를 나타낸다. (u, v)는 목표 중심점의 수평 좌표와 목표 중심부의 수직 좌표를 나타내며, (γ)는 종횡비, (h)는 높이이고 나머지4개의 변수(ẋ, ẏ, γ̇, ḣ)는 대상물이 영상 좌표계에 있는 속도 정보를 표시한다.

(a) 평균값(Mean): 관측 행렬(observation matrix)을 통해 출력되는 대상의 위치 및 속도 정보(u, v, r, h)를 나타낸다.

(b) 공분산(Covariance): 선형 추정을 통해 얻은 목표의 운동 상태를 나타내는 불확실성 값. 행렬의 숫자가 클수록 불확실성이 크다는 것을 나타낸다.

3) 감지된 물체의 외관 특징과 운동(vector) 특징을 추출한다.

4) 유사도 계산을 통해 앞의 프레임과 현재 프레임 목표 사이의 일치도를 계산한다.

(a) 마하라노비스의 거리(Mahalanobis distance)는 두 샘플 사이의 유사도를 계산하는 효과적인 방법이다. 공분산(Covariance)의 불확실성이 적을수록 DeepSORT 알고리즘은 detection bounding box와 예측 bounding box 간 운동 정보의 유사도를 계산하기 위해 마하라노비스 거리를 사용한다. 이는 단시간에 차단된 object의 tracking에 효과적이다.

(b) 공분산(Covariance)의 불확실성이 클수록，DeepSORT는 각 추적 object의 외관 특징(벡터)을 신경망을 통해 추출한다. 현재 프레임과 이전 추적 object의 대상 외관 특징 벡터 사이의 최소 코사인 유사도(cosine similarity)을 계산하여 유사도를 알아낸다. 코사인 거리를 통한 외관 정보를 산출하면 장기간 가려진 object의 ID를 되찾는 것이 비교적 효과적이다.

5) 마지막으로 운동과 외관 두 가지 도량 방식에 대한 선형 가중치를 통해 최종 결과를 도출한다. 다음 헝가리안 알고리즘(Hungarian algorithm)을 통해 연관된 대가행렬은 데이터에 연관되어 각 object에 ID를 할당한다.