ORBSLAM3 运行流程 以rgbd_tum.cc函数为例进行分析

一、运行

使用的是D435i相机自己录制的数据。

运行命令：

./Examples/RGB-D/rgbd_tum  '/opt/vslam/ORB_SLAM3_detailed_comments-dense_map_new/Vocabulary/ORBvoc.txt' '/opt/vslam/ORB_SLAM3_detailed_comments-dense_map_new/Examples/RGB-D/TUM1.yaml'   /opt/vslam/data/115/bag_tum '/opt/vslam/data/115/ass.txt' 

 简单解释一下，第一部分是可执行文件，第二部分是ORB词袋，第三部分是配置文件（在这里更改自己相机的参数），第四部分是数据文件存放所在的文件夹，第五部分是RGB和深度图像的时间戳文件。

二、rgbd_tum.cc文件

首先查看可执行文件链接位置

可以看到是位置是在 /Examples/RGB-D/rgbd_tum.cc，查看rgbd_tum.cc文件。

1、主函数初始化部分

int main(int argc, char **argv)
{
    //检查是否输入是5部分
    if(argc != 5)
    {
        cerr << endl << "Usage: ./rgbd_tum path_to_vocabulary path_to_settings path_to_sequence path_to_association" << endl;
        return 1;
    }
    
    // Retrieve paths to images
    vector vstrImageFilenamesRGB;
    vector vstrImageFilenamesD;
    vector vTimestamps;
    //加载图像文件名和时间戳的关联文件
    string strAssociationFilename = string(argv[4]);
    LoadImages(strAssociationFilename, vstrImageFilenamesRGB, vstrImageFilenamesD, vTimestamps);

    //...
    return 0;
}

开始检查输入是否是5个参数，然后初始化几个容器和变量。

// Retrieve paths to images
vector vstrImageFilenamesRGB;
vector vstrImageFilenamesD;
vector vTimestamps;
//加载图像文件名和时间戳的关联文件
string strAssociationFilename = string(argv[4])；

我们看一下这个我输入第五个参数ass.txt的具体内容

时间戳  文件夹名/图像命名    时间戳  文件夹名/图像命名

文件结构如下

然后进入LoadImages（）函数。

2、LoadImages()函数

void LoadImages(const string &strAssociationFilename, vector &vstrImageFilenamesRGB,
                vector &vstrImageFilenamesD, vector &vTimestamps)
{
    ifstream fAssociation;
    fAssociation.open(strAssociationFilename.c_str());
    while(!fAssociation.eof())
    {
        string s;
        getline(fAssociation,s);
        if(!s.empty())
        {
            stringstream ss;
            ss << s;
            double t;
            string sRGB, sD;
            ss >> t;
            vTimestamps.push_back(t);
            ss >> sRGB;
            vstrImageFilenamesRGB.push_back(sRGB);
            ss >> t;
            ss >> sD;
            vstrImageFilenamesD.push_back(sD);

        }
    }
}

LoadImages 函数接受四个参数： 

1. strAssociationFilename: 一个字符串，表示包含图像文件名和时间戳的关联文件的路径。
2. vstrImageFilenamesRGB: 一个字符串向量的引用，用于存储RGB图像的文件名。
3. vstrImageFilenamesD: 一个字符串向量的引用，用于存储深度图像或其他类型图像的文件名。
4. vTimestamps: 一个双精度浮点数向量的引用，用于存储图像对应的时间戳。

函数逻辑 

1. 打开文件: 使用ifstream打开提供的关联文件strAssociationFilename。

2. 读取文件直到结束:

   • 通过while(!fAssociation.eof())循环，函数会一直读取文件直到到达文件末尾。

3. 处理每一行:

   • 在循环内部，使用getline(fAssociation,s)读取文件的每一行到字符串s中。
   • 检查字符串s是否为空。如果不为空，则处理该行。

4. 解析行:

   • 使用stringstream从字符串s中解析数据。
   • 首先读取一个时间戳t，并将其添加到vTimestamps向量中。
   • 然后读取一个字符串sRGB，表示RGB图像的文件名，并将其添加到vstrImageFilenamesRGB向量中。
   • 再次读取一个时间戳t，但是没有赋值操作，属于应付数据格式的无效操作。
   • 最后，读取另一个字符串sD，表示深度图像或其他类型图像的文件名，并将其添加到vstrImageFilenamesD向量中。

 然后简单看一下主函数中后续的处理，nImages是彩色图像数量。

如果每加载到彩色图像或者彩色图像和深度图像数量不一致，直接报错，返回

int nImages = vstrImageFilenamesRGB.size();
    if(vstrImageFilenamesRGB.empty())
    {
        cerr << endl << "No images found in provided path." << endl;
        return 1;
    }
    else if(vstrImageFilenamesD.size()!=vstrImageFilenamesRGB.size())
    {
        cerr << endl << "Different number of images for rgb and depth." << endl;
        return 1;
    }

    

 3、主函数线程开启部分

ORB_SLAM3::System SLAM(argv[1],argv[2],ORB_SLAM3::System::RGBD,true);
float imageScale = SLAM.GetImageScale();

//初始化追踪所用时间存储容器
// Vector for tracking time statistics
    vector vTimesTrack;
    vTimesTrack.resize(nImages);
//输出一些显示，这里能看到一共读了多少图片
cout << endl << "-------" << endl;
cout << "Start processing sequence ..." << endl;
cout << "Images in the sequence: " << nImages << endl << endl;

新建System类 SLAM，各个线程的初始化，一切的开始 ，这个太多了，下一篇开肝。

链接：

ORBSLAM3 运行流程 ORB_SLAM3::System SLAM()函数-CSDN博客文章浏览阅读164次，点赞5次，收藏4次。【代码】ORBSLAM3 运行流程 ORB_SLAM3::System SLAM()函数。https://blog.csdn.net/weixin_44760904/article/details/135852602?spm=1001.2014.3001.5502文章浏览阅读164次，点赞5次，收藏4次。【代码】ORBSLAM3 运行流程 ORB_SLAM3::System SLAM()函数。https://blog.csdn.net/weixin_44760904/article/details/135852602?spm=1001.2014.3001.5502文章浏览阅读164次，点赞5次，收藏4次。【代码】ORBSLAM3 运行流程 ORB_SLAM3::System SLAM()函数。https://blog.csdn.net/weixin_44760904/article/details/135852602?spm=1001.2014.3001.5502文章浏览阅读164次，点赞5次，收藏4次。【代码】ORBSLAM3 运行流程 ORB_SLAM3::System SLAM()函数。https://blog.csdn.net/weixin_44760904/article/details/135852602?spm=1001.2014.3001.5502

imageScale是管理图像缩放的一个函数，经过几次跳转，源代码里是1.0

 System类成员函数：GetImageScale()

float System::GetImageScale()
{
    return mpTracker->GetImageScale();
}

Tracking类的成员函数GetImageScale()

float Tracking::GetImageScale()
{
    return mImageScale;
}

 在Tracking.cc里不同函数mImageScale的几次赋值都是1.0f，为了设置的处理大分辨率图像时使用。

4、主要循环

// Main loop
    cv::Mat imRGB, imD;
    for(int ni=0; ni >(t2 - t1).count();

        vTimesTrack[ni]=ttrack;

        // Wait to load the next frame
        double T=0;
        if(ni0)
            T = tframe-vTimestamps[ni-1];

        if(ttrack

这里就看到我输入的第四个参数是/opt/vslam/data/115/bag_tum，他在后面加上/和之前ass.txt文档的命名进行图片读取，如果imageScale != 1.f，则对图片进行缩放，然后进入TrackRGBD(imRGB,imD,tframe)函数，后续写，再下面是模仿现实时间方面的操作。

链接：

ORBSLAM3 运行流程 TrackRGBD()函数-CSDN博客文章浏览阅读14次。这个函数也是在rgbd_tum.cc里被调用的。这里起到主要作用的是调用。https://blog.csdn.net/weixin_44760904/article/details/135873957?spm=1001.2014.3001.5502文章浏览阅读14次。这个函数也是在rgbd_tum.cc里被调用的。这里起到主要作用的是调用。https://blog.csdn.net/weixin_44760904/article/details/135873957?spm=1001.2014.3001.5502文章浏览阅读14次。这个函数也是在rgbd_tum.cc里被调用的。这里起到主要作用的是调用。https://blog.csdn.net/weixin_44760904/article/details/135873957?spm=1001.2014.3001.5502文章浏览阅读14次。这个函数也是在rgbd_tum.cc里被调用的。这里起到主要作用的是调用。https://blog.csdn.net/weixin_44760904/article/details/135873957?spm=1001.2014.3001.5502

1、计算并记录处理一个图像帧所需的时间ttrack，这个时间被存储在 vTimesTrack容器中，对应于当前处理的图像帧的索引ni。

2、计算下一帧与当前帧之间应有的时间间隔。vTimestamps 是一个包含每帧的时间戳的数组。如果不是最后一帧（ni < nImages - 1），它计算下一帧和当前帧的时间差；如果是最后一帧，它计算当前帧和前一帧的时间差。

3、如果处理时间ttrack小于应有的时间间隔T，代码将使程序休眠差额的时间，以保持时间同步。usleep 函数接受微秒作为参数，因此将时间差（秒）乘以 1e6 来转换

5、 系统终止

// Stop all threads
    SLAM.Shutdown();

    // Tracking time statistics
    sort(vTimesTrack.begin(),vTimesTrack.end());
    float totaltime = 0;
    for(int ni=0; ni

1. 停止所有线程：SLAM.Shutdown();这行代码负责安全地停止SLAM系统中所有的运行线程。

2. 追踪时间统计：这部分代码首先对存储每一帧追踪时间的向量vTimesTrack进行排序，然后计算总追踪时间，并输出中位数和平均追踪时间。

   • 排序：sort(vTimesTrack.begin(),vTimesTrack.end());将追踪时间从最短到最长排序。
   • 总时间计算：通过遍历vTimesTrack向量，累加每个元素（每帧的追踪时间），计算出总时间。
   • 中位数和平均时间输出：输出中位数追踪时间（vTimesTrack[nImages/2]）和平均追踪时间（totaltime/nImages）。

3. 保存相机轨迹：SLAM系统保存了两种轨迹文件。SaveTrajectoryTUM方法保存的是相机的整体轨迹，而SaveKeyFrameTrajectoryTUM方法保存的是关键帧轨迹。这些文件通常用于后续分析、调试或可视化。

   • SLAM.SaveTrajectoryTUM("CameraTrajectory.txt");保存相机的整体轨迹。
   • SLAM.SaveKeyFrameTrajectoryTUM("KeyFrameTrajectory.txt");保存关键帧的轨迹。

4. 程序结束：最后，程序返回0，表示正常结束。

 我的电脑是处理器是11th Gen Intel® Core™ i7-11800H @ 2.30GHz × 16  显卡rtx3080，最后结束时的输出，可以看到跟踪基本0.015s每帧，极限能达到每秒60帧，加入yolo后平均每帧5-10ms处理时间算，再加上通讯时间，实时30帧基本没问题。