NVIDIA Jetson Xavier NX 串口通讯（发送YOLO检测结果）（记录）

---

开始之前声明： 本文在NVIDIA Jetson Xavier NX上跑YOLOv4模型，配合ZED相机实时检测，将检测到的目标坐标发送到下位机。
环境： ubuntu18.04，Jetpack4.4.0

---

NVIDIA Jetson Xavier NX串口

Xavier NX支持基本常用的通讯方式，博主利用40pin的引脚GPIO（UART），引脚分布如下图所示，引脚提供了3.3v和5v供电。

UART_TX对应的是8，UART_RX对应的是10,.博主外接了一个ttl转usb小板（CH340），usb端连接到下位机(先用PC测试，发送到单片机一样),某宝几块钱一个。注意连接方式RX-TX，TX-RX
运行ls /dev/tty*,注意有4个分别是TCU0、THS0、THS1、THS4。TCU0和THS0都是UART，连接方式不一样，如果使用40pin就是THS0.

cutecom助手测试

cutecom和串口助手一样，可以方便我们对串口进行测试，在NX和PC中同时安装
安装：sudo apt-get install cutecom
运行：sudo cuetcom
界面如下：
如果已经连好线，在pc端会出现ttyUSB0，我们同样可以用ls /dev/tty*来查看，如果没有，检查连线是否正确。同样可以在cutecom助手device中查看我们的设备。

点击右上角setting可以设置波特率、校验位、停止位等，与NX中的设置一致即可。

点击open，打开串口，在input框内尝试发送数据，可以看到PC端可以成功接收数据，通讯成功！
也可以在终端直接echo发送，但记得要更改串口权限，sudo chmod 777 /dev/ttyTHS0

发送YOLO检测结果

串口程序可以参考这位博主的串口程序介绍
博主配合ZED相机使用，需对YOLO文件夹下的src目录下的yolo_console_dll.cpp进行修改。
找到draw_boxes函数，该函数内部实现坐标的获取，i.x_3d对应X坐标、i.y_3d对应Y坐标、i.z_3d对应Z坐标，即发送这3个坐标到缓存中，将缓存中的内容写入串口设备，下位机读区缓存中的内容即可。
在主函数中，打开串口并初始化

int FD;
FD = open_port(1);//根据自己的串口设置
set_opt(FD,115200,8,3,1);

在draw_boxes中发送坐标，注意在for循环体内添加代码

void draw_boxes(cv::Mat mat_img, std::vector<bbox_t> result_vec, std::vector<std::string> obj_names,
    int current_det_fps = -1, int current_cap_fps = -1,int FD = -1)//添加文件描述符参数，默认为-1，在主函数中同样记得添加。
{	
	char buf[512]; //设置buff大小
	int len;
    int const colors[6][3] = { { 1,0,1 },{ 0,0,1 },{ 0,1,1 },{ 0,1,0 },{ 1,1,0 },{ 1,0,0 } };

    for (auto &i : result_vec) {
        cv::Scalar color = obj_id_to_color(i.obj_id);
        cv::rectangle(mat_img, cv::Rect(i.x, i.y, i.w, i.h), color, 2);
        if (obj_names.size() > i.obj_id) {
            std::string obj_name = obj_names[i.obj_id];
            if (i.track_id > 0) obj_name += " - " + std::to_string(i.track_id);
            cv::Size const text_size = getTextSize(obj_name, cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, 2, 0);
            int max_width = (text_size.width > i.w + 2) ? text_size.width : (i.w + 2);
            max_width = std::max(max_width, (int)i.w + 2);
            //max_width = std::max(max_width, 283);
            std::string coords_3d;
            if (!std::isnan(i.z_3d)) {
                std::stringstream ss;
                ss << std::fixed << std::setprecision(2) << "x:" << i.x_3d << "m y:" << i.y_3d << "m z:" << i.z_3d << "m ";
                coords_3d = ss.str();
                cv::Size const text_size_3d = getTextSize(ss.str(), cv::FONT_HERSHEY_COMPLEX_SMALL, 0.8, 1, 0);
                int const max_width_3d = (text_size_3d.width > i.w + 2) ? text_size_3d.width : (i.w + 2);
                if (max_width_3d > max_width) max_width = max_width_3d;
            }

            cv::rectangle(mat_img, cv::Point2f(std::max((int)i.x - 1, 0), std::max((int)i.y - 35, 0)),
                cv::Point2f(std::min((int)i.x + max_width, mat_img.cols - 1), std::min((int)i.y, mat_img.rows - 1)),
                color, CV_FILLED, 8, 0);
            putText(mat_img, obj_name, cv::Point2f(i.x, i.y - 16), cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, cv::Scalar(0, 0, 0), 2);
            if(!coords_3d.empty()) putText(mat_img, coords_3d, cv::Point2f(i.x, i.y-1), cv::FONT_HERSHEY_COMPLEX_SMALL, 0.8, cv::Scalar(0, 0, 0), 1);
        }
        /******************************************************/
        sprintf(buf,"(%f,%f,%f)\n",i.x_3d,i.y_3d,i.z_3d);
        len = strlen(buf);
        write(FD,buf,len);
        /******************************************************/
    }
    if (current_det_fps >= 0 && current_cap_fps >= 0) {
        std::string fps_str = "FPS detection: " + std::to_string(current_det_fps) + "   FPS capture: " + std::to_string(current_cap_fps);
        putText(mat_img, fps_str, cv::Point2f(10, 20), cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, cv::Scalar(50, 255, 0), 2);
    }
}

对YOLO重新编译，执行make clean然后make
运行ZED相机

LD_LIBRARY_PATH=./:$LD_LIBRARY_PATH ./uselib data/coco.names cfg/yolov4.cfg yolov4.weights zed_camera

结果如下图所示
通讯成功，NX检测到的目标坐标可以发送到PC上！但是发送的坐标偶尔会不完整，通讯还是有问题，后续再进行进一步修改。
本人串口通讯方面知识小白一枚，没怎么搞过通讯，如果文中有错误的地方，还请大家批评指正！