NVIDIA Jetson Xavier NX 串口通讯(发送YOLO检测结果)(记录)

目录

  • NVIDIA Jetson Xavier NX串口
  • cutecom助手测试
  • 发送YOLO检测结果


开始之前声明: 本文在NVIDIA Jetson Xavier NX上跑YOLOv4模型,配合ZED相机实时检测,将检测到的目标坐标发送到下位机。
环境: ubuntu18.04,Jetpack4.4.0


NVIDIA Jetson Xavier NX串口

Xavier NX支持基本常用的通讯方式,博主利用40pin的引脚GPIO(UART),引脚分布如下图所示,引脚提供了3.3v和5v供电。
NVIDIA Jetson Xavier NX 串口通讯(发送YOLO检测结果)(记录)_第1张图片

UART_TX对应的是8,UART_RX对应的是10,.博主外接了一个ttl转usb小板(CH340),usb端连接到下位机(先用PC测试,发送到单片机一样),某宝几块钱一个。注意连接方式RX-TX,TX-RX
运行ls /dev/tty*,注意有4个分别是TCU0、THS0、THS1、THS4。TCU0和THS0都是UART,连接方式不一样,如果使用40pin就是THS0.
NVIDIA Jetson Xavier NX 串口通讯(发送YOLO检测结果)(记录)_第2张图片

cutecom助手测试

cutecom和串口助手一样,可以方便我们对串口进行测试,在NX和PC中同时安装
安装:sudo apt-get install cutecom
运行:sudo cuetcom
界面如下:
如果已经连好线,在pc端会出现ttyUSB0,我们同样可以用ls /dev/tty*来查看,如果没有,检查连线是否正确。同样可以在cutecom助手device中查看我们的设备。
NVIDIA Jetson Xavier NX 串口通讯(发送YOLO检测结果)(记录)_第3张图片
点击右上角setting可以设置波特率、校验位、停止位等,与NX中的设置一致即可。
NVIDIA Jetson Xavier NX 串口通讯(发送YOLO检测结果)(记录)_第4张图片
点击open,打开串口,在input框内尝试发送数据,可以看到PC端可以成功接收数据,通讯成功!
也可以在终端直接echo发送,但记得要更改串口权限,sudo chmod 777 /dev/ttyTHS0
NVIDIA Jetson Xavier NX 串口通讯(发送YOLO检测结果)(记录)_第5张图片

发送YOLO检测结果

串口程序可以参考这位博主的串口程序介绍
博主配合ZED相机使用,需对YOLO文件夹下的src目录下的yolo_console_dll.cpp进行修改。
找到draw_boxes函数,该函数内部实现坐标的获取,i.x_3d对应X坐标、i.y_3d对应Y坐标、i.z_3d对应Z坐标,即发送这3个坐标到缓存中,将缓存中的内容写入串口设备,下位机读区缓存中的内容即可。
在主函数中,打开串口并初始化

int FD;
FD = open_port(1);//根据自己的串口设置
set_opt(FD,115200,8,3,1);

在draw_boxes中发送坐标,注意在for循环体内添加代码


void draw_boxes(cv::Mat mat_img, std::vector<bbox_t> result_vec, std::vector<std::string> obj_names,
    int current_det_fps = -1, int current_cap_fps = -1,int FD = -1)//添加文件描述符参数,默认为-1,在主函数中同样记得添加。
{	
	char buf[512]; //设置buff大小
	int len;
    int const colors[6][3] = { { 1,0,1 },{ 0,0,1 },{ 0,1,1 },{ 0,1,0 },{ 1,1,0 },{ 1,0,0 } };

    for (auto &i : result_vec) {
        cv::Scalar color = obj_id_to_color(i.obj_id);
        cv::rectangle(mat_img, cv::Rect(i.x, i.y, i.w, i.h), color, 2);
        if (obj_names.size() > i.obj_id) {
            std::string obj_name = obj_names[i.obj_id];
            if (i.track_id > 0) obj_name += " - " + std::to_string(i.track_id);
            cv::Size const text_size = getTextSize(obj_name, cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, 2, 0);
            int max_width = (text_size.width > i.w + 2) ? text_size.width : (i.w + 2);
            max_width = std::max(max_width, (int)i.w + 2);
            //max_width = std::max(max_width, 283);
            std::string coords_3d;
            if (!std::isnan(i.z_3d)) {
                std::stringstream ss;
                ss << std::fixed << std::setprecision(2) << "x:" << i.x_3d << "m y:" << i.y_3d << "m z:" << i.z_3d << "m ";
                coords_3d = ss.str();
                cv::Size const text_size_3d = getTextSize(ss.str(), cv::FONT_HERSHEY_COMPLEX_SMALL, 0.8, 1, 0);
                int const max_width_3d = (text_size_3d.width > i.w + 2) ? text_size_3d.width : (i.w + 2);
                if (max_width_3d > max_width) max_width = max_width_3d;
            }

            cv::rectangle(mat_img, cv::Point2f(std::max((int)i.x - 1, 0), std::max((int)i.y - 35, 0)),
                cv::Point2f(std::min((int)i.x + max_width, mat_img.cols - 1), std::min((int)i.y, mat_img.rows - 1)),
                color, CV_FILLED, 8, 0);
            putText(mat_img, obj_name, cv::Point2f(i.x, i.y - 16), cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, cv::Scalar(0, 0, 0), 2);
            if(!coords_3d.empty()) putText(mat_img, coords_3d, cv::Point2f(i.x, i.y-1), cv::FONT_HERSHEY_COMPLEX_SMALL, 0.8, cv::Scalar(0, 0, 0), 1);
        }
        /******************************************************/
        sprintf(buf,"(%f,%f,%f)\n",i.x_3d,i.y_3d,i.z_3d);
        len = strlen(buf);
        write(FD,buf,len);
        /******************************************************/
    }
    if (current_det_fps >= 0 && current_cap_fps >= 0) {
        std::string fps_str = "FPS detection: " + std::to_string(current_det_fps) + "   FPS capture: " + std::to_string(current_cap_fps);
        putText(mat_img, fps_str, cv::Point2f(10, 20), cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, cv::Scalar(50, 255, 0), 2);
    }
}

对YOLO重新编译,执行make clean然后make
运行ZED相机

LD_LIBRARY_PATH=./:$LD_LIBRARY_PATH ./uselib data/coco.names cfg/yolov4.cfg yolov4.weights zed_camera

结果如下图所示
通讯成功,NX检测到的目标坐标可以发送到PC上!但是发送的坐标偶尔会不完整,通讯还是有问题,后续再进行进一步修改。
本人串口通讯方面知识小白一枚,没怎么搞过通讯,如果文中有错误的地方,还请大家批评指正!
NVIDIA Jetson Xavier NX 串口通讯(发送YOLO检测结果)(记录)_第6张图片

你可能感兴趣的:(笔记,linux,深度学习)