kitti之ros可视化_学习笔记--第8课：tracking资料下载及2d侦测框绘制

环境：ubuntu16.04，ros-kinetic，python2，vscode，opencv，rviz

概要：这节课笔记，新增展示的是，介绍的是下载绘制2号相机所需要的tracking资料，并使用tracking资料，先给图片中一个货车绘制一个浅蓝色的2d侦测框，最后统一给每张图片根据物体类型不同绘制不同颜色2d侦测框。

资料准备及预处理可参考博客，https://blog.csdn.net/qq_45701501/article/details/116447770

0、tracking资料下载和一些注意问题

1）tracking资料简单作用：加载人工加注资料用以提供给机器学习，如自动驾驶的物体侦测训练

1）tracking资料下载：http://www.cvlibs.net/datasets/kitti/eval_tracking.php
资料名称：Download training labels of tracking data set (9 MB)
填写邮箱，系统发送邮件，官方会发送下载链接到你邮箱，这里是个人之前获取下载链接 ：https://s3.eu-central-1.amazonaws.com/avg-kitti/data_tracking_label_2.zip

资料保存位置参考：压缩包-解压-放到kitti数据集的RawData同级目录中，如：

training就是下载压缩包，解压后的文件夹。

2）这个tracking资料只是包含2号相机，如果前面小伙伴选了其他相机的，注意把相机设置为2号，才能使用这个资料，具体说明可以看链接：

https://github.com/pratikac/kitti/blob/master/readme.tracking.txt

3）使用jupyter notebook工具
安装指令：sudo pip install jupyter notebook
使用时，终端输入：jupyter notebook

在网页中生成一个界面，进入所在包src文件中，按钮新建一个python2.0文件。

注意，网页使用读取资料时候，终端一定要求保持打开状态。填写路径时，最好采用的pwd指令获取

1、源码及解析

1）jupyter notebook预测试2d侦测框：

以下代码，均直接放到jupyter notebook里面，点击run即可。注意，不同模块，放到不同的栏中。

1-1）单张图片某一个 车子的2d侦测框绘制

import pandas as pd
import numpy as np
#数据单位
COLUMN_NAMES=['frame', 'track_id', 'type', 'truncated', 'occluded', 'alpha', 'bbox_left', 'bbox_top','bbox_right', 'bbox_bottom', 'height', 'width', 'length', 'pos_x', 'pos_y', 'pos_z', 'rot_y']
#读取tracking资料并处理
df=pd.read_csv('/home/ylh/data/kitti/training/label_02/0000.txt',header=None,sep=' ')
df.columns=COLUMN_NAMES#给读取的数据添加单位
df.head()

#查找原始数据'Truck','Van','Tram'类型汽车，都更改类型为'Car'，得到表1
df.loc[df.type.isin(['Truck','Van','Tram']),'type']='Car'
#对表1,查找'Car','Pedestrian','Cyclist'三种类型物体，得到表2
df=df[df.type.isin(['Car','Pedestrian','Cyclist'])]

#表2,对2号资料，注意不是id为2，进行读取所示类型的资料，并以阵列形式展示
#df.loc[2,['bbox_left','bbox_top','bbox_right','bbox_bottom']]
#将阵列显示的数据，保存到box的numpy数组里面
box=np.array(df.loc[2,['bbox_left','bbox_top','bbox_right','bbox_bottom']])

import cv2

#读取图片
image = cv2.imread('/home/ylh/data/kitti/RawData/2011_09_26/2011_09_26_drive_0005_sync/image_02/data/0000000000.png')

#这里展示的给图片中一个货车绘制浅蓝色的框框
#由于像素只有整数，所以需要对box数组元素进行int类型转换;根据坐标值，绘制左上角点
top_left=int(box[0]),int(box[1])
#根据坐标值，绘制右下角的点
bottom_right=int(box[2]),int(box[3])

#指定图片，根据左上角点和右下角点绘制框框，(255,255,0)表示框框的颜色,2表示框线的宽度
cv2.rectangle(image,top_left,bottom_right,(255,255,0),2)
cv2.imshow('image',image)#显示图片
cv2.waitKey(0)#设置图片显示，避免一显示就消失情况
cv2.destroyAllWindows()#最后销毁该图片窗口

效果：

1-2）单张图片多个物体的2d侦测框绘制

import pandas as pd
import numpy as np
COLUMN_NAMES=['frame', 'track_id', 'type', 'truncated', 'occluded', 'alpha', 'bbox_left', 'bbox_top','bbox_right', 'bbox_bottom', 'height', 'width', 'length', 'pos_x', 'pos_y', 'pos_z', 'rot_y']
df=pd.read_csv('/home/ylh/data/kitti/training/label_02/0000.txt',header=None,sep=' ')
df.columns=COLUMN_NAMES
df.head()

df.loc[df.type.isin(['Truck','Van','Tram']),'type']='Car'#将这三种车子，统一定义为Car
df=df[df.type.isin(['Car','Pedestrian','Cyclist'])]#只是获取数据集中类型为指定的数据，注意car为重定义类型

#box=np.array(df.loc[2,['bbox_left','bbox_top','bbox_right','bbox_bottom']])#把2号资料四个边坐标保存到numpy阵列里面

import cv2

image = cv2.imread('/home/ylh/data/kitti/RawData/2011_09_26/2011_09_26_drive_0005_sync/image_02/data/0000000000.png')#读取图片

boxes = np.array(df[df.frame==0][['bbox_left','bbox_top','bbox_right','bbox_bottom']])#获取第0帧图片中的box们对应的四边坐标

for box in boxes:#给每个box绘制图线
    top_left=int(box[0]),int(box[1])#box的左上角点，像素为整数，所以需要转换int类型
    bottom_right=int(box[2]),int(box[3])#box的右下角点
    cv2.rectangle(image,top_left,bottom_right,(255,255,0),2)#绘制框框，依次指定图片、左上角点、右下角点、颜色、线粗细
    
cv2.imshow('image',image)#显示框框
cv2.waitKey(0)#避免框框一显示就消失，也就是一直显示
cv2.destroyAllWindows()#结束就销毁所有窗口

效果：

1-3) 单张图片多个物体的2d侦测框根据类型而异颜色框框绘制

DETECTION_COLOR_DICT = {'Car':(255,255,0),'Pedestrian':(0,226,255),'Cyclist':(141,40,255)}#颜色字典
import pandas as pd
import numpy as np
COLUMN_NAMES=['frame', 'track_id', 'type', 'truncated', 'occluded', 'alpha', 'bbox_left', 'bbox_top','bbox_right', 'bbox_bottom', 'height', 'width', 'length', 'pos_x', 'pos_y', 'pos_z', 'rot_y']
df=pd.read_csv('/home/ylh/data/kitti/training/label_02/0000.txt',header=None,sep=' ')
df.columns=COLUMN_NAMES
df.head()

df.loc[df.type.isin(['Truck','Van','Tram']),'type']='Car'#将这三种车子，统一定义为Car
df=df[df.type.isin(['Car','Pedestrian','Cyclist'])]#只是获取数据集中类型为指定的数据，注意car为重定义类型

#box=np.array(df.loc[2,['bbox_left','bbox_top','bbox_right','bbox_bottom']])#把2号资料四个边坐标保存到numpy阵列里面

import cv2

image = cv2.imread('/home/ylh/data/kitti/RawData/2011_09_26/2011_09_26_drive_0005_sync/image_02/data/0000000000.png')#读取图片

boxes = np.array(df[df.frame==0][['bbox_left','bbox_top','bbox_right','bbox_bottom']])#获取第0帧图片中的box们对应的四边坐标
types=np.array(df[df.frame==0]['type'])#读取图片中的种类类型并保存到tpyes数组中

#zip(types,boxes)[0]#两个数组的第一笔资料合并在一起
#for box in boxes:#给每个box绘制图线

for typ,box in zip(types,boxes):#给对应类型每个box绘制对应颜色图线
    top_left=int(box[0]),int(box[1])#box的左上角点，像素为整数，所以需要转换int类型
    bottom_right=int(box[2]),int(box[3])#box的右下角点
    cv2.rectangle(image,top_left,bottom_right,DETECTION_COLOR_DICT[typ],2)#绘制框框，依次指定图片、左上角点、右下角点、根据类型不同给的颜色（bgr）、线粗细
    
cv2.imshow('image',image)#显示框框
cv2.waitKey(0)#避免框框一显示就消失，也就是一直显示
cv2.destroyAllWindows()#结束就销毁所有窗口

效果：

当然，这里统一读取的是0000000000.png图片，如果想看其他图片效果的，可以根据图片资料集，更改路径上图片名称即可，这里不再展示。

2）连续帧图片，多个物体2d侦测框在rviz效果

通过jupyter notebook的预测试，下面将上述的代码移植到下面三个文件中，目的在rviz显示连续帧不同类型不同颜色侦测框显示。

对于读取数据文件，data_utils.py：

#!/usr/bin/env python
# -*- coding:utf8 -*-

import cv2
import numpy as np
import os
import pandas as pd #用于读取imu资料

IMU_COLUMN_NAMES = ['lat','lon','alt','roll','pitch','yaw','vn','ve','vf','vl','vu',
                    'ax','ay','az','af','al','au','wx','wy','wz','wf','wl','wu',
                    'posacc','velacc','navstat','numsats','posmode','velmode','orimode'
                    ]#根据kitti数据集中的名称进行定义的，个人理解是对照c里面的宏定义

TRACKING_COLUMN_NAMES=['frame', 'track_id', 'type', 'truncated', 'occluded', 'alpha', 
                'bbox_left', 'bbox_top','bbox_right', 'bbox_bottom', 'height', 
                'width', 'length', 'pos_x', 'pos_y', 'pos_z', 'rot_y']#tracking数据单位


#读取图片路径函数
def read_camera(path):
    return cv2.imread(path)

#读取点云路径函数
def read_point_cloud(path):
    return np.fromfile(path,dtype=np.float32).reshape(-1,4)

#读取imu资料
def read_imu(path):
    df=pd.read_csv(path,header=None,sep=' ')#读取数据
    df.columns=IMU_COLUMN_NAMES#给数据赋予单位
    return df

#读取trackiing资料
def read_tracking(path):
    df=pd.read_csv(path,header=None,sep=' ')#读取tracking资料
    df.columns=TRACKING_COLUMN_NAMES#给资料数据添加单位
    df.loc[df.type.isin(['Truck','Van','Tram']),'type']='Car'#将这三种车子，统一定义为Car
    df=df[df.type.isin(['Car','Pedestrian','Cyclist'])]#只是获取数据集中类型为指定的数据，注意car为重定义类型
    return df#返回读取的资料

对于发布函数定义文件，publish_utils.py：

#!/usr/bin/env python
# -*- coding:utf8 -*-

import rospy
from std_msgs.msg import Header
from visualization_msgs.msg import Marker,MarkerArray#Marker绘制相机视野指示线模块,MarkerArray解决Marker带来发布的不同步问题
from sensor_msgs.msg import Image,PointCloud2,Imu,NavSatFix
from geometry_msgs.msg import Point#Point来自ros包定义，所以需要定义;若不清楚，则需要到ros官网上面查看具体那个包
import sensor_msgs.point_cloud2 as pcl2
from cv_bridge import CvBridge
import numpy as np
import tf
import cv2

FRAME_ID='map'
DETECTION_COLOR_DICT = {'Car':(255,255,0),'Pedestrian':(0,226,255),'Cyclist':(141,40,255)}#颜色字典

#发布图片函数
def publish_camera(cam_pub,bridge,image,boxes,types):#增加参数boxes、types
    #绘制框框到图片中
    for typ,box in zip(types,boxes):#给对应类型每个box绘制对应颜色图线
        top_left=int(box[0]),int(box[1])#box的左上角点，像素为整数，所以需要转换int类型
        bottom_right=int(box[2]),int(box[3])#box的右下角点
        #绘制框框，依次指定图片、左上角点、右下角点、根据类型不同给的颜色（bgr）、线粗细
        cv2.rectangle(image,top_left,bottom_right,DETECTION_COLOR_DICT[typ],2)
    cam_pub.publish(bridge.cv2_to_imgmsg(image,"bgr8"))

#发布点云函数
def publish_point_cloud(pcl_pub,point_clond):
    header=Header()
    header.stamp=rospy.Time.now()
    header.frame_id=FRAME_ID
    pcl_pub.publish(pcl2.create_cloud_xyz32(header,point_clond[:,:3]))

#发布相机视野以及车子模型marker函数
def publish_ego_car(ego_car_pub):
#publish left and right 45 degree FOV lines and ego car model mesh
    
    marker_array=MarkerArray()#解决marker发布不同步问题

    marker=Marker()
    marker.header.frame_id=FRAME_ID
    marker.header.stamp=rospy.Time.now()

    marker.id=0#每个marker只能有一个id，有重复的id，只会显示一个
    marker.action=Marker.ADD#表示添加marker
    marker.lifetime=rospy.Duration()#lifetime表示marker在画面中显示的时长;Duration()函数，不给任何参数时，表示一直存在
    marker.type=Marker.LINE_STRIP#所发布marker的类型

    #设定指示线颜色
    marker.color.r=0.0
    marker.color.g=1.0
    marker.color.b=0.0
    marker.color.a=1.0#透明度，1表示完全不透明
    marker.scale.x=0.2#大小，这里表示线的粗细

    #根据激光点云的坐标系来定义2号相机的视野范围
    marker.points=[]
    marker.points.append(Point(10,-10,0))#Point,属于ros的资料包里面的定义，所以需要导入
    marker.points.append(Point(0,0,0))
    marker.points.append(Point(10,10,0))

    marker_array.markers.append(marker)#将指示线marker放到MarkerArray中

    #发布车子外形函数
    mesh_marker=Marker()
    mesh_marker.header.frame_id=FRAME_ID
    mesh_marker.header.stamp=rospy.Time.now()

    mesh_marker.id=-1#id只能设置整数，不能设置带有小数的
    mesh_marker.lifetime=rospy.Duration()
    mesh_marker.type=Marker.MESH_RESOURCE#这里的MESH_RESOURCE表示导入的是3d模型
    mesh_marker.mesh_resource="package://kitti_tutorial/Audi R8/Models/Audi R8.dae"#下载的dae模型存在问题，只是显示部分

    #设定模型位置
    mesh_marker.pose.position.x=0.0
    mesh_marker.pose.position.y=0.0
    mesh_marker.pose.position.z=-1.73#这里负数，是因为以激光雷达坐标系而定义的，1.73是根据官方发布的位置定义所取的

    #设计车子模型的旋转量
    q=tf.transformations.quaternion_from_euler(0,0,np.pi/2)#(np.pi/2,0,np.pi)这里根据下载的车子模型进行调整
    mesh_marker.pose.orientation.x=q[0]
    mesh_marker.pose.orientation.y=q[1]
    mesh_marker.pose.orientation.z=q[2]
    mesh_marker.pose.orientation.w=q[3]

    #设置车子模型的颜色
    mesh_marker.color.r=1.0
    mesh_marker.color.g=1.0
    mesh_marker.color.b=1.0
    mesh_marker.color.a=1.0

    #设置车子模型的大小
    mesh_marker.scale.x=0.6
    mesh_marker.scale.y=0.6
    mesh_marker.scale.z=0.6

    marker_array.markers.append(mesh_marker)#将车子marker放到MarkerArray中

    ego_car_pub.publish(marker_array)

#发布imu资料函数
def publish_imu(imu_pub,imu_data):
    imu=Imu()#ros,imu 进行google可以查看文档说明
    imu.header.frame_id=FRAME_ID
    imu.header.stamp=rospy.Time.now()

    #旋转角度、加速度，角速度
    q=tf.transformations.quaternion_from_euler(float(imu_data.roll),float(imu_data.pitch),float(imu_data.yaw))#(np.pi/2,0,np.pi)这里根据下载的车子模型进行调整
    imu.orientation.x=q[0]#以下四个表示旋转角，将读取的数据转为四元数表示
    imu.orientation.y=q[1]
    imu.orientation.z=q[2]
    imu.orientation.w=q[3]
    imu.linear_acceleration.x=imu_data.af#根据雷达坐标系，确定x方向线性加速度
    imu.linear_acceleration.y=imu_data.al#根据雷达坐标系，确定y方向线性加速度
    imu.linear_acceleration.z=imu_data.au#根据雷达坐标系，确定z方向线性加速度
    imu.angular_velocity.x=imu_data.wf#这三个表示不同方向的角速度
    imu.angular_velocity.y=imu_data.wl
    imu.angular_velocity.z=imu_data.wu

    imu_pub.publish(imu)

#发布gps资料函数
def publish_gps(gps_pub,imu_data):
    gps=NavSatFix()#ros里面对于gps资料识别包
    gps.header.frame_id=FRAME_ID
    gps.header.stamp=rospy.Time.now()

    gps.latitude=imu_data.lat#纬度
    gps.longitude=imu_data.lon#经度
    gps.altitude=imu_data.alt#海拔

    gps_pub.publish(gps)

对于执行文件，p11_kitti.py：

#!/usr/bin/env python
# -*- coding:utf8 -*-

from data_utils import *
from publish_utils import *

DATA_PATH='/home/ylh/data/kitti/RawData/2011_09_26/2011_09_26_drive_0005_sync'

if __name__=='__main__':
    frame = 0
    rospy.init_node('kitti_node',anonymous=True)
    cam_pub=rospy.Publisher('kitti_cam',Image,queue_size=10)#建立发布图片topic
    pcl_pub=rospy.Publisher('kitti_point_cloud',PointCloud2,queue_size=10)#建立发布点云topic
    #ego_pub=rospy.Publisher('kitti_ego_car',Marker,queue_size=10)#建立发布指示线marker的topic
    ego_pub=rospy.Publisher('kitti_ego_car',MarkerArray,queue_size=10)#MarkerArray方式发布
    #model_pub=rospy.Publisher('kitti_car_model',Marker,queue_size=10)#建立发布车子模型的marker的topic
    imu_pub=rospy.Publisher('kitti_imu',Imu,queue_size=10)#建立发布imu资料的topic
    gps_pub=rospy.Publisher('kitti_gps',NavSatFix,queue_size=10)#建立发布gps资料的topic，NavSatFix,ros里面固定卫星侦测

    bridge=CvBridge()

    rate=rospy.Rate(10)

    #读取tracking资料
    df_tracking=read_tracking('/home/ylh/data/kitti/training/label_02/0000.txt')


    while not rospy.is_shutdown():
        #将tracking资料的绘制框框所需资料筛选并处理
        boxes = np.array(df_tracking[df_tracking.frame==frame][['bbox_left','bbox_top','bbox_right','bbox_bottom']])#获取tracking资料第frame帧图片中的box们对应的四边坐标
        types=np.array(df_tracking[df_tracking.frame==frame]['type'])#读取tracking资料第frame帧图片中的物体种类类型并保存到tpyes数组中
        #读取图片
        image=read_camera(os.path.join(DATA_PATH,'image_02/data/%010d.png'%frame))
        
        #发布图片
        #publish_camera(cam_pub,bridge,image)
        publish_camera(cam_pub,bridge,image,boxes,types)#增加参数boxes,types，为了给图片指定类型绘制框框     
        
        #读取点云
        point_clond=read_point_cloud(os.path.join(DATA_PATH,'velodyne_points/data/%010d.bin'%frame))

        #发布点云
        publish_point_cloud(pcl_pub,point_clond)

        #发布指示线marker;由于不需要读取资料，所以直接发布即可
        #当采用markerarray发布方式，则车子和指示线都放在这个topic
        #进行发布即可。故下面的发布车子模型marker可以删除。这样子，可以解决不同marker发布不同步问题
        publish_ego_car(ego_pub)

        #发布车子模型marker;由于不需要读取资料，所以直接发布即可
        #publish_car_model(model_pub)

        #读取imu资料，这里也包含了gps资料了
        imu_data=read_imu(os.path.join(DATA_PATH,'oxts/data/%010d.txt'%frame))

        #发布imu资料
        publish_imu(imu_pub,imu_data)

        #发布gps资料
        publish_gps(gps_pub,imu_data)
        
        #发布
        rospy.loginfo("published")
        rate.sleep()
        frame+=1
        frame%=154

2、效果展示

包创建、源文件保存位置，运行编译，rviz添加新topic，这里不再罗嗦了，有不了解的，可以参考这系列之前博客内容。

那么，启动rviz，可以发现，播放视频里面，有了连续的2d侦测框框，而且，根据物体类型不同，框框显示不同颜色。具体效果如图中左下方。

3、一些想法

1）文件编写时候，一定要注意文件路径的编写正确性，个人建议终端使用pwd指令获取最有保障。

2）在读取tracking资料时候，发现只是读取traning文件夹里面的0000.txt，个人感觉这是因为这一个文件已经包含绘制框框所需要的全部信息了，觉得后面有时间可以查一下或者测试一下。

至此，kitti数据集中图片资料，根据不同类型绘制不同颜色侦测框，发布到ros中，在rviz显示任务完成～

#####################
学习课程来源up主，AI葵：
https://www.youtube.com/watch?v=TBdcwwr5Wyk

致谢AI葵老师
不积硅步，无以至千里
好记性不如烂笔头
感觉有点收获的话，麻烦大大们点赞收藏哈