视频标注软件Darklabel用法指南

前言：这是一个轻量的视频标注软件，相比于ViTBAT等软件而言，不需要安装就可以使用。但是由于是一个韩国人开发的，所以相关的说明不太够，所以这里进行一个darklabel软件的使用指南。之后会在这个视频标注的基础上进行一些脚本的编制，有利于ReID数据集、目标检测数据集和MOT数据集的快速构建

1. 官方相关说明

它是一个实用程序，可以沿着视频（avi，mpg）或图像列表中对象的矩形边界框以各种格式标记和保存。 该程序可用于创建用于对象识别或图像跟踪目的的数据库。最大的功能是快速响应，便捷的界面以及减少工作量的便捷 功能（自动跟踪，使用插值进行标记，自动ID标记）。 任何人都可以将其用于非商业目的，如果您有任何问题或建议，请在评论中让我知道。最初是为我自己创建的，最近我 花了些时间来改进该程序（ver1.3）。我们已经改进了难以看清的细微之处，但是改善了程序的质量，执行的稳定性 和未知性。

软件示意：

工具栏在左侧：

2. 主要功能和特点

• 支持各种格式的视频（avi，mpg等）和图像列表（jpg，bmp，png等）

• 多框设置和标签设置支持

• 支持对象识别和图像跟踪中使用的各种数据格式

• 使用图像跟踪器自动标记（通过跟踪标记）

• 支持使用插值功能的间隔标签

• 自动标记功能，可按类别自动为每个对象分配唯一的ID

3. 主要用法

3.1 鼠标/键盘界面（Shift / Ctrl = Shift或Ctrl）

• 鼠标拖动：创建一个框
• Shift / Ctrl +拖动：编辑框
• 双击：选择/取消相同ID对象的轨迹
• 右键单击：删除所有选定的对象轨迹（删除部分）
• 右键单击：删除最近创建的框（如果未选择任何轨迹）
• Shift / Ctrl +右键单击（特定框）：仅删除所选框
• Shift / Ctrl +右键单击（空）：删除当前屏幕上的所有框
• Shift / Ctrl +双击（特定框）：修改所选框的标签
• Shift / Ctrl +双击（轨迹）：在所选轨迹上批量更改标签
• 箭头键/ PgUp / PgDn / Home / End：移动视频帧（图像）
• Enter键：使用图像跟踪功能自动生成框（通过跟踪进行标记）

3.2 指定标签和ID

• 无标签：创建未标签的框
• 框标签：用户指定的标签（例如，人类）
• box标签+自动编号：自动编号自定义标签（例如human0，human1等）
• 如果指定了id，则可以选择/编辑轨迹单位对象
• popuplabeleditor：注册标签列表窗口的弹出窗口（已在labels.txt文件中注册）
• 如果在弹出窗口中按快捷键（1〜9），则会自动输入标签。
• Label + id显示在屏幕上，但在内部，标签和ID分开。
• 当另存为gt数据时，选择仅标签格式以保存可见标签（标签+ id）
• 另存为gt数据时，如果选择了标签和ID分类格式，则标签和ID将分开保存。

3.3 追踪功能

• 通过使用图像跟踪功能设置下一帧的框（分配相同的ID /标签）
• 多达100个同时跟踪
• tracker1（稳健）算法：长时间跟踪目标
• tracker2（准确）算法：准确跟踪目标（例如汽车）
• 输入键/下一步和预测按钮
• 注意！使用跟踪时，下一帧上的原始框消失

建议使用tracker2，效果很好，几乎不用人工调整

3.4 插值功能

• 跟踪功能方便，但问题不准确
• 在视频部分按对象标记时使用
  • 开始插补按钮：开始插补功能
  • 在目标对象的轨迹的一半处绘制一个方框（航路点的种类）
  • 航路点框为紫色，插值框为黑色。
  • 更正插值错误的部分（Shift / Ctrl +拖动），添加任意数量的航路点（不考虑顺序）/删除
  • 结束插补按钮：将工作结束和工作轨迹注册为数据

3.5 导入视频/视频并在帧之间移动

• 打开视频文件：打开视频文件（avi，mpg，mp4，wmv，mov，…）
• 打开图像目录：打开文件夹中的所有图像（jpg，bmp，png等）
• 在视频帧之间移动：键盘→，←，PgUp，PgDn，Home，End，滑块控制

3.6 保存并调出作业数据

• 加载GT：以所选格式加载地面真相文件。
• 保存GT：以所选数据格式保存到目前为止已获得的结果。
• 导入数据时，需要选择与实际数据文件匹配的格式，但是在保存数据时，可以将其保存为所需的任何格式。
• 在图像列表中工作时，使用帧号（frame＃）格式，按文件名排序时的图像顺序将变为帧号（对于诸如00000.jpg，00002.jpg等的列表很有用）
• 保存设置：保存当前选择的数据格式和选项（运行程序时自动还原）

3.7 数据格式（语法）

• |：换行
• []：重复短语
• frame＃：帧号（视频的帧号，图像列表中的图像顺序）
• iname：图像文件名（仅在使用图像列表时有效）
• 标签：标签
• id：对象的唯一ID
• n：在图像上设置的边界矩形的数量
• x，y：边界矩形的左侧和顶部位置
• w，h：边界矩形的宽度和高度
• cx，cy：边界矩形的中心坐标
• x1，y1，x2，y2：边界矩形的左上，右下位置

4. 举栗子

视频演示：https://www.youtube.com/watch?v=vbydG78Al8s&t=11s

1. 选择open video file，选择一个视频打开，最好不要太长

2. 左右拖动一下滑块，看一下准备标注的对象

3. 如果标注视频选择左侧工具栏中第三行，下拉找到frame开头的内容比如：frame#, n, [id, x1,y1,x2,y2,label],意思是左上角坐标和右下角坐标。

   

4. 然后右侧框中进行画框，然后可以采用以下几种方法继续标注

   • 画框以后，长按Enter键，就会采用Tracker2中的模式进行预测，效果不多
   • 先点击begin interpolation按钮，然后画框，然后按左右键对视频帧进行移动，然后再画一个关键框，完成后点击End interpolation按钮结束（这种模式可以进行通过插值进行预测中间帧）

5. 最后选择合适的标注模型，点击Save GT，保存为txt文件

5. ffmpeg切割视频

ffmpeg  -i C:/plutopr.mp4 -acodec copy 
		-vf scale=1280:720
		-ss 00:00:10 -t 15 C:/cutout1.mp4 -y

1. -ss time_off set the start time offset 设置从视频的哪个时间点开始截取，上文从视频的第10s开始截取
2. -to 截到视频的哪个时间点结束。上文到视频的第15s结束。截出的视频共5s.如果用-t 表示截取多长的时间如 上文-to 换位-t则是截取从视频的第10s开始，截取15s时长的视频。即截出来的视频共15s.
3. -vcodec copy表示使用跟原视频一样的视频编解码器。
4. -acodec copy表示使用跟原视频一样的音频编解码器。
5. -i 表示源视频文件
6. -y 表示如果输出文件已存在则覆盖。
7. -vf 设置视频分辨率

6. 软件下载

在公众号GiantPandaCV后台回复关键字“darklabel”
文件名：DarkLabel1.3_part1.zip

7. ReID数据集配置代码

import os
import shutil
import cv2

def preprocessVideo(video_path):
    if not os.path.exists(video_frame_save_path):
        os.mkdir(video_frame_save_path)

    vidcap = cv2.VideoCapture(video_path)
    (cap, frame) = vidcap.read()

    height = frame.shape[0]
    width = frame.shape[1]

    cnt_frame = 0

    while (cap):
        cv2.imwrite(
            os.path.join(video_frame_save_path, "frame_%d.jpg" % (cnt_frame)),
            frame)
        cnt_frame += 1
        (cap, frame) = vidcap.read()
    vidcap.release()
    return width, height


def postprocess(video_frame_save_path):
    if os.path.exists(video_frame_save_path):
        shutil.rmtree(video_frame_save_path)


def extractVideoImgs(frame, video_frame_save_path, coords):
    x1, y1, x2, y2 = coords
    # get image from save path
    img = cv2.imread(
        os.path.join(video_frame_save_path, "frame_%d.jpg" % (frame)))
    # crop
    save_img = img[y1:y2, x1:x2]
    return save_img


if __name__ == "__main__":
    for num in range(1, 34):
        txt_path = r"C:\Users\pprp\Videos\face_%d_gt.txt" % (num)
        video_path = r"C:\Users\pprp\Videos\face_%d.mp4" % (num)
        reid_dst_path = r"C:\Users\pprp\Videos\reid"

        if not os.path.exists(txt_path):
            continue

        video_name = os.path.basename(video_path).split('.')[0]
        video_frame_save_path = os.path.join(os.path.dirname(video_path),
                                             video_name)

        f_txt = open(txt_path, "r")

        width, height = preprocessVideo(video_path)

        for line in f_txt.readlines():
            bboxes = line.split(',')
            # print(len(bboxes))
            ids = []
            frame_id = int(bboxes[0])
            num_object = int(bboxes[1])
            for num_obj in range(num_object):
                # obj = 0, 1, 2
                obj_id = bboxes[1 + (num_obj) * 6 + 1]
                obj_x1 = int(bboxes[1 + (num_obj) * 6 + 2])
                obj_y1 = int(bboxes[1 + (num_obj) * 6 + 3])
                obj_x2 = int(bboxes[1 + (num_obj) * 6 + 4])
                obj_y2 = int(bboxes[1 + (num_obj) * 6 + 5])
                # process coord
                obj_x1 = max(1, obj_x1)
                obj_y1 = max(1, obj_y1)
                obj_x2 = min(width - 1, obj_x2)
                obj_y2 = min(width - 1, obj_y2)

                print("%s:%d-%d-%d-%d" %
                      (obj_id, obj_x1, obj_y1, obj_x2, obj_y2))

                # mkdir for reid dataset
                id_dir = os.path.join(reid_dst_path,
                                      video_name + "_id_" + obj_id)
                if not os.path.exists(id_dir):
                    os.mkdir(id_dir)

                # save pic
                img = extractVideoImgs(frame_id, video_frame_save_path,
                                       (obj_x1, obj_y1, obj_x2, obj_y2))
                cv2.imwrite(
                    os.path.join(id_dir, "filename_%s_frame_%d.jpg") %
                    (video_name, frame_id), img)

        f_txt.close()
        postprocess(video_frame_save_path)

主要需要修改：

txt_path = r"C:\Users\pprp\Videos\face_%d_gt.txt" % (num)
video_path = r"C:\Users\pprp\Videos\face_%d.mp4" % (num)
reid_dst_path = r"C:\Users\pprp\Videos\reid"

运行即可在reid_dst_path下找到对应的数据集。

如果遇到图片需要旋转的问题，可以采用如下代码：

import os
import cv2
import numpy as np

dirlist = ['face_%d_id_0' % i for i in range(8,9) ] #  ['face_8_id_0']

rootdir = r"C:\Users\pprp\Videos\reid"

for item in dirlist:
    new_dir = os.path.join(rootdir, item)
    for jpg_name in os.listdir(new_dir):
        print(jpg_name)
        jpg_path = os.path.join(new_dir, jpg_name)
        img = cv2.imread(jpg_path)
        img = np.rot90(img)
        cv2.imwrite(jpg_path,img)