【nv12 格式转换】不同图像数据格式之间转换代码实操

文章目录

  • 1 问题先行
  • 2 nv12介绍
    • 2.1 YUV格式
    • 2.2 NV12排布
  • 3 不同数据格式之间转换实操
  • 4 参考链接

1 问题先行

  1. nv12是什么格式?和常见的rgb/bgr有什么关系吗?他们之间能互相转换吗?
  2. 如何读取一张图片,然后把图片转换成nv12格式?有代码嘛?
  3. 部署时,为何要用nv12数据格式作为输入?rgb不行吗?

2 nv12介绍

2.1 YUV格式

YUV格式主要用于优化彩色视频信号的传输。
YUV分为三个分量:Y表示明亮度,也就是灰度值;U和V表示色度,用于描述影像色彩及饱和度,指定像素的颜色。

2.2 NV12排布

NV12图像格式属于YUV颜色空间中的YUV420SP格式,每四个Y分量共用一组U分量和V分量,Y连续排序,U与V交叉排序。

排列方式如下:
【nv12 格式转换】不同图像数据格式之间转换代码实操_第1张图片

3 不同数据格式之间转换实操

读取一张图片,从bgr转成nv12,再从nv12转成yuv44,具体内容看看代码和输出即可。

import cv2 
import numpy as np 
from PIL import Image 

# -------------------------------------------------------#
# 注意: image.shape = (h, w, c)
# nv12数据与YUV_I420的uv分量排列方式不同,具体可参考本文第2章节描述
# -------------------------------------------------------#
def bgr2nv12(image): 
    image = image.astype(np.uint8) 
    height, width = image.shape[0], image.shape[1] 
    yuv420p = cv2.cvtColor(image, cv2.COLOR_BGR2YUV_I420).reshape((height * width * 3 // 2, )) 
    y = yuv420p[:height * width] 
    uv_planar = yuv420p[height * width:].reshape((2, height * width // 4)) 
    uv_packed = uv_planar.transpose((1, 0)).reshape((height * width // 2, )) 
    nv12 = np.zeros_like(yuv420p) 
    nv12[:height * width] = y 
    nv12[height * width:] = uv_packed 
    return nv12

# nv12转yuv444
def nv12Toyuv444(nv12, target_size):
    height = target_size[0] 
    width = target_size[1] 
    nv12_data = nv12.flatten() 
    yuv444 = np.empty([height, width, 3], dtype=np.uint8) 
    yuv444[:, :, 0] = nv12_data[:width * height].reshape(height, width) 
    u = nv12_data[width * height::2].reshape(height // 2, width // 2) 
    yuv444[:, :, 1] = Image.fromarray(u).resize((width, height),resample=0) 
    v = nv12_data[width * height + 1::2].reshape(height // 2, width // 2) 
    yuv444[:, :, 2] = Image.fromarray(v).resize((width, height),resample=0) 
    return yuv444


if __name__=='__main__': 
    img = cv2.imread("./zebra_cls.jpg")     # bgr  hwc
    print("cv2读图shape:", img.shape)

    # 直接resize,其它缩放图片方式个性化使用 
    img = cv2.resize(img,(672,672))         # bgr  hwc
    print("resize后的图片shape:", img.shape)

    # 将bgr的数据格式转换成nv12的数据格式
    # 注意上方转换函数写的时候,输入img需要是(h, w, c)的layout排布
    nv12 = bgr2nv12(img)
    # 677376=672x672x3/2,这儿为什么除以2,参考本文第1章理解理解~
    print("nv12的shape:", nv12.shape)
    
    # 将nv12的数据保存下来供给模型,作为真实输入
    nv12.tofile("nv12_input_data.bin")
    
    # nv12转yuv444
    img = nv12Toyuv444(nv12, (672,672))
    print("yuv444的shape:", img.shape)

    # 变换数据排布layout
    img = img.transpose(2,0,1) 
    print("yuv444 transpose之后的shape:", img.shape)

    # 增加一个N维度
    img = img[np.newaxis,:,:,:] 
    print("增加一个N维度的shape:",img.shape)

输出

cv2读图shape: (376, 376, 3)
resize后的图片shape: (672, 672, 3)
nv12的shape: (677376,)# 677376=672x672x3/2,为什么除以2,参考本文第2章理解理解~
yuv444的shape: (672, 672, 3)
yuv444 transpose之后的shape: (3, 672, 672)
增加一个N维度的shape: (1, 3, 672, 672)

:部分代码有参考地平线OE包中的内容。

之所以用nv12作为部署时的数据输入,是因为其数据量是rgb/bgr等格式的一半,可以减少模型load输入数据的时间。

如果您觉得这篇文章对您有用,欢迎给点个赞,谢谢~

4 参考链接

1. https://developer.horizon.ai/forumDetail/118364000835765839

你可能感兴趣的:(深度学习基础知识,地平线开发板相关,nv12,yuv,不同数据格式转换,代码实操)