RockChip3568 MPP硬解码和gstreamer1.0编译

MPP视频硬件解码编译

一、配置rock sdk的环境

当前使用的rockchip 给的rk3568的sdk包，版本不详，应该比较新。
编译前配置环境：

source  envsetup.sh
选择rk3568配置 （67 rockchip_rk3568）

注意：

每次在skd目录进行make编译时，都要运行source envsetup.sh。它配置了一些环境变量。

特别注意：

当选则是否使用默认配置覆盖当前配置时，选则n。不进行覆盖。快点操作，否则系统直接覆盖。

二、配置buildroot的编译选项

buildroot是一个开源的编译套件，rockchip的sdk发布借助了buildroot这个编译套件，来进行包的管理和编译。细节参考buildroot说明文档。

2.1 进入buildroot配置页面

cd buildroot
make menuconfig
    该命令用来配置buildroot编译的全过程。基础配置有编译工具链，编译基础库的版本（libc等），选中编译哪些包。

2.2 添加2.28 版本的libc库

因为我们开发板后台使用的libc2.28的环境，为了让gstreamer运行起来。所有我们要编译libc2.28的libc库。奈何现在的buildroot没有支持2.28。那我们就手动添加一个2.28的libc库。
buildroot libc连接http://sources.buildroot.net/glibc/glibc-glibc-2.28-50-gb8dd0f42780a3133c02f064a2c0c5c4e7ab61aaa.tar.gz

修改如下文件：
buildroot/package/glibc/Config.in
buildroot/package/glibc/glibc.hash
buildroot/package/glibc/glibc.mk

patch 如下：

    diff --git a/package/glibc/Config.in b/package/glibc/Config.in
    index 1fcf30a5..c9810073 100644
    --- a/package/glibc/Config.in
    +++ b/package/glibc/Config.in
    @@ -20,6 +20,10 @@ config BR2_PACKAGE_GLIBC_LATEST
     config BR2_PACKAGE_GLIBC_2_29
             bool "glibc 2.29"
     
    +
    +config BR2_PACKAGE_GLIBC_2_28
    +        bool "glibc 2.28"
    +
     endchoice
     
     config BR2_PACKAGE_GLIBC_KERNEL_COMPAT
    diff --git a/package/glibc/glibc.hash b/package/glibc/glibc.hash
    index e0bbf341..b476e7c9 100644
    --- a/package/glibc/glibc.hash
    +++ b/package/glibc/glibc.hash
    @@ -1,5 +1,6 @@
     # Locally calculated (fetched from Github)
     sha256  fc3c1d25640fd4cd09fbf7e17eafcc7943731e901cc0a3686503ae8adfb11d31  glibc-2.35-96-g2c4fc8e5ca742c6a3a1933799495bb0b00a807f0.tar.gz
    +sha256  b070f746f932cfce107bb9be2d59ded5b44b25ddafb480c9110c52b88cc2dec1  glibc-glibc-2.28-50-gb8dd0f42780a3133c02f064a2c0c5c4e7ab61aaa.tar.gz
     
     # Hashes for license files
     sha256  8177f97513213526df2cf6184d8ff986c675afb514d4e68a404010521b880643  COPYING
    diff --git a/package/glibc/glibc.mk b/package/glibc/glibc.mk
    index d43de7d4..e1afe762 100644
    --- a/package/glibc/glibc.mk
    +++ b/package/glibc/glibc.mk
    @@ -10,8 +10,12 @@
     ifeq ($(BR2_PACKAGE_GLIBC_2_29),y)
     GLIBC_VERSION = 2.29-11-ge28ad442e73b00ae2047d89c8cc7f9b2a0de5436
     else
    +ifeq ($(BR2_PACKAGE_GLIBC_2_28),y)
    +GLIBC_VERSION = 2.28-50-gb8dd0f42780a3133c02f064a2c0c5c4e7ab61aaa
    +else
     GLIBC_VERSION = 2.35-96-g2c4fc8e5ca742c6a3a1933799495bb0b00a807f0
     endif
    +endif
     # Upstream doesn't officially provide an https download link.
     # There is one (https://sourceware.org/git/glibc.git) but it's not reliable,
     # sometimes the connection times out. So use an unofficial github mirror.

2.3 选中需要编译的包

选中glibc 2.28版 （经过2.2操作后才有2.28选项）

    Toolchain  --->
    glibc version (glibc 2.28)

选中（在配置页面使用搜索下面关键词，可快速进入）
BR2_PACKAGE_RKMEDIA
BR2_PACKAGE_RKMEDIA_MPP
BR2_PACKAGE_RKMEDIA_MPP_ENCODER
BR2_PACKAGE_RKMEDIA_MPP_DECODER
BR2_PACKAGE_RKMEDIA_RKRGA
BR2_PACKAGE_RKMEDIA_RKNN

Target packages  --->
    [*] Rockchip BSP packages  ---> 
    -> Rockchip BSP packages (BR2_PACKAGE_ROCKCHIP [=y])
        [*]   rkmedia  ---> 
        [*]   rk mpp wrapper                               
        [*]     rk mpp encoder                             
        [*]     rk mpp decoder                             
        [ ]   audio capture and playback                   
        [ ]   audio encoder and decoder                    
        [*]   rkrga                                        
        [*]   rknn  

选中

BR2_PACKAGE_GSTREAMER1 版本选中 gstreamer-1.20
BR2_PACKAGE_GST1_PLUGINS_BASE
BR2_PACKAGE_GST1_PLUGINS_GOOD
BR2_PACKAGE_GST1_PLUGINS_BAD
BR2_PACKAGE_GST1_PLUGINS_UGLY

Target packages  --->
    Audio and video applications  --->
        [*] gstreamer 1.x                                                       
            Gstreamer version (gstreamer-1.20)  --->                      
            [ ]   enable unit test libraries                                    
            [*]   enable command-line parser                                    
            [*]   enable tracing subsystem                                      
                    [*]   enable gst-debug trace support                                
                    [*]   enable plugin registry                                        
                    [*]   install tools                                                 
                    -*-   gst1-plugins-base  --->                                       
                    [*]   gst1-plugins-good  --->                                       
                    [*]   gst1-plugins-bad  --->                                        
                    [*]   gst1-plugins-ugly  --->                                       

三、编译

3.1 buildroot编译MPP目标

在第一次编译，或者切换工具链，glibc 等重要系统库时进行一下清理工作 make clean。make clean将会把编译好的工具链，host工具，libc等基础系统库统统删掉，把编译路径都删掉，配置还在。
在rockchip sdk 顶层目录下，进行

   make gstreamer1 -j8
    make rockchip-mpp -j8
    make rockchip-rga -j8
    make gstreamer1-rockchip -j8

    make gst1-plugins-base  -j8
    make gst1-plugins-good   -j8
    make gst1-plugins-bad    -j8
    make gst1-plugins-ugly   -j8

重新编译

    make gstreamer1-rebuild -j8
    make rockchip-mpp-rebuild -j8
    make gstreamer1-rockchip-rebuild -j8

    make gst1-plugins-base-rebuild  -j8
    make gst1-plugins-good-rebuild   -j8
    make gst1-plugins-bad-rebuild   -j8
    make gst1-plugins-ugly-rebuild   -j8

3.2 编译开源的库gstreamer-rgaconvert

这个是gstreamer的一个插件，该插件会使用rock chip 的rga 进行二维图像操作或OSD，本来应该放置在buildroot下，但时间有限和我们整体不使用buildroot进行固件构建，暂时就手动编译。
下载地址：https://github.com/higithubhi/gstreamer-rgaconvert
编译脚本内容如下：

#just for fast test

set -x

export TMP_STAGING=/xx/your_sdk_root/buildroot/output/rockchip_rk3568/staging
/xx/your_sdk_root/buildroot/output/rockchip_rk3568/host/bin/aarch64-linux-gcc -fPIC -shared  plugins/gstrgaconvert.c -o librgaconvert.so -I plugins/  -lrga   -lgstallocators-1.0  -lgstreamer-1.0 -lglib-2.0 -lgobject-2.0 -lgstbase-1.0 -lgstvideo-1.0 -lgstaudio-1.0 --sysroot=$TMP_STAGING -I $TMP_STAGING/usr/include/gstreamer-1.0 -I $TMP_STAGING/usr/include/glib-2.0/ -I $TMP_STAGING/usr/lib/glib-2.0/include/
unset TMP_STAGING

四、更新到目标环境

##4.1 跟新说明
如何快速将对应库拷贝到目标板上，使用find 在target目录（与开发板/目录对齐） 然后进行压缩。后来我发现太多库了，直接将buildroot的target目录下urs/lib和usr/bin进行压缩。
由于依赖库太多和依赖库使用的系统库版本要求不一，直接将usr/lib usr/bin 全部进行压缩成tar包，然后直接解压到目标环境。

cd /xx/your_sdk_root/buildroot/output/rockchip_rk3568/target
tar -cvf build_root_mpp.tar usr/bin/ usr/lib lib/libudev.* 

将生成的build_root_mpp.tar 包拷贝到目标板。然后进行环境检测，需要将之前的对应gstream，rockchip，gst等库进行删除。然后进行解压，直接解压到根目录中，命令如下。

tar -xvf build_root_mpp.tar  -C /

4.2 报错原因与解决

如果报错，符号找不到，最大可能是相同系统库，在目标环境存在两份。目前使用旧的那一份动态库。
解决办法）

1）可以删除旧的相同库。

2）可以使用export LD_LIBRARY_PATH=/new/library/path:/old/library/path
LD_LIBRARY_PATH的优先级高于默认的动态库路径（如/usr/lib）

样例：

【报错1】 运行如果包这个错，就查看一下这个库是否重复了

(gst-launch-1.0:6532): GStreamer-WARNING **: 14:59:35.512: Failed to load plugin '/usr/lib/gstreamer-1.0/libgstcamerabin.so':
 /usr/lib/librga.so.2: symbol _ZNSt7__cxx1119basic_ostringstreamIcSt11char_traitsIcESaIcEEC1Ev version GLIBCXX_3.4.26 
 not defined in file libstdc++.so.6 with link time reference
 
(gst-launch-1.0:6532): GStreamer-WARNING **: 14:59:35.513: Failed to load plugin 
'/usr/lib/gstreamer-1.0/libgstencoding.so': /usr/lib/librga.so.2: symbol _ZNSt7__cxx1119basic_ostringstreamIcSt11char_traitsIcESaIcEEC1Ev 
version GLIBCXX_3.4.26 not defined in file libstdc++.so.6 with link time reference

查了一下果然重复了，删掉/lib/libstdc++.* 
[root@edge:/]# find / -name "libstdc++*"
/lib/libstdc++.so.6
/lib/libstdc++.so.6.0.25
/lib/libstdc++.so
/usr/lib/libstdc++.so.6.0.28
/usr/lib/libstdc++.so.6
/usr/lib/libstdc++.so
/usr/lib/libstdc++.so.6.0.28-gdb.py

【报错2】

(gst-launch-1.0:11221): GStreamer-WARNING **: 15:12:32.473: Failed to load plugin 
'/usr/lib/gstreamer-1.0/libgstvideo4linux2.so': libudev.so.1: cannot open shared object file:
 No such file or directory


编译环境
target$ find ./ -name "libudev*"
./usr/lib/pkgconfig/libudev.pc
./usr/lib/libudev.so
./usr/lib/libudev.la
./usr/include/libudev.h
./lib/libudev.so.1
./lib/libudev.so.1.6.3

设备环境
/usr/lib/libudev.so.0
/usr/lib/libudev.so
/usr/lib/libudev.so.0.13.1

需要将/usr/lib/libudev.so.0 /usr/lib/libudev.so.0.13.1删除。把打包环境下的 ./lib/libudev.so.1 ./lib/libudev.so.1.6.3拷贝到/lib路径
rm /usr/lib/libudev.so.0 /usr/lib/libudev.so.0.13.1
我们已经将这几个文件追加到build_root_mppp.tar中，但是要执行删除操作。

4.3 总结

重点重点重点重点重点重点重点重点重点 :

注意注意注意注意注意注意注意注意注意 ：

buildroot target的目录虽然和busybox的目录很像，但不是根文件系统的目录结构。 所以上述跟新方法仅供快速调试使用。在制作根文件系统时，需要进行拷贝调整，裁剪。
最终操作总结

cd /xx/your_sdk_root/buildroot/output/rockchip_rk3568/target
tar -cvf build_root_mpp.tar usr/bin/ usr/lib lib/libudev.* 

将生成的build_root_mpp.tar 包拷贝到目标板。

tar -xvf build_root_mpp.tar  -C /
rm /usr/lib/libudev.so.0  /usr/lib/libudev.so.0.13.1
rm /lib/libstdc++.*

五、 调试与测试

5.1 如何打开MPP库日志

我简单编译了一下mpp，发现日志打印使用的是 vsyslog 打印的，我们环境syslog未运行，所以看不到。可以替换成普通打印vfprintf(stdout, line, list)即可。mpp_set_log_level(MPP_LOG_VERBOSE);用来设置日志打印最低等级。

5.2 测试mpp代码

测试mpp库

mpi_dec_test -i 128x128.264  -t 7 -n 10 -o out.yuv
mpi_dec_test: /lib/libstdc++.so.6: no version information available (required by /usr/lib/librockchip_mpp.so.1)
mpi_dec_test: /lib/libstdc++.so.6: no version information available (required by /usr/lib/librockchip_mpp.so.1)
mpi_dec_test: /lib/libstdc++.so.6: no version information available (required by /usr/lib/librockchip_mpp.so.1)
mpi_dec_utils: input file 128x128.264 size 174416
mpi_dec_utils: cmd parse result:
mpi_dec_utils: input  file name: 128x128.264
mpi_dec_utils: output file name: out.yuv
mpi_dec_utils: width      :    0
mpi_dec_utils: height     :    0
mpi_dec_utils: type       :    7
mpi_dec_utils: max frames :   10
mpi_dec_test: mpi_dec_test start
mpp_info: mpp version: 188dfb5d author: Herman Chen   2022-06-17 [mpp_enc]: Add intra flag on slice output mode
mpi_dec_test: 0x1f64f480 mpi_dec_test decoder test start w 0 h 0 type 7
mpi_dec_test: 0x1f64f480 decode_get_frame get info changed found
mpi_dec_test: 0x1f64f480 decoder require buffer w:h [128:128] stride [128:128] buf_size 32768
mpi_dec_test: 0x1f64f480 decode get frame 0
mpi_dec_test: 0x1f64f480 decode get frame 1
mpi_dec_test: 0x1f64f480 decode get frame 2
mpi_dec_test: 0x1f64f480 decode get frame 3
mpi_dec_test: 0x1f64f480 decode get frame 4
mpi_dec_test: 0x1f64f480 decode get frame 5
mpi_dec_test: 0x1f64f480 decode get frame 6
mpi_dec_test: 0x1f64f480 decode get frame 7
mpi_dec_test: 0x1f64f480 decode get frame 8
mpi_dec_test: 0x1f64f480 decode get frame 9
mpi_dec_test: decode 10 frames time 12 ms delay   7 ms fps 817.53
mpi_dec_test: test success max memory 0.22 MB

这里有打印输出的原因就是我修改打印将vsyslog 修改成了vfprintf打印。

5.3 测试gstreamer1

测试gstreamer1.0，运行不报错，说明移植基本成功了。

gst-launch-1.0 rtspsrc location="rtsp://admin:[email protected]:554/cam/realmonitor?channel=1&subtype=0" latency=0 ! rtph264depay ! h264parse ! mppvideodec ! rgaconvert ! video/x-raw,format=BGR,width=640,height=640 ! fakesink sync=false
gst-launch-1.0 rtspsrc location="rtsp://admin:[email protected]:554/cam/realmonitor?channel=1&subtype=0" latency=0 ! rtph264depay ! h264parse ! mppvideodec  ! fakesink sync=false

gst-launch-1.0 rtspsrc location="rtsp://admin:[email protected]:554/cam/realmonitor?channel=1&subtype=0" ! rtph264depay ! h264parse ! mp4mux ! filesink location=file.mp4
gst-launch-1.0 rtspsrc location="rtsp://admin:[email protected]:554/cam/realmonitor?channel=1&subtype=0" ! rtph264depay ! h264parse ! mp4mux ! filesink location=file.mp4