Banana Pi BPI-W3(RK3588)之hdmirx下audio使用.
1. 简介
- 开发环境：Banana Pi ArmSoM-W3开发板、hdmi显示器、hdmi输入源
2. Audio配置
DTS添加声卡配置：
--- a/arch/arm64/boot/dts/rockchip/rk3588-evb1-lp4.dtsi
+++ b/arch/arm64/boot/dts/rockchip/rk3588-evb1-lp4.dtsi
@@ -47,6 +47,26 @@ play-pause-key {
};
};
+ hdmiin_dc: hdmiin-dc {
+ compatible = "rockchip,dummy-codec";
+ #sound-dai-cells = <0>;
+ };
+ hdmiin-sound {
+ compatible = "simple-audio-card";
+ simple-audio-card,format = "i2s";
+ simple-audio-card,name = "rockchip,hdmiin";
+ simple-audio-card,bitclock-master = <&dailink0_master>;
+ simple-audio-card,frame-master = <&dailink0_master>;
+ status = "okay";
+ simple-audio-card,cpu {
+ sound-dai = <&i2s7_8ch>;
+ };
+ dailink0_master: simple-audio-card,codec {
+ sound-dai = <&hdmiin_dc>;
+ };
+ };
+&i2s7_8ch {
+ status = "okay";
+};
这里有一个问题需要注意了，在写文档的时候是基于SDK版本号：
rk3588_linux_release_v1.0.5_20221120.xml
在后续的更新里面hdmirx-audio使用的驱动变了
hdmiin-sound {
compatible = "rockchip,hdmi";
rockchip,mclk-fs = <128>;
rockchip,format = "i2s";
rockchip,bitclock-master = <&hdmirx_ctrler>;
rockchip,frame-master = <&hdmirx_ctrler>;
rockchip,card-name = "rockchip,hdmiin";
rockchip,cpu = <&i2s7_8ch>;
rockchip,codec = <&hdmirx_ctrler 0>;
rockchip,jack-det;
};
这里只需了解就行了
3.声卡信息
开发板上电时会有如下打印：
[ 6.640779] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_delayed_work_audio: enable audio
[ 6.640801] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_delayed_work_audio: restart audio fs(44100 -> 44100) ch(0 -> 2)
[ 6.640810] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_audio_fifo_init
[ 6.847421] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_delayed_work_audio: audio underflow 0x2000000, with fs valid 44100
[ 6.847443] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_audio_fifo_init
[ 7.257421] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_delayed_work_audio: restart audio fs(44100 -> 48000) ch(2 -> 2)
[ 7.257468] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_audio_fifo_init
[ 7.460747] rk_hdmirx fdee0000.hdmirx-controller: audio on
[ 24.984083] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_delayed_work_audio: audio underflow 0x2000000, with fs valid 44100
[ 24.984117] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_audio_fifo_init
[ 33.727417] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_delayed_work_audio: audio underflow 0x2000000, with fs valid 44100
[ 33.727456] rk_hdmirx fdee0000.hdmirx-controller: hdmirx_audio_fifo_init
这里包含hdmirx-audio采样率和通道数的信息 当然你也可以在驱动文件里面/sys/class/hdmirx/hdmirx查看信息
使用如下命令可以查看声卡信息：
cat /proc/asound/cards
0 [rockchiphdmi0 ]: rockchip-hdmi0 - rockchip-hdmi0
rockchip-hdmi0
1 [rockchiphdmi1 ]: rockchip-hdmi1 - rockchip-hdmi1
rockchip-hdmi1
2 [rockchiphdmiin ]: rockchip_hdmiin - rockchip,hdmiin
rockchip,hdmiin
3 [rockchipes8311 ]: rockchip_es8311 - rockchip,es8311
rockchip,es8311
4.声音测试
在Linux系统里面默认是以arecord和aplay命令来测试声音
录音：
root@linaro-alip:~# arecord -l
**** List of CAPTURE Hardware Devices ****
card 2: rockchiphdmiin [rockchip,hdmiin], device 0: rockchip,hdmiin i2s-hifi-0 [rockchip,hdmiin i2s-hifi-0]
Subdevices: 1/1
Subdevice #0: subdevice #0
card 3: rockchipes8311 [rockchip,es8311], device 0: fe470000.i2s-dummy_codec fpc_dc-0 [fe470000.i2s-dummy_codec fpc_dc-0]
Subdevices: 1/1
Subdevice #0: subdevice #0
//arecord可以查看当前系统里有哪些声卡可以录音，以上内容可以看到hdmirx是card2
root@linaro-alip:~# arecord -D hw:2,0 -f S16_LE -r 48000 -c 2 -d 2 t.wav
Recording WAVE 't.wav' : Signed 16 bit Little Endian, Rate 48000 Hz, Stereo
//声音格式：16位 采样率：48000 通道数：2 录音：2
使用上述命令录音可以得到t.wav文件，之后使用aplay测试声音
root@linaro-alip:~# aplay -D plughw:1,0 t.wav //指定hdmiout播放
Playing WAVE 't.wav' : Signed 16 bit Little Endian, Rate 48000 Hz, Stereo
5.经验分享
上述命令在测试声卡阶段没有问题，但是作为开发者来这远不足够，大部分会使用GStreamer对音频进行处理，接下来分享一下我使用GStreamer对hdmirx处理的时候遇到的一些问题 音频有两个问题：
1，有延时情况下，无法使用leaky=1，导致我们视频和音频的同步出现了严重问题。 2，通过hdmi播放音频有（哒哒哒）杂音 命令如下： 1，无延时：gst-launch-1.0 alsasrc device=hw:2,0 ! queue ! volume mute=false ! alsasink device=hw:1,0 -e -v 2，有延时：gst-launch-1.0 alsasrc device=hw:2,0 use-driver-timestamps=false ! queue max-size-buffers=0 max-size-bytes=0 max-size-time=3100000000 min-threshold-buffers=0 min-threshold-bytes=0 min-threshold-time=3000000000 ! volume mute=false ! alsasink device=hw:1,0 async=true -e -v
gst-launch-1.0 alsasrc device=hw:2,0 use-driver-timestamps=false ! queue leaky=1 max-size-buffers=0 max-size-bytes=0 max-size-time=3100000000 min-threshold-buffers=0 min-threshold-bytes=0 min-threshold-time=3000000000 ! volume mute=false ! alsasink device=hw:1,0 async=true -e -v 解决方法： 更新/usr/lib/aarch64-linux-gnu/gstreamer-1.0/libgstcoreelements.so
通过hdmi播放音频有（哒哒哒）杂音 ： 分析是根据采样率导致的，gst-launch-1.0 alsasrc device=hw:2,0 ! queue ! volume mute=false ! alsasink device=hw:1,0 -e -v会使用没指定采样率，会使用默认的， 采样率多少可以查看/sys/class/hdmirx/hdmirx/audio_rate 正确的命令应该是：
gst-launch-1.0 alsasrc device=hw:2,0 ! audio/x-raw,format=S16LE,rate=48000,chanels=8 ! queue ! volume mute=false ! alsasink device=hw:1,0 -e -v
而采样率多少是根据音频源决定的
gstreamer之前有杂音是因为自动协商出来了错的rate，默认的采样率是44100Hz
6.结语
开发者对于音频来说需要给到更多参数：采样率、码率、通道数 、state， 能在驱动文件里面得到这些信息有利于更好做开发，对声音有最直接影响的是采样率。其他参数，码率=采样率 x 声道数 x 位深也是是可以算出来，其他参数的影响不大。Banana Pi BPI-W3(RK3588)之hdmirx下audio使用.