H264 javacv 流格式解析

JavaCv grabber获得数据格式

下图展示了FFmpegFrameGrabber读取视频流的日志，从图中我们可以看到视频帧和语音帧是交错着的。

image

视频的帧率是25fps，因此每帧的时间间隔是33ms左右（图中是微秒需要除以1000）。但是声音帧比较奇怪，间隔是23ms左右，这是怎么回事呢？我们来分析一下，我们这个视频的音频采样率是44.1kHz，也就是每秒采样44100次。那么视频中的一个音频帧用多少次采样表示呢？答案是1024，不要问为什么，这就是规范，记住就行了。那么帧占多少时间呢？

也就是说每帧的时间等于1秒除以每秒帧数，而每秒帧数等于44100/1024。所以上图可以看到，每隔23.1毫秒一个音频帧。

那么，从上面的结论可以得出，一个音频帧应该占用多大的字节呢？刚才提到这个视频中音频的采样率是44.1khz，那么音频中每个采样值，代表什么呢？采样值代表某个声道的声音值（立体声一般包含左右声道），而这个文件的音频每个声道的采样值使用16位来表示（2字节，刚好一个short短整型）。因此，我们可以算出一个音频帧占用的字节数，如下：

下图可以看到实际的效果：

image

基本上每32位代表一个左右声道的采样值：

xxxxxxxx左声道xxxxxxxx，xxxxxxxx右声道xxxxxxxx|xxxxxxxx左声道xxxxxxxx，xxxxxxxx右声道xxxxxxxx|xxxxxxxx左声道xxxxxxxx，xxxxxxxx右声道xxxxxxxx

附录

参考资料

音频的帧概念解析

Java使用IO流实现音频的剪切和拼接

javaCV开发详解之5：录制音频(录制麦克风)到本地文件/流媒体服务器(基于javax.sound、javaCV-FFMPEG

javacv-ffmpeg播放视频里的音频