android音视频学习之路四-MediaExtractor&MediaMuxer

一、写代码之前，先简单的对相关的几个类进行简单的了解

1.MediaExtractor

用于分离容器内的视频track和音频track,说直观点就是提取多路的，通常编码的视频资源。
主要API介绍：

setDataSource(String path)：即可以设置本地文件又可以设置网络文件
getTrackCount()：得到源文件通道数
getTrackFormat(int index)：获取指定（index）的通道格式
getSampleTime()：返回当前的时间戳
readSampleData(ByteBuffer byteBuf, int offset)：把指定通道中的数据按偏移量读取到ByteBuffer中；
advance()：读取下一帧数据
release(): 读取结束后释放资源

2.MediaMuxer

用于复用基本流，用它可以进行音频和视频的合成。目前支持输出MP4,Webm和3GP格式的视频，在android7.0以后支持复用帧的MP4。

在官方文档中，MediaMuxer仅支持一个音频track和视频track，所以如果有多个音频track，可以先将他们和为一个音频track然后再使用MediaMuxer封装到MP4容器中。

通常视频编码使用H.264（AVC）编码，音频编码使用AAC编码，在MediaFormat中我们可以看到各种格式的编码。

public static final String MIMETYPE_VIDEO_AVC = "video/avc";
public static final String MIMETYPE_AUDIO_AAC = "audio/mp4a-latm";
public static final String MIMETYPE_TEXT_CEA_608 = "text/cea-608";

上面各自摘取了视频，音频和声道d的一种编码格式
相关API介绍：

MediaMuxer(String path, int format)：path:输出文件的名称 format:输出文件的格式；当前只支持MP4格式；
addTrack(MediaFormat format)：添加通道；我们更多的是使用MediaCodec.getOutpurForma()或Extractor.getTrackFormat(int index)来获取MediaFormat;也可以自己创建；
start()：开始合成文件
writeSampleData(int trackIndex, ByteBuffer byteBuf, MediaCodec.BufferInfo bufferInfo)：把ByteBuffer中的数据写入到在构造器设置的文件中；
stop()：停止合成文件
release()：释放资源

3.MediaFormat

封装类，封装了描述媒体数据格式的信息，如音频或视频，通过它我们可以取出音频或者视频。比如：获取指定mime类型的媒体格式。

String type = mediaFormat.getString(MediaFormat.KEY_MIME);

接下来我利用MediaExtractor.getTrackFormat(int)打印了mediaformat的内容，下面简单的罗列一些：

csd-1=java.nio.HeapByteBuffer[pos=0 lim=8 cap=8]：csd参数在官方文档中叫Codec-specific Data，详细介绍可以看MediaCodec官方文档 - Codec-specific Data部分。对于H.264来说，"csd-0"和"csd-1"分别对应sps和pps；对于AAC来说，"csd-0"对应ADTS
, mime=video/avc ：MIME类型，媒体格式，比如此处的“video/”开头既指视频轨
, frame-rate=30：帧率，每秒显示的帧数
, track-id=1：轨道id 1为视频轨，2 为音轨
, width=1280：视频宽度
, height=720：视频高度
, max-input-size=154188：数据缓冲区最大大小（字节），是不是可以理解为视频轨的大小？？？
, durationUs=117150483：时间（戳），以微妙为单位
, csd-0=java.nio.HeapByteBuffer[pos=0 lim=28 cap=28]
, level=2048：等级，主要的有4个等级 低级(LL),主级(ML)，1440高级H14L（High 1440 Level），高级HL（High Level）
, profile=8：是指MPEG-2的不同处理方法，每一类都包括压缩和处理方法的一个集合，较高的类意味着采用较多的编码工具集，进行更精细的处理，达到更好的图像质量，同时实现的代价也更大
>>>level&profile解释
其中在音轨中，还出现了（这几个在前面的作业2中有所介绍）：
bitrate=96000:指的是比特率，这值越高，越清晰
simple-rate=44100：音频采样率
channel-count=2：声道数

>>>MediaFormat API部分文档

二、完成作业4

使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件

第一步，定义目标视频路径

此处用一个网络连接作为源文件,定义输出目录mOutputVideoPath

private String netPath = "http://jdplay.lecloud.com/play.videocache.lecloud.com/187/28/92/letv-gug/14/ver_00_22-1051581402-avc-1507856-aac-96000-117151-23680505-2e0b3774490e51ac469db4313025b877-1466497857703.mp4?crypt=13aa7f2e25900&b=259&nlh=4096&nlt=60&bf=8000&p2p=1&video_type=mp4&termid=0&tss=no&platid=3&splatid=345&its=0&qos=3&fcheck=0&amltag=7&mltag=7&uid=3663232631.rp&keyitem=GOw_33YJAAbXYE-cnQwpfLlv_b2zAkYctFVqe5bsXQpaGNn3T1-vhw..&ntm=1553515800&nkey=f2230cd511223543acdd24e6cec84eff&nkey2=2479b45597488a767015d4251beb7875&auth_key=1553515800-1-0-3-345-37a8f78c20cee9b8cd9c0c9b7f7cebd2&geo=CN-23-323-1&mmsid=65565355&tm=1499247143&key=f0eadb4f30c404d49ff8ebad673d3742&playid=0&vtype=21&cvid=2026135183914&payff=0&sign=mb&dname=mobile&tag=mobile&xformat=super&uidx=0&errc=424&gn=50038&ndtype=2&vrtmcd=102&buss=7&cips=218.88.126.119";
private String mOutputVideoPath = Environment.getExternalStorageDirectory().getPath()+"/test.mp4";

第二步，定义方法用于解析和封装音视频文件

各种方法都进行了注释 这儿就不赘述了

private void analysisAudioAndVideo() throws IOException{
        int mainAudioMaxInputSize = 0; //能获取的音频的最大值
        int frameMaxInputSize = 0; //能获取的视频的最大值
        int frameRate = 0; //视频的帧率

        if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.JELLY_BEAN_MR2) {

            MediaMuxer mMediaMuxer = new MediaMuxer(mOutputVideoPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            /**
             * 视频的MediaExtractor
             */
            MediaExtractor mVideoExtractor = new MediaExtractor();
            mVideoExtractor.setDataSource(netPath);
            int videoTrackIndex = -1; //视频轨
            for (int i=0;i

第三步，使用

             try {
                    button.setText("合成中……");
                    analysisAudioAndVideo();
                } catch (IOException e) {
                    e.printStackTrace();
                    Log.e("-----------","异常"+e.toString());
                }

最后，播放合成的视频，视频地址就是我们的输出地址mOutputVideoPath

image.png

最后我试了一下，分别注释掉音轨解析或视频轨解析，分别能够播放没有声音的图像和没有图像的声音。

至于怎么播放的，此处直接用的VideoView，前面文章有写，不懂的小伙伴可以去瞅瞅。当然的权限就直接设置，动态设置就没高了比较懒。

---

本文就到这儿,下面给出git地址
Demo地址
借鉴了几位大佬的帖子
https://blog.csdn.net/k_bb_666/article/details/79175510