AIRPLAY镜像音频数据的处理
AIRPLAY镜像投屏过程中，音视频数据都是加密过的，对于接收端来说，需要正确解密后才能对音视频数据进行处理，音频和视频的解密过程还不一样。音频相对简单一点，视频会复杂一些。这一块的解密过程是没有公开的，是苹果自身的Fairplay DRM协议部分。现在市面上的第三方Airplay接收端无非都是通过逆向过程破解了相关部分。
本文针对音频的处理做一个介绍，音频部分的处理相对简单一点。
解密过程:
1 音频采用AES CBC128进行加密，这一部分可以使用开源的openssl库进行处理
2 该算法需要解密的输入参数包括aeskey，aeskiv，通过
ANNOUNCE请求中携带，ANNOUNCE请求同时还会携带音频的编码信息。
解码过程：
通过解密过程后，我们会得到AAC编码的音频数据，播放器播放AAC数据还需要对其进行解码。
在我们实现的接收端程序，协商出来的是AAC-ELD编码。对于AAC的解码，可以使用一些开源的库，如fdk,ffmpeg等，也可以使用android提供的MediaCodec进行解码。
但笔者曾经在某些Android手机上发现，解码AAC-ELD有问题。推荐大家用fdk进行解码。
使用fdk对aac进行解码，其实在网上也能找到很多例子，但笔者发现很多例子有一处错误，在低版本的fdk上不会出现错误，但是在高版本的fdk会出现crash这样的问题。话不多说，直接通过部分代码来说明过程。
初始化解码器：
UCHAR eld_conf[] = { 0xF8, 0xE8, 0x50, 0x00 }; //44100,2channels,s16
UCHAR *aac_eld_conf[] = { eld_conf }; //TODO just for aac eld config
static UINT aac_eld_conf_len = sizeof(eld_conf);
decoder = aacDecoder_Open(TT_MP4_RAW, 1);
AAC_DECODER_ERROR ret = aacDecoder_ConfigRaw(decoder, aac_eld_conf, &aac_eld_conf_len);
buffer = new INT_PCM[960];
buffer_size = 1920;
pcm_size = 960;
上述代码中eld_conf这一块的值对应android MediaCodec aac，CSD buffer #0具体什么含义看规范吧。
每次编码和发送的采用数为480，故下面申请对应长度的Buffer
解码:
bytesValid = dataLen;
while(bytesValid){
ret = aacDecoder_Fill(decoder, reinterpret_cast(&p_frame), (UINT*)&size, &bytesValid);
if (ret != AAC_DEC_OK) {
printf("aacDecoder_Fill return %x.\r\n", ret);
return;
}
for (;;) {
ret = aacDecoder_DecodeFrame(decoder, buffer, pcm_size, 0);
if (ret == AAC_DEC_OK) {
dump_audio_data((unsigned char *)buffer,buffer_size);
} else if (ret == AAC_DEC_NOT_ENOUGH_BITS)
break;
else {
printf("aacDecoder_DecodeFrame return %x.\r\n", ret);
return;
}
}
} aacDecoder_DecodeFrame填入的参数为pcm_size，其单位为short,而不是byte。网上的例子很多都是在这里错误。请各位务必注意。
技术交流有兴趣请加:
音视频技术交流群:308601278
无线投屏技术交流群:582349005
详情可访问我司官网 必捷网络|无线投屏专家
商务合作请至邮件[email protected]