IOS-RTMP相关

介绍：IOS下的RTMP播放器真心不多，好用的更少。本人找了一圈最后还是在GITHUB里使用了
ijkplayer 播放器。
简单介绍一下，ijkplayer 是基于ffmpeg 上封装了一层的播放器支持IOS,android，写这篇文章的时候ios 方面github上介绍还不多，我这里说下怎么来播放RTMP的视频。
1、如何播放RTMP视频
找到 JKDemoInputURLViewController.m 修改代码如下

- (void)onClickPlayButton {
NSURL*url = [NSURLURLWithString:self.textView.text];
NSString*scheme = [[urlscheme]lowercaseString];
//if ([scheme isEqualToString:@"http"] || [scheme isEqualToString:@"https"]) {
[IJKVideoViewControllerpresentFromViewController:selfwithTitle:[NSStringstringWithFormat:@"URL: %@", url]URL:urlcompletion:^{
//[self.navigationController popViewControllerAnimated:NO];
}];
//}
}

好了 你直接可以在输入URL模式中输入你的RTMP地址就好了

2. 如何降低延迟的问题
   服务器：本人的流媒体服务器是自建的，使用的是云主机，5MB带宽2CPU 1.0GHz 2G内存属于比较烂配置，用的red5 1.0.7 最新的版本，具体怎么安装请查看Red5 GITHUB内的WIKI部分即可，推流端：IOS 用的 LFLiveKit 可以自行GITHUB 内搜索即可。
   延迟主要存在于推流端和播放器端 LFLiveKit 不存在缓冲区没什么好配置的，如果使用OBS 推流请在 输出-->高级-->缓冲大小填0即可，
   Red5 去conf 文件夹下里修改red5.properties 文件

rtmp.send_buffer_size=200
rtmp.receive_buffer_size=200

服务端就好了没什么别的,重启red5 服务即可
ijkplayer播放器默认是带缓冲的所以我们主要修改播放器部分的缓冲区，原理就是去掉作者封装的缓冲区那一层，激活ffplay 播放器的无缓冲标志。我们来操作吧
首页我们在 公共头文件IJKMediaPlayer-Prefix.pch里增加一个宏定义

#define USE_IJK_BUFERING  0

在 IJKFFOptions.m 里修改

+ (IJKFFOptions*)optionsByDefault
{
IJKFFOptions*options = [[IJKFFOptionsalloc]init];
[optionssetPlayerOptionIntValue:30forKey:@"max-fps"];
[optionssetPlayerOptionIntValue:0forKey:@"framedrop"];
[optionssetPlayerOptionIntValue:3forKey:@"video-pictq-size"];
[optionssetPlayerOptionIntValue:0forKey:@"videotoolbox"];
[optionssetPlayerOptionIntValue:960forKey:@"videotoolbox-max-frame-width"];
[optionssetFormatOptionIntValue:0forKey:@"auto_convert"];
[optionssetFormatOptionIntValue:1forKey:@"reconnect"];
[optionssetFormatOptionIntValue:30*1000*1000forKey:@"timeout"];
[optionssetFormatOptionValue:@"ijkplayer"forKey:@"user-agent"];
[optionssetFormatOptionValue:@"2000000"forKey:@"analyzeduration"];//增加的
[optionssetFormatOptionValue:@"nobuffer"forKey:@"fflags"];//增加的
[optionssetFormatOptionValue:@"4096"forKey:@"probsize"]; //增加的
options.showHudView=NO;
returnoptions;
}

在 ff_ffplay_def.h 文件里修改

#ifdef USE_IJK_BUFERING
#define DEFAULT_HIGH_WATER_MARK_IN_BYTES (256*1024)
/*
* START: buffering after prepared/seeked
* NEXT:buffering for the second time after START
* MAX:...
*/
#define DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS (100)
#define DEFAULT_NEXT_HIGH_WATER_MARK_IN_MS (1*1000)
#define DEFAULT_LAST_HIGH_WATER_MARK_IN_MS (5*1000)
#define BUFFERING_CHECK_PER_BYTES  (512)
#define BUFFERING_CHECK_PER_MILLISECONDS (500)
#define MAX_QUEUE_SIZE (15*1024*1024)
#ifdef FFP_MERGE
#define MIN_FRAMES 25
#endif
#define DEFAULT_MIN_FRAMES 50000
#define MIN_MIN_FRAMES 5
#define MAX_MIN_FRAMES 50000
#define MIN_FRAMES (ffp->dcc.min_frames)
#else
#define MAX_QUEUE_SIZE (0)
#define MIN_FRAMES 5
#define MIN_MIN_FRAMES 5
#endif

简单说明下就是去掉原作者的缓冲，使用我们自己定义的缓冲区大小 MAX_QUEUE_SIZE 为0 就是不缓冲了（这里的缓冲区是显示层的，不是网络数据的缓冲）
接着ff_ffplay_options.h 文件里肯定要报错了

//{ "min-frames","minimal frames to stop pre-reading",
//OPTION_OFFSET(dcc.min_frames),OPTION_INT(DEFAULT_MIN_FRAMES, MIN_MIN_FRAMES, MAX_MIN_FRAMES) },
//{ "first-high-water-mark-ms","first chance to wakeup read_thread",
//OPTION_OFFSET(dcc.first_high_water_mark_in_ms),
//OPTION_INT(DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_LAST_HIGH_WATER_MARK_IN_MS) },
//{ "next-high-water-mark-ms","second chance to wakeup read_thread",
//OPTION_OFFSET(dcc.next_high_water_mark_in_ms),
//OPTION_INT(DEFAULT_NEXT_HIGH_WATER_MARK_IN_MS,
//DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_LAST_HIGH_WATER_MARK_IN_MS) },
//{ "last-high-water-mark-ms","last chance to wakeup read_thread",
//OPTION_OFFSET(dcc.last_high_water_mark_in_ms),
//OPTION_INT(DEFAULT_LAST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_FIRST_HIGH_WATER_MARK_IN_MS,
//DEFAULT_LAST_HIGH_WATER_MARK_IN_MS) },

注释掉相关报错的属性即可
继续在 ff_ffplay.c 文件里修改
staticintdecoder_decode_frame(FFPlayerffp,Decoderd,AVFrameframe,AVSubtitlesub)函数内修改

do{
if(d->queue->nb_packets==0)
SDL_CondSignal(d->empty_queue_cond);
#ifdef USE_IJK_BUFERING
if(packet_queue_get_or_buffering(ffp, d->queue, &pkt, &d->pkt_serial, &d->finished) <0)
return-1;
#else
if(packet_queue_get(d->queue, &pkt,1, &d->pkt_serial) <0)
return-1;
#endif
if(pkt.data==flush_pkt.data) {
avcodec_flush_buffers(d->avctx);
d->finished=0;
d->next_pts= d->start_pts;
d->next_pts_tb= d->start_pts_tb;
}
}while(pkt.data==flush_pkt.data|| d->queue->serial!= d->pkt_serial);

staticintread_thread(void*arg) 函数最后修改

if(ffp->packet_buffering) {
#ifdef USE_IJK_BUFERING
io_tick_counter = SDL_GetTickHR();
if(abs((int)(io_tick_counter - prev_io_tick_counter)) > BUFFERING_CHECK_PER_MILLISECONDS) {
prev_io_tick_counter = io_tick_counter;
ffp_check_buffering_l(ffp);
}
#endif
}

最后 ffpipenode_ios_videotoolbox_vdec.m 文件里修改
intdecoder_decode_frame_videotoolbox(VideoToolBoxContext* context)函数里

do{
if(d->queue->nb_packets==0)
SDL_CondSignal(d->empty_queue_cond);
ffp_video_statistic_l(ffp);
#ifdef USE_IJK_BUFERING
if(ffp_packet_queue_get_or_buffering(ffp, d->queue, &pkt, &d->pkt_serial, &d->finished) <0)
return-1;
#else
if(ffp_packet_queue_get(d->queue, &pkt,1,&d->pkt_serial) <0)
return-1;
#endif
if(ffp_is_flush_packet(&pkt)) {
avcodec_flush_buffers(d->avctx);
context->refresh_request=true;
context->serial+=1;
d->finished=0;
ALOGI("flushed last keyframe pts %lld \n",d->pkt.pts);
d->next_pts= d->start_pts;
d->next_pts_tb= d->start_pts_tb;
}
}while(ffp_is_flush_packet(&pkt) || d->queue->serial!= d->pkt_serial);

好了跑一下，带宽足够的情况下延迟应该在0.5-1秒左右，基本是实时的了

3.ijkplayer 的BUG 解决
ijkplayer 确实已经算很赞的播放器了，毕竟是开源的东东，自然多少会有点BUG，说下使用中发现的BUG问题也节省各位看官时间。
现象：观看一下直播然后点击DONE按钮 关闭后后会有一个超时提示，DEBUG时是在IJKSDLAudioQueueController.m 文件里的stop 函数里的 AudioQueueStop(_audioQueueRef,true); 这句话报出来的。查了下苹果的资料说明，这个函数默认是和音频的处理函数在同一个线程下执行的所以会卡死报出超时警告。建议是用不同的线程去执行这个函数,并且需要判定kAudioQueueProperty_IsRunning 是否是1 才可以调用的那么我们就来解决下吧：

// do not lock AudioQueueStop, or may be run into deadlock
dispatch_queue_tconcurrentQueue =dispatch_queue_create("leon.audio.queue",DISPATCH_QUEUE_CONCURRENT);
dispatch_async(concurrentQueue, ^{
while(true) {
UInt32askRunning =0;
UInt32runsize =sizeof(askRunning);
AudioQueueGetProperty(_audioQueueRef,kAudioQueueProperty_IsRunning, &askRunning, &runsize);
if(askRunning) {
AudioQueueStop(_audioQueueRef,true);
AudioQueueDispose(_audioQueueRef,true);
_audioQueueRef=nil;
break;
}
}
});

再运行下发现不再出现警告可以顺利执行，但是接着来了一个野指针访问。。。程序直接CRASH 了（当然不改的话等个5-10秒这个CRASH 也会出现）
这个野指针分析下来小弟的看法是网络数据包一次性给了10KB的数据，audio 处理单元拿下来处理成了对应的音频包结构后变成了10个音频单元包，这10个音频包是按顺序处理的，数据源是在FFPlayer结构体里的is分配的 ,当我们点击了DONE按钮后FFPlayer 对象里的is 的对象释放时，那10个音频包是在不同线程里处理的没有处理完比如只处理4个还有6个，从而造成了野指针访问导致程序CRASH，解释了这么多其实小弟我也头晕一开始想的是如何做好线程间的调度，想了半天没什么思路为了方便就顺着正常思路想下去那就是如果我把音频包都处理完不就没这个问题了嘛，那就来动手吧：
在FFPlayer 结构体里增加一个 int willclose; 属性（我随便起的）接着在FFPlayer*ffp_create()函数加一个初始化

FFPlayer*ffp_create()
{
av_log(NULL,AV_LOG_INFO,"av_version_info: %s\n",av_version_info());
FFPlayer* ffp = (FFPlayer*)av_mallocz(sizeof(FFPlayer));
if(!ffp)
returnNULL;
msg_queue_init(&ffp->msg_queue);
ffp->af_mutex=SDL_CreateMutex();
ffp->vf_mutex=SDL_CreateMutex();
ffp_reset_internal(ffp);
ffp->av_class= &ffp_context_class;
ffp->meta=ijkmeta_create();
ffp->willclose=10;
av_opt_set_defaults(ffp);
returnffp;
}

在 intffp_wait_stop_l(FFPlayer*ffp) 函数修改

intffp_wait_stop_l(FFPlayer*ffp)
{
assert(ffp);
if(ffp->is) {
ffp_stop_l(ffp);
ffp->willclose=90;
stream_close(ffp);
ffp->is=NULL;
}
return0;
}

最后 staticvoidsdl_audio_callback(voidopaque,Uint8stream,intlen) 函数做如下修改

while(len >0) {
if(is->audio_buf_index>= is->audio_buf_size) {
//增加部分(以下)
if(ffp->willclose==90) {
is->audio_buf_index= is->audio_buf_size;
memset(stream,0, len);
SDL_AoutFlushAudio(ffp->aout);
break;
}
//增加部分(以上)
audio_size =audio_decode_frame(ffp);
if(audio_size <0) {
/* if error, just output silence */
is->audio_buf= is->silence_buf;
is->audio_buf_size=sizeof(is->silence_buf) / is->audio_tgt.frame_size* is->audio_tgt.frame_size;
}else{
if(is->show_mode!=SHOW_MODE_VIDEO)
update_sample_display(is, (int16_t*)is->audio_buf, audio_size);
is->audio_buf_size= audio_size;
}
is->audio_buf_index=0;
}
if(is->auddec.pkt_serial!= is->audioq.serial) {
is->audio_buf_index= is->audio_buf_size;
memset(stream,0, len);
// stream += len;
// len = 0;
SDL_AoutFlushAudio(ffp->aout);
break;
}
len1 = is->audio_buf_size- is->audio_buf_index;
if(len1 > len)
len1 = len;
if(!is->muted&& is->audio_volume==SDL_MIX_MAXVOLUME)
memcpy(stream, (uint8_t*)is->audio_buf+ is->audio_buf_index, len1);
else{
memset(stream, is->silence_buf[0], len1);
if(!is->muted)
SDL_MixAudio(stream, (uint8_t*)is->audio_buf+ is->audio_buf_index, len1, is->audio_volume);
}
len -= len1;
stream += len1;
is->audio_buf_index+= len1;
}

运行一下，咩嘿嘿顺利释放不再CRASH 了。就先写到这里了后面有新的成果再来记录