苹果http视频点播技术

在写一个基于 iphone 的应用 , 主要是用来播放视频的 . 但是提交给苹果审核的时候却遭到百般刁难 . 尤其是关于在 3G 网络上播放视频流的限制 :

   9.4   Video streaming content over a cellular network longer than 10 minutes must use HTTP Live and include a baseline 64 kbps audio-only HTTP Live stream

         也罢 ,想想也是 ,在移动互联网直接播放一个几十 M上百 M的文件也确实是太浪费有限的流量了 .难道说在互联网上直接下载整个文件 ,而不管会不会看完就不浪费流量了吗 ?觉得确实有必要研究一下这项技术了 .

         apple http live streaming.基于 http的视频流播放 ,笔者称它为视频切片技术 ,先是将视频文件通过 mpegts编码 ,然后通过 apple提供的小工具 segmenter将视频文件切割成很多小文件并维护一个时间列表 .这些文件可以直接放在网站目录下面通过 http协议被下载播放 .不幸的是苹果提供的 segmenter只能工作在 mac下 ,我们需要一个基于 linux的开源解决方案 .

         几经搜索和尝试最后找到Carson McDonald 的<< iPhone HTTP Streaming with FFMpeg and an Open Source Segmenter>> 虽然文中给出了几乎" 完美" 的解决方案, 但是由于时代的发展和实际环境的不同, 笔者着实将这篇文章细细研究了N 久, 于是也便有了这篇文章的出现. 接下笔者会给出在ubuntu 10.04 服务器编译安装ffmpeg 和segmenter 技术细节, 并汇报一些心得.ok,go on. 

         1. 编译安装ffmpeg 

         删除不用的已安装文件 ,升级 apt-get缓存 ,安装必要的开发工具及库文件

apt-get remove ffmpeg x264 libx264-dev libmp3lame-dev

apt-get update

apt-get install build-essential subversion git-core checkinstall yasm texi2html \

    libopencore-amrnb-dev libopencore-amrwb-dev libsdl1.2-dev libtheora-dev libvorbis-dev \

libx11-dev libxfixes-dev libxvidcore-dev zlib1g-dev nasm yasm libbz2-dev  

         需要用到的库及下载地址

faad2-2.7.tar.gz 

faac-1.28.tar.gz 

lame-3.98.4.tar.gz 

ffmpeg-0.6.1.tar.gz 

         1).faad2 的安装最简单, 直接解压然后

./configure &&make&&make install 就ok 了. 

         2).faac需要修改一个文件 

         vi +123 ./common/mp4v2/mpeg4ip.h 

         从123 行开始修改此文件mpeg4ip.h ，到129 行结束。

修改前：

#ifdef __cplusplus

extern "C" {

#endif

char *strcasestr(const char *haystack, const char *needle);

#ifdef __cplusplus

}

#endif 

修改后：

#ifdef __cplusplus

extern "C++" {

#endif

const char *strcasestr(const char *haystack, const char *needle);

#ifdef __cplusplus

}

#endif 

         然后默认安装:

./configure &&make&&make install 

         3).lame 这样编译:

./configure --enable-nasm --disable-shared&&make&&make install 

         4).x264则是取的最新的代码 ,然后默认安装

git clone git://git.videolan.org/x264.git

./configure &&make &&make install&&cd .. 

         5).ffmpeg 的编译参数

./configure --enable-gpl --enable-nonfree --enable-pthreads \

--enable-libfaac --enable-libfaad --enable-libmp3lame --enable-libx264  

         为什么要选择ffmpeg-0.6.1 呢? 因为较早的版本编译完以后不能正常使用而从svn 取的最新的代码则会好端端的出现Unknown option "--enable-libfaad" 错误. 

         2. 安装segmenter 

         如果您有一定的 linux使用经验 ,ffmpeg编译自然不在话下 ,也比较简单的 ,最难的就是这部分的 segmenter的编译安装了 . 

         先取出源代码 :

svn checkout http://svn.assembla.com/svn/legend/segmenter/ segmenter 

         修改一个小地方 :

vi +242 segmenter.c 

把guess_format 修改成av_guess_format

不然 segmenter会在编译的时候提示 :

segmenter.c:242: warning: ‘guess_format’ is deprecated (declared at /usr/local/include/libavformat/avformat.h:764)

         接下来选择一种编译方式 :

         gcc -Wall -g segmenter.c -o segmenter -L/usr/include/ffmpeg/libavformat -lavformat -L/usr/include/ffmpeg/libavcodec -lavcodec -L/usr/include/ffmpeg/libavutil -lavutil -I/usr/include/ffmpeg/ -lbz2 -lm -lmp3lame -lxvidcore -lx264 -lfaad -lfaac -lpthread -lz

或者

           gcc -Wall -g segmenter.c -o segmenter -L/usr/local/src/ffmpeg/ffmpeg-0.6.1/libavformat -lavformat -L/usr/local/src/ffmpeg/ffmpeg-0.6.1/libavcodec -lavcodec -L/usr/local/src/ffmpeg/ffmpeg-0.6.1/libavutil -lavutil -I/usr/local/src/ffmpeg/ffmpeg-0.6.1/ -lbz2 -lm -lmp3lame -lxvidcore -lx264 -lfaad -lfaac -lpthread -lz 

         其实无论哪种编译方式都是手动指定了库文件的位置 ,不然的话编译不过 ,这个地方最坑人 ,费了很多很多时间 ! 

         3.编码视频文件并切割 

         这之前的地方如果你遵循笔者的安装文档和提示应该很容易就通过了 (虽然笔者花费了大量的时间摸索 ).但是正确编译以后 ,你并不知道正确切割文件以后的效果是什么样的 ,所以笔者在这里花费了超级大量的时间 ,这也是笔者为什么坚持要写出这篇文章的原因 .

先列出笔者犯的几个致命错误吧 : 

         1). 不按apple 文档格式转码

因为笔者使用的输入文件在编码的时候是针对 apple的设备优化过的 ,可以直接在 apple设备上播放并获得良好的观看效果 .而在使用原作者的编码参数 :

ffmpeg -i <in file> -f mpegts -acodec libmp3lame -ar 48000 -ab 64k -s 320×240 -vcodec libx264 -b 96k -flags +loop -cmp +chroma -partitions +parti4x4+partp8x8+partb8x8 -subq 5 -trellis 1 -refs 1 -coder 0 -me_range 16 -keyint_min 25 -sc_threshold 40 -i_qfactor 0.71 -bt 200k -maxrate 96k -bufsize 96k -rc_eq 'blurCplx^(1-qComp)' -qcomp 0.6 -qmin 10 -qmax 51 -qdiff 4 -level 30 -aspect 320:240 -g 30 -async 2 <output file>

时报错 ,在这种情况下 ,考虑到前一个原因 ,笔者自己摸索了一个编码代码 :

ffmpeg -y -i <in file> -vcodec copy -acodec copy -vbsf h264_mp4toannexb <output file> 

         是可以正常编码和分割视频文件的 .但是将应用提交给苹果审核后 ,苹果依旧给出了 9.2的提示并拒绝了应用 .这才想起来源视频在进行编码的过程中音频并没有使用 64k的编码也没有单独增加一路音频流 . 

         2).浪费时间解决可以忽略的错误提示 

         无论直接正常编译成功还是编译失败从别的机器上拷贝 segmenter过来 ,在分割视频的时候都出现了 :

[mpegts @ 0x2942160]max_analyze_duration reached

Output #0, mpegts, to 'a/index':

    Stream #0.0: Video: libx264, yuv420p, 536x402, q=2-31, 90k tbn, 25 tbc

    Stream #0.1: Audio: libmp3lame, 48000 Hz, 2 channels, 64 kb/s

[mpegts @ 0x2a08430]muxrate 1 bps, pcr every 5 pkts, sdt every 200, pat/pmt every 40 pkts

[NULL @ 0x2956900]missing picture in access unit 

         "max_analyze_duration reached"和 "missing picture in access unit"的提示 .最初这两个提示困扰了笔者很久 ,不断的在网上搜索寻找解决办法 ;不断的重新编译 ffmpeg和 segmenter;不断的更换视频输入源 ,重新编码 ;直到最后发现即便有这两个提示存在并不影响视频的正常播放的时候 ,笔者决定接受现实 :这两个提示可以存在 . 

         3).解决视频长度问题

         即使上面走过了那么多的艰难 ,但是你还是会发现这个世界是不完美的 .毕竟 segmenter是苹果开发了以后用在 mac上的 .不知道是移值到 linux还是什么原因 ,这个工具的表现有点让人理解不了 .它的参数是这样的 :

segmenter <input MPEG-TS file> <segment duration in seconds> <output MPEG-TS file prefix> <output m3u8 index file> <http prefix> 

         第二个参数 ,你指定视频分割间隔的时候 ,比如说指定了 15秒 .如果你的视频时长是 32秒的话 ,你的视频文件会被分割成 3段 (每 15秒一段 ,最后的 2秒一段 ),而最后一段的播放时长 ,它竟然会写成 15秒 !明明就 2秒干嘛要写成 15秒 !!!用 quicktime还好说 ,它似乎会自动检查视频的时长纠正时间和进度条 ,而在 iphone上 ,显示时长是取的视频文件里的时长 (15x3=45s),而下载进度条显示的是实际文件的视频时长 (32s),这样的话 ,你会发现 ,当一个视频被播放完的时候 ,时间还差 13秒 !怎么办呢 ?没办法了 ,我是看不懂 c程序 ,但是哥会 php啊 ,不就是时间不对嘛 ,哥给你重新计算一下时间重写一下文件 ,搞定 ! 

         4).测试时的网速问题 

         为了 "大规模 "的随机测试视频 ,笔者是在服务器上直接编码测试的 .无论在 quicktime还是 iphone上 ,正常的表现应该是视频会被提前下载两到三个小段 .结果笔者测试的时候 ,发现视频总是播一条下一段 ,笔者郁闷了很久发现 :原来是公司网速太慢了 .直接在 iphone上用 3G测试 ,很给力 ! 

         5). 转码耗用cpu 问题

         视频转码是最费 cpu的东东 ,如果想提高转码速度还是买两颗 8核的 cpu一块干活吧 ,速度哇哇的 ,你懂的 .

         ok,废话半天说一下笔者用的转码指令 .

ffmpeg -y -i a.mp4 -f mpegts -acodec libmp3lame -ar 48000 -ab 64k -vcodec libx264 -b 250k \

-flags +loop -cmp +chroma -partitions +parti4x4+partp8x8+partb8x8 -subq 5 -trellis 1 -refs 1 \

-coder 0 -me_range 16 -keyint_min 25 -sc_threshold 40 -i_qfactor 0.71 \

-bt 250k -maxrate 250k -bufsize 250k -rc_eq 'blurCplx^(1-qComp)' \

-qcomp 0.6 -qmin 10 -qmax 51 -qdiff 4 -level 30 -aspect 320:240 -g 30 -async 2 a.ts

segmenter a.ts 15 a a/index.m3u8 http://vod.rainbird.cc/

rm -rf a.ts 

         这个时候测试时访问的url 为:http://vod.rainbird.cc/a/index.m3u8( 随便写的, 请勿对号入座)

         4.nginx 配置

vi mime.types

添加以下两条儿 ,重启 nginx

    application/x-mpegURL                 m3u8;

    video/MP2T                            ts; 

 

         一切顺利的话 ,这时候可以通过测试 url观看视频了 .

 

参考文档:

 

iPhone HTTP Streaming with FFMpeg and an Open Source Segmenter

Howto:Install and use the latest FFmpeg and x264