RTMP协议发送H.264编码及AAC编码的音视频，实现摄像头直播
RTMP（Real Time Messaging Protocol）是专门用来传输音视频数据的流媒体协议，最初由Macromedia 公司创建，后来归Adobe公司所有，是一种私有协议，主要用来联系Flash Player和RtmpServer，如FMS, Red5,crtmpserver等。RTMP协议可用于实现直播、点播应用，通过FMLE（Flash Media Live Encoder）推送音视频数据至RtmpServer，可实现摄像头实时直播。不过，毕竟FMLE应用范围有限，想要把它嵌入到自己的程序中，还是要自己来实现RTMP协议的推送。本人实现了一个RTMPLiveEncoder，通过采集摄像头视频和麦克风音频，并进行H.264和AAC编码，然后发送到FMS和crtmpserver上，实现实时直播，可以通过flash player正常观看，目前效果良好，延迟时间在2秒左右。本文就介绍一下RTMPLiveEncoder的主要思路和关键点，以期对需要这方面技术的朋友有所帮助。
技术分析
要实现RTMPLiveEncoder，需要以下四种关键技术：
- 采集摄像头视频和麦克风音频
- H264编码和AAC编码
- 视频和音频数据封装为可被流媒体服务器识别的可播放流
- RTMP协议实现报文发送
其中，前两项技术在我之前的文章“采集音频和摄像头视频并实时H264编码和AAC编码”中已经介绍过了，这里就不再啰嗦了。
把音视频数据封装为可播放流，这个是一个难点。仔细研究一下，你会发现，RTMP Packet中封装的音视频数据流，其实和FLV封装音频和视频数据的方式是相同的，所以，我们只需要按照FLV封装H264和AAC的方式，即可生成可播放流。
我们再看一下RTMP协议。Adobe曾经发布过一份文档《RTMP Specification》，不过wikipedia指出这份文档隐藏了很多细节，单独根据它是无法正确实现RTMP的。不过，它还是有参考意义的。其实Adobe发布之前，RTMP协议就已经被破解的差不多了，现在也已经有比较完善的实现，比如：RTMPDump，它提供的是C语言的接口，这意味着可以很方便的在其他语言中调用。
程序框架
与我之前写的“采集音频和摄像头视频并实时H264编码和AAC编码” 这篇文章相同，采用DirectShow技术来实现音视频采集，音频编码和视频编码，在各自线程（AudioEncoderThread和 VideoEncoderThread）中循环进行，RTMP的推送另起一个线程（RtmpThread）。两个编码线程实时编码音视频数据后，将数据交 与Rtmp线程，由Rtmp线程循环封装为Rtmp Packet，然后发出去。
线程之间的数据交换，通过一个队列DataBufferQueue来实现。AudioEncoderThread和 VideoEncoderThread把数据指针post到DataBufferQueue之后，立即返回，这样就可以避免因为发送Rtmp报文的而影响 到编码线程的正常执行时间。
RtmpThread的首要工作就是发送音频数据流的解码信息头和视频数据流的解码信息头，并络续从DataBufferQueue中 取出数据，封装为RTMP Packet，发送出去。流程如下列代码所示：（process_buf_queue_，便是上图中的DataBufferQueue）
librtmp
一、编译librtmp
下载rtmpdump的代码，你会发明，它是一个地道的linux项目，除了一个简单的Makefile，其他什么都没有。如同 librtmp不依附于体系，我们可以不花费太多工夫，把它在windows上编译。不过，librtmp依附于openssl和zlib，我们须要起首 编译好它们。
1. 编译openssl1.0.0e
a） 下载并安装ActivePerl
b） 下载并安装nasm（http://nasm.sourceforge.net/）
c） 解压openssl紧缩包
d） 运行cmd号令行，切到openssl目次，分别履行以下号令
>perl Configure VC-WIN32 --prefix=c:\some\dir >ms\do_nasm
e） 运行Visual Studio Command Prompt（2010），切到openssl目次，分别履行以下号令。
>nmake -f ms\nt.mak >nmake -f ms\nt.mak install
f） 编译完毕后，即可在第一个号令所指定的目次下发明编译好的sdk。
2. 编译zlib
a） 解压zlib紧缩包
b） 运行Visual Studio Command Prompt（2010），切到openssl目次，分别履行以下号令
>cd contrib\masmx86 >bld_ml32.bat
c） 回到zlib目次，进入contrib\vstudio\vc10目次，打开vs2010解决规划文件， 在zlibstat工程属性中，去掉预编译宏 ZLIB_WINAPI
d） 选择debug或release编译即可
3. 编译librtmp
a） 起首打开visual studio 2010，新建一个win32 console工程，指定为静态链接库
b） 将librtmp的代码导入工程，把openssl、zlib的头文件和librtmp放在一路，把编译好的openssl和zlib的静态库放在一路
c） 在工程设置中，添加之前编译好的openssl和zlib的库，编译即可。
二、librtmp的应用
起首初始化RTMP布局
- rtmp_ = RTMP_Alloc();
- RTMP_Init(rtmp_);
开端之后，就要向RTMP Server创议握手连接报文
连接成功，就可以开端轮回发送报文了，这里须要指按时戳和数据类型（Audio、Video、Metadata）。这里有一点须要重视的是，在调用Send之前，buf中的数据，必须是已经封装好的H264或AAC数据流，具体见下面的介绍。
封闭
- RTMP_Close(rtmp_);
最后是开释
- RTMP_Free(rtmp_);
H264和AAC数据流
本文提到过，RTMP推送的音视频流的封装情势和FLV格局类似，由此可知，向FMS推送H264和AAC直播流，须要起首发送"AVC sequence header"和"AAC sequence header"，这两项数据包含的是首要的编码信息，没有它们，解码器将无法解码。
AVC sequence header就是AVCDecoderConfigurationRecord布局，该布局在标准文档“ISO-14496-15 AVC file format”中有具体申明。
AAC sequence header存放的是AudioSpecificConfig布局，该布局则在“ISO-14496-3 Audio”中描述。AudioSpecificConfig布局的描述很是错杂，这里我做一下简化，事先设定要将要编码的音频格局，此中，选择"AAC-LC"为音频编码，音频采样率为44100，于是AudioSpecificConfig简化为下表：
如许，AVC sequence header和AAC sequence header的内容可以根蒂根基断定了，更具体的信息，大师可以去翻阅相干文档。接下来就是封装数据内容，然后交给librtmp发送。封装格局如下所示：
运行结果
RtmpLiveEncoder开端运行
用FMS自带的一个flash播放器播放
