Tomcat+red5+ffmpeg实现流媒体资源管理和在线直播

Red5的服务器搭建请看我的另外一篇文章：
http://blog.csdn.net/sunroyi666/article/details/52981639

最近正在开发基于流媒体的资源管理和直播系统，做了不少技术调查，框架的构思，也学到了很多东西。
现在空下来，把最近学到的技术知识和项目的架构分享一下。

首先

系统的开发目的是为了将用户和资源从现在的系统分离出来，为了以后系统扩展，更好的实现统一用户管理和资源管理这一概念。
现存的系统如下，可能大家遇到很多的系统都是这样。

新系统是这样的：

用户中心用CAS实现，这个以后再说。

资源管理系统实际上分两部分，系统部分用的Tomcat，流媒体服务器用的是Red5，两者分离。
实际上我已经把Red5和Tomcat整合好了，但是想想或许分开的话，资源的独立性更强，所以也就分开放了。
整合在一起的话，可以更方便的去控制用户连接到Red5，断开连接时的一些操作。
相互独立的话，很多操作就要放到系统中进行判断控制，或者在Red5这边单独控制。
但总体影响不大。

网上看到很多系统用的是Red5+Nginx而不是+Tomcat，这里感觉也没必要特地使用Nginx。

接下来是系统功能和实现：

1. 资源管理这边提供了两种形式的上传，一种是上传界面，一种是Restful接口。
其他就是将上传的路径指向Red5服务器的目录而已（我这里是将资源管理系统和Red5服务器部署在一起的），然后将Red5服务器上的资源路径返回给用户自己保存。
RTMP是Adobe的私有协议，保存在实现RTMP协议的Red5流媒体服务器上的资源，不会像在Tomcat下面那样输入文件在服务器上的地址就能下载，保证了资源的安全性。


2. 上传的视频资源可用ffmpeg转码成其他格式（如FLV），并截取固定时间点的图片作为封面。
现在Red5已经支持mp4了，所以一般没必要把mp4转FLV。
ffmpeg工具可以去网上自己搜。

     /** 
     * 视频转码 (PC端FLV)
     * @param ffmpegPath    转码工具的存放路径 
     * @param upFilePath    用于指定要转换格式的文件,要截图的视频源文件 
     * @param codcFilePath    格式转换后的的文件保存路径 
     * @param mediaPicPath    截图保存路径 
     * @return 
     * @throws Exception 
     */  
    public boolean exchangeToFlv(String ffmpegPath, String upFilePath, String codcFilePath,  
            String mediaPicPath) throws Exception {  
        // 创建一个List集合来保存转换视频文件为flv格式的命令  
        List convert = new ArrayList();  
        convert.add(ffmpegPath); // 添加转换工具路径  
        convert.add("-i"); // 添加参数＂-i＂，该参数指定要转换的文件  
        convert.add(upFilePath); // 添加要转换格式的视频文件的路径  
        convert.add("-qscale");     //指定转换的质量  
        convert.add("6");  
        convert.add("-ab");        //设置音频码率  
        convert.add("64");  
        convert.add("-ac");        //设置声道数  
        convert.add("2");  
        convert.add("-ar");        //设置声音的采样频率  
        convert.add("22050");  
        convert.add("-r");        //设置帧频  
        convert.add("24");  
        convert.add("-y"); // 添加参数＂-y＂，该参数指定将覆盖已存在的文件  
        convert.add(codcFilePath);  
  
        // 创建一个List集合来保存从视频中截取图片的命令  
        List cutpic = new ArrayList();  
        cutpic.add(ffmpegPath);  
        cutpic.add("-i");  
        cutpic.add(upFilePath); // 同上（指定的文件即可以是转换为flv格式之前的文件，也可以是转换的flv文件）  
        cutpic.add("-y");  
        cutpic.add("-f");  
        cutpic.add("image2");  
        cutpic.add("-ss"); // 添加参数＂-ss＂，该参数指定截取的起始时间  
        cutpic.add("16"); // 添加起始时间为第16秒  
        cutpic.add("-t"); // 添加参数＂-t＂，该参数指定持续时间  
        cutpic.add("0.001"); // 添加持续时间为1毫秒  
        cutpic.add("-s"); // 添加参数＂-s＂，该参数指定截取的图片大小  
        cutpic.add("350*240"); // 添加截取的图片大小为350*240  
        cutpic.add(mediaPicPath); // 添加截取的图片的保存路径  
  
        boolean mark = true;  
        ProcessBuilder builder = new ProcessBuilder();  
        try {  
            builder.command(convert);  
            builder.redirectErrorStream(true);  
            builder.start();  
              
            builder.command(cutpic);  
            builder.redirectErrorStream(true);  
            // 如果此属性为 true，则任何由通过此对象的 start() 方法启动的后续子进程生成的错误输出都将与标准输出合并，  
            //因此两者均可使用 Process.getInputStream() 方法读取。这使得关联错误消息和相应的输出变得更容易  
            builder.start();  
        } catch (Exception e) {  
            mark = false;  
            System.out.println(e);  
            e.printStackTrace();  
        }  
        return mark;  
    }  

3. 因为资源管理用的是Red5流媒体服务器，所以顺便把直播功能也一起实现了，正好也要做这样的系统。
直播界面用Adobe Flash Builder 4.7做的swf。

因为我也是第一次用FlashBuilder，
这里先普及一下Actionscript，AS3，MXML，Flex，FlexBuilder，FlashBuilder，Flash，AIR，FlashPlayer的关系。
Actionscript简称AS，是Flash平台语言，根javascript其实很挺像的。
AS3是Actionscript的3.0版，也是现在最流行的版本。
Flex是官方的开发框架。
MXML是基于XML语法的语言，有点像HTML，可以与AS混用，最终编译成SWF。
Flash是一个平台，包含众多产品，比如网页动画，工具等等。
FlexBuilder是一套基于Eclipse的IDE。FlexBuilder从4.0开始改名为FlashBuilder。
FlashPlayer是播放用Flash制作的swf动画的必需的插件。
AIR是一个Runtime，就像JVM。有了它，用AS3开发的软件就可以跨平台运行。

下面是MXML代码，实现了简单的摄像头画面显示，开始直播和停止直播。
根据不同的用户，直播流的名字肯定是不一样的，这个是从HTML页面传参数给SWF。
当开始直播后，SWF会调用外部方法，去更新直播房间的状态。

	
						// Red5的RTMP协议地址需要自己修改
				nc.connect("rtmp://192.168.3.100:1936/oflaDemo");				
			}
			
			private function connectHandler(evt:NetStatusEvent):void{
				trace(evt.info.code);
				//由于flash的异步机制，连接成功后才能做处理，否则NetStream会因为conn没能连接报参数错误#2126
				
				var params:Object = FlexGlobals.topLevelApplication.parameters;
				var player:String = params.player;
				 
				if (evt.info.code == 'NetConnection.Connect.Success') {
					ns = new NetStream(nc);
					cam = Camera.getCamera();
					if(cam == null)
					{
						Alert.show("没有发现摄像头","提示")
					}
					mic = Microphone.getMicrophone();
						
					setupCameraMic();
					ns.attachAudio(mic);
					ns.attachCamera(cam);
					
					var vi:Video = new Video();
					vi.width = videoDisplay.width;
					vi.height = videoDisplay.height;
					vi.attachCamera(cam);
					videoDisplay.addChild(vi);
					// live 直播不录制, record 边直播边录制
					ns.publish(player, recordCheck.selected?"record":"live");
				}
				else
				{
					Alert.show("直播服务器连接已断开","提示")
				}
			}
			/***
			 ***设置摄像头和麦克风的参数
			 ***/			
			private function setupCameraMic():void
			{
				cam = Camera.getCamera();
				cam.setMode(320, 240, 30);
				cam.setQuality(0,70);
				mic = Microphone.getMicrophone();
				mic.rate = 11;    
				mic.setSilenceLevel(0);
			}
			
			/***
			 ***停止直播
			 ***/
			private function stopClick():void
			{
				clickHandler("0");
				nc.close();
				ns.close();
				playButton.enabled = true;
				stopButton.enabled = false;
				recordCheck.enabled = true;
			}
			
			public function onBWCheck(...arg):void
			{
				//do nothing
			}
			
			public function onBWDone(...arg):void
			{
				//do nothing
			}
			//更新直播状态
			public function clickHandler(status:String):void
			{
				if(FlexGlobals.topLevelApplication.parameters.roomid==""){
					Alert.show("用户名或密码不能为空","提示");return;
				}
				statusService.request.roomId=FlexGlobals.topLevelApplication.parameters.roomid;
				statusService.request.status=status;	
				statusService.send();                
			}
		]]>
	
	
		
			 
			            
		
	
	
		
		
		
		
	

选择录制的话，会在Red5服务器的streams目录下生成“直播流名.flv”文件。

用FlashBuilder编译以后，在bin-dug目录下会生成一些js和swf文件，一起拷出来，在HTML中调用：
把参数fileName和roomId传入flashvars，swf就可以获取到外部参数了。

直播，更新房间状态的功能就此完成。

想在PC上看直播的话，我用的是jwplayer，代码如下：

<%@ page contentType="text/html;charset=UTF-8" language="java" %>
<%@ include file="../jsp/include/taglibs.jsp"%>


	
	



		

上面的file:"stream1477358653196"是直播流的名字，如果是播放资源的话，改成file:"video.mp4"即可。


4. 如果在手机观看直播的话，直播端推荐用Adobe自己的直播软件Adobe Flash Media Live Encoder 3.2。

前面说过，RTMP是Adobe的私有协议，而ios和安卓手机都不支持Adobe，也就无法使用RTMP进行直播了。
现在主流做法是将RTMP用ffmpeg推流成为HLS，在手机端观看。HLS只需要H5的video标签就能播放。

FFMPEG命令如下：

ffmpeg -i "rtmp://192.168.8.79:1937/red5/play live=1"  -strict -2 -c:v libx264 -c:a aac -f hls "D:\apache-tomcat-8.0.9\webapps\resourcemanager\streams\room\hls\hls.m3u8"

注意：
①推正在直播的流的话，rtmp这段里面，"live=1"必须加，且必须用双引号，与rtmp地址包含在一起。
②中间是视频音频的参数设置
③最后"D:\apache-tomcat-8.0.9\webapps\resourcemanager\streams\room\hls\hls.m3u8"是hls协议的视频文件。
它会产生1个m3u8文件（ts文件列表），和N个ts文件（视频片段）

有人会问，既然可以用ffmpeg推流成为hls，那为什么还需要直播软件，直接pc端用swf直播，手机端不就可以看了吗？
请看下图ffmpeg转码时的参数：
这个是用Adobe Flash Media Live Encoder 3.2


这个是用swf直播的时候：


注意音频和视频Stream格式的区别。
用直播软件转码后，视频格式是vp6f，音频格式是mp3。而FlashBuilder并不支持这样的格式，它生成的是flv1和nellymoser。
其结果是，不转码，用swf播放带声音的视频时，会放1秒就卡死。不带声音的话OK，但是直播怎么能没声音呢？
我尝试了一下Red5的官方Demo直播，用手机观看也是同样的卡死。

我觉得肯定是音频格式有问题，所以尝试了下面的方法，但仍然不行：
① 修改音频的输入格式：mic.codec = SoundCodec.SPEEX 
     FlashBuilder只支持nellymoser和speex两种格式。
② 将视频和音频分两个流，然后用ffmpeg合并，视频和音频会出现延迟

ffmpeg.exe -i "rtmp://192.168.8.79:1936/vod/video live=1" -i "rtmp://192.168.8.79:1936/vod/audio live=1" -strict -2 -c:v libx264 -c:a aac -f hls D:\apache-tomcat-8.0.9\webapps\mediamanager\streams\room\sun\sun.m3u8

③ 在手机上放两个播放器，一个播放音频，一个播放视频，还是卡死。
这个就比较奇怪了。难道nellymoser和speex在手机上只能单独播放吗？

如果有人可以在FlashBuilder里面将音频转成mp3格式输入应该就没问题了，可是我不知道怎么转mp3呀
估计单用FlashBuilder是做不到直接转mp3的，需要C或者C++。

其实直播软件也就是将视频音频转码的作用。
参考了一下其他直播网站，他们似乎也推荐使用直播软件进行直播，那算了，我也别费工夫了，大家都用直播软件吧。

虽然最终没能解决音频转码的问题，但是在研究过程中对于ffmpeg的使用，以及视频音频的知识有了更加深入的了解。

系统中还整合了shiro，cas，以及手机端使用的APICloud，等以后有时间再继续分享吧。