最近想实现一个功能:将手机屏幕画面通过wifi投屏到另一台Android大屏设备上进行同屏显示。
因为之前没有了解过投屏,所以首先想到的是实现两个APP,分别装到手机与Android设备上,手机APP实时录屏,将录屏视频数据通过wifi传给Android设备进行播放。此方案有一些问题:
1.每个手机都需要安装APP,不方便
2.录屏的话可能会有延后,不实时
3.完全从零开发这个功能,很复杂
因为存在问题,所以去查询是否有现成的方案。经过了解,发现很多手机都自带投屏功能,比如小米8。打开手机-设置-连接与共享-投屏,即可将手机投屏到支持相关协议的其它设备上,这里用到的是一种无线投屏技术:Miracast。
目前有三种主流投屏技术: AirPlay、DLNA、Miracast。
AirPlay 一般只适用于认证过的苹果设备,目前支持这一技术的主要是苹果自己的设备
DLNA 只是能将手机的照片和视频投送到大屏幕中
Miracast 可通过无线方式分享视频画面,也有类似于AirPlay 的镜像功能,可将手机屏幕内容直接投放到高清电视屏幕里,而且该协议除了屏幕投屏,还支持反向控制
相对而言,Miracast比较符合要求,可保证大部分Android手机能实现投屏。我们可以将手机投屏到Windows10电脑上面,提前体验一下Miracast的功能,因为Windows10本身支持Miracast。首先将手机与Win10电脑连接到同一个wifi,在电脑中打开系统自带的“连接”应用程序,然后打开手机的投屏功能,启动搜索,如果一切正常,会搜索到电脑,手机上点击连接即可开启投屏,如果电脑支持蓝牙,还可以把手机的声音通过蓝牙实时传送到电脑端,这样我们可以在电脑屏幕上同屏欣赏手机里的电影了。
下面开始步入正题,探究Miracast是如何实现投屏的。
在Miracast中,将设备分为两类,一类称为传送端(Source),另一类称为接收端(Sink)。Source用于encode并输出TS流;Sink用于decode并显示TS流,相当于Server/Client架构中,Source是Server,用于提供服务;Sink作为Client,用于显示 。
这里手机作为Source,Android设备作为Sink,我们需要在Android设备中实现Sink功能。
从Android4.2开始,Android支持Miracast投屏协议,一般在"设置-投屏"进行操作,将手机屏幕镜像到大屏设备上,这里手机只是作为Miracast协议的Source端,而Android中的Sink端实现,Android4.2.2之后被谷歌去掉了,所以Sink端需要我们自己去实现。
Miracast也可以叫WiFiDisplay,二者的关系,采用官方说法:
WiFiDisplay(WFD)是WiFi联盟在已有技术的基础上,为了加速视/音频的传输分享而提出来的一个新概念。WiFi联盟对此成立了一个认证项目:Miracast-- 用来认证一个设备是否支持WiFiDisplay功能。
Android中提供了操作WFD的接口,但是SDK中有部分接口被隐藏,我们可以通过反射来使用相关代码。
Miracast需要依赖Wi-Fi P2P,即需要先通过wifi将两个设备进行直连,Android4.0 以上已支持Wi-Fi P2P。
Source和Sink之间通过Wi-Fi P2P建立连接的过程,包括建立一个Group Owner和一个Client,Source作为Group Owner,Sink作为Client。
Wi-Fi P2P连接成功后,Source和Sink将建立一个Miracast Session,其基于TCP连接,使用RTSP协议进行管理和控制工作。
RTSP完成协商后,就可以开始传输音视频数据,Sink会建立UDP连接,使用RTP协议,Source端的视音频数据将经由MPEG2TS编码后通过RTP协议传给Sink,Sink将解码收到的数据,并最终显示出来。
基于以上的知识,实现Androkd Sink端,需要的过程:
1.创建Wi-Fi P2P连接
2.创建RTSP通信,并处理RTSP协议
3.创建RTP/RTCP连接,接收音视频数据/数据流控制
4.播放音视频数据
以上过程,需要按顺序来处理,只有前面过程处理成功了才能进行下一步
详细过程如下(由于代码过多,只列举关键代码与过程):
一、需要的权限
android.permission.ACCESS_NETWORK_STATE
android.permission.ACCESS_WIFI_STATE
android.permission.CHANGE_WIFI_STATE
android.permission.INTERNET
二、建立Wi-Fi P2P连接
1.WifiP2pManager初始化
Channel initialize(Context srcContext, Looper srcLooper, ChannelListener listener)
在使用WiFi P2P功能时必须先调用这个方法,用来通过WiFi P2P框架注册我们的应用
初始化操作来获取一个Channel对象,用于以后和WiFi P2P框架保持通信
2.开启WDF功能
由于 WifiP2pManager的部分函数与WifiP2pWfdInfo类在SDK中被隐藏,需要使用反射来调用
WifiP2pManager、android.net.wifi.p2p.WifiP2pWfdInfo
重要属性设置如下:
wifiP2pWfdInfo.setWfdEnabled(true);
wifiP2pWfdInfo.setDeviceType(WifiP2pWfdInfo.PRIMARY_SINK);
wifiP2pWfdInfo.setSessionAvailable(true);
3.设置P2P设备名称
WifiP2pManager.setDeviceName(Channel,String,ActionListener)
4.启动广播接收器,监听Source的连接状态
重点监听action:WifiP2pManager.WIFI_P2P_CONNECTION_CHANGED_ACTION
5.初始化peers发现操作
WifiP2pManager.discoverPeers(Channel c, ActionListener listener)
6.接收到连接设备信息
如果手机搜索到第3步设置P2P设备名称,并进行连接,在第4步的广播接收器会收到
action:WifiP2pManager.WIFI_P2P_CONNECTION_CHANGED_ACTION
(表示Wi-Fi对等网络的连接状态发生了改变)
7.获取P2P小组的信息
WifiP2pManager.requestGroupInfo(Channel c, GroupInfoListener listener)
listener回调中获取device address与port
8.获取设备的连接信息
requestConnectionInfo(Channel c, ConnectionInfoListener listener)
listener的onConnectionInfoAvailable函数被调用时,才是真正的建立了P2P连接,此时拿到准备建立Socket通道的必要信息:groupFormed、isGroupOwner(表示自己是不是服务器)、groupOwnerAddress
9.开始RTSP连接
使用Socket开启连接,需要用到groupOwnerAddress与port。只有groupFormed=true时才可进行RTSP,即创建一个客户端向组长的服务器发送请求。
实现该过程需要了解WiFi P2P规范与Android WifiP2P功能(核心类WifiP2pManager)。
注:Group Owner与Client是wifi P2P协议中的规定:
P2P架构中定义了三个组件,一个设备,两种角色。这三个组件分别是:
P2P Device:它是P2P架构中角色的实体,可把它当做一个Wi-Fi设备。
P2P Group Owner(GO):P2P网络建立时会产生一个Group
P2P Group Client(GC):
在组建P2P Group(即P2P Network)之前,智能终端都是一个一个的P2P Device。
当这些P2P Device设备之间完成P2P协商后,那么其中将有一个并且只能有一个Device来扮演GO的角色,而其他Device来扮演GC的角色
注意:“选择一个peer进行连接”是可选项,可以由Server端主动发起连接,此时Client通过WifiP2pManager.requestConnectionInfo(Channel c, ConnectionInfoListener listener)中listener获取WifiP2pInfo
APP需要拥有系统权限,否则wifiP2pWfdInfo.setWfdEnabled(true)将失败,提示:
java.lang.SecurityException: Wifi Display Permission denied for uid = xxxx
三、RTSP通信
RTSP的主要作用是视频控制,P2P连接成功之后可以获取到Source端传递过来的建立RTSP连接的IP地址和端口,Sink端根据这些信息主动去连接,来完成RTSP能力协商与会话建立。
RTSP协议总共有M1~M16共16个信令,我们常用到其中的7个,即M1~M7,并包括以下几个主要方法:OPTIONS、GET_PARAMETER、SET_PARAMETER、 SETUP、PLAY、TEARDOWN等
M1~M2为固定的前置交互
M3~M4为参数确认握手,包括最核心的音视频编码传输格式(wfd_video_formats,wfd_audio_codecs),音频传输协议(UDP/TCP),以及接收端用于接收的网络端口(wfd_client_rtp_ports),RTCP控制消息接收端口(可选,一般为接收端口+1)
M5~M6为最终的确认阶段:发送端会发送setup命令(携带自身的数据发送端口,以及RTCP控制消息传输端口),此时接收端就可以进入下一个阶段——RTP连接
M7开始发送数据
1.Sink收到Source的M1信号时,就通过UDP开启RTP SOCKET,开启RTP接收,并记录下port
2.Sink发送M6信号时,需要将第一步的port发给Source,后续Source通过此 port发送RTP数据
3.Sink收到Source的M6信号响应成功时,发送PLAY命令,开始播放
4.PLAY后Sink保持接收Source不带body的GET_PARAMETER信息用于keep alive
代码层面:
Socket socket =new Socket();
SocketAddress socketAddress =new InetSocketAddress(rtspHost,rtspPort);
try {
socket.connect(socketAddress,5000);
OutputStream outputStream =socket.getOutputStream();
InputStream inputStream =socket.getInputStream();
BufferedReader bufferedReader =new BufferedReader(new InputStreamReader(inputStream,"UTF-8"));
}catch (IOException e) {
return -1;
}
Sink接收来自Source的RTSP数据,Souce端发送过来的数据,需要通过RTSP协议来解析数据
bufferedReader.readLine(); //Read start line
bufferedReader.readLine();//Read headers
bufferedReader.read(char cbuf[],int off,int len); //read body into char[]
Sink发送RTSP数据到Source
outputStream.write(byte b[]);
以上只是最基本的接收与发送数据的方法,具体的流程与数据内容暂略,需要遵循Miracast RTSP协议
可以参考:WFD连接过程代码分析(Sink端)方法类似,只是本文为Java实现版本
四、RTP连接
RTSP完成协商后开始传输音频及视频流,主要使用UDP传送RTP数据包,即TS包及PES包。
RTP会与RTCP协议一起使用,在通信过程中,音视频的数据是通过RTP包进行传输,RTCP主要用来做数据流控制,如发送/接收端的Report,还有丢包的统计与重传等等,一般RTCP用的不多。
1.创建RTP Server
使用DatagramSocket创建两个UDP Server ,分别接收Source传来的RTP协议包与RTCP协议包
2.接收数据
DatagramSocket.receive(DatagramPacket p)函数接收Source传过来的RTP音视频数据
3.播放音视频数据
启动一个播放器,播放Source传过来的音视频流
代码层面:
DatagramSocket socket = new DatagramSocket(0);
socket.setReceiveBufferSize(1024*1024);
int port =mSocket.getLocalPort(); //Source通过此port发送RTP数据
DatagramPacket packet =new DatagramPacket(new byte[10 *1024],10 *1024);
while (null !=socket && !socket.isClosed()) {
socket.receive(packet);
byte[] rtpData= packet.getData();
........//数据解析并发送给播放器进行播放
}
五、播放
因为收到的是音视频流,为了方便,可以使用Android自带播放器MediaPlayer的void setDataSource(MediaDataSource dataSource) 来设置数据源进行播放(Android6.0中增加的一个函数),但是目前我手上的Android设备是android4.4.2版本,所以可以采用第三方播放器,比如IjkPlayer,使用IMediaDataSource来设置数据源。
MediaDataSource是一个抽象类,需要实现方法:
public abstract int readAt (long position,byte[] buffer, int offset,int size)
不断将Source发送过来的音视频数据写到buffer中