使用unity3D点播预览多路rtsp视频流
因为最近项目中有需求通过unity3D接入很多路rtsp视频流，为了更大的利用GPU，所以对每路rtsp视频流进行硬解码后变成NV12的视频帧，使用unity3D shader对其进行显示。
笔者对opengl和opengles比较熟悉，所以对于大同小异的unity3D的shader，基本也可以很快上手。
直奔主题吧，首先使用unity3D创建Unlit shader，创建RowImage，创建Material，shader绑定Material，Material绑定RowImage。
NV12根据其视频的内存布局格式，我们需要定义2个2D的纹理，一个去存放Y数据，其数据大小为视频的height*width，一个存放UV格式，其大小为height*width/2，如下：
private Texture2D texY, texU；
texY = new Texture2D(width, height, TextureFormat.Alpha8, false);
texU = new Texture2D(width/2, height/2, TextureFormat.RG16, false);因为texU 纹理存放的实uv交替数据，所以，我们用TextureFormat.RG16,表示一个单元里存放一个u分量和一个V分量。
在update里加载数据显示，代码如下：
texY.LoadRawTextureData(rawdata.ydata);
texY.Apply();
texU.LoadRawTextureData(rawdata.uvdata);
texU.Apply();
rawImage.texture = texY;
rawImage.material.SetTexture("_UTex", texU);以上是关键的c#代码，shader就很简单了，同样定义2个2D纹理。代码如下：
sampler2D _MainTex;
sampler2D _UTex;然后再fragment着色器里通过2个纹理把Y和UV数据采样出来，转化为RGB即可，代码如下：
fixed4 frag (v2f i) : SV_Target
{
fixed4 col;
float y = tex2D(_MainTex, i.uv).a;
fixed4 uvs = tex2D(_UTex, i.uv);
float u = uvs.r - 0.5;
float v = uvs.g - 0.5;
float r = y + 1.403 * v;
float g = y - 0.344 * u - 0.714 * v;
float b = y + 1.770 * u;
col.rgba = float4(r, g, b, 1.0f);
return col;
}
最后实现效果如下：
太忙，稍后我会把demo发布。
这是我们的网站 www.founu.com,欢迎大家交流合作。