RTMP摄像头直播-CameraX数据采集处理

距离上一次写东西,如果不翻记录,是真想不起来是什么时候了,在记忆中,应该是三月的时候,或者更早了,因为那时候还没有换工作。写到这里还是忍不住去翻了一下以往的记录,发现后来也有写过两篇,已经没什么印象了。从3月到8月五个多月的时间,回忆起来仿佛就在昨天。这半年来,对于我来说变化实在太大,首先是离开了自己工作了三年多的公司,很多种原因,在离开的时候并没有一丝丝不舍,此刻突然想到过往的一切,好多人好多事浮现在眼前,就在昨天看到前同事发的状态,好多熟悉的面孔,那一刻又映入眼帘。是的,毕竟是自己曾经为之努力奋斗的地方,尤其在19年的时候,那时候真的用过心并努力过,也包括20年初期的时候。当然,随之而来的就是摆烂了。刚出来那段时间有太多的不适应,首先是自己租了房子,吃饭都需要掏钱买,以至于觉得钱花的好快,在之前每收到工资我就直接转到天天基金账户了,而现在得考虑房租和饭钱和其它日常开销,在加上每天上班都需要挤地铁,以至于前期那段时间整个人被整的一团糟。

我以为在我换了工作,激情会再一次被点燃,记得前段时间和一个玩的很好的初中同学聊天,谈到现在的状态,我谈到如果再让我选择一次,我也坚决不会做这个行业了,我想爱惜好自己的眼睛,去当兵,然而再也没有第二次选择的机会了。有时候挺想做一条咸鱼,但又无法做到最咸的那一条,既然当下选择了,我觉得还是努力做好当下的事情,既然做了一天和尚,就应该努力把这个钟敲好。当然经过岁月的洗礼,也有值得庆幸的地方,自己的心态也逐渐走向成熟,不再浮躁,而是能静下心来,思考一些事情。

关于之前开源的项目,https://github.com/zhuhuitao/printer,前前后后一共迭代了10个版本左右,当时在做这件事情的时候,没有想到会有这么多同学去看和使用,说实在的,很开心。也看到好几个同学提了issues,和留言,由于我目前没有从事相关工作,身边也没有打印机,所以已接近大半年没有维护了,在此想跟大家说一声抱歉,后续如果有机会我还是会把问题整理出来,统一解决,深感抱歉。

前言

在很久以前一直想转音视频方向,一直没有机会,毕竟想跨入这个方向,确实有一些难度。虽然现在项目中也有音视频相关的东西,无奈都不是我负责。人生嘛总会遇到容易的事情和困难的事情,如果总是逃避困难的事情,想想也没有什么意义,当然适当强迫一下自己,或许会收到不一样的结果。在学习的过程中,学会总结和输出真的太重要了,如果别人看到后有收获,当然是值得开心的了,更多的是自己在总结和输出的时候,往往有更多的收获和对某个知识的理解。

android设备直播流程

在使用Android设备进行摄像头直播时,其过程应该是这样的:
RTMP摄像头直播-CameraX数据采集处理_第1张图片
就图像而言,首先需要获得摄像头采集的数据,然后得到这个byte[]进行编码,再进行后续的封包与发送。我们通过CameraX图像分析接口得到的数据为ImageProxy(Image的代理类)。那么怎么从ImageProxy/Image中获取我们需要的数据呢,这个数据格式是什么?

ImageProxy/Image

Image是android SDK提供的一个完整的图像缓冲区,图像数据为:YUV或者RGB等格式。在编码时,一般编码器接收的待编码数据格式为I420。而ImageProxy则是CameraX中定义的一个接口,Image的所有方法,也都能够从ImageProxy调用。可以通过image的getPlanes方法得到PlaneProxy数组,关于CameraX的详细资料我们都可以在android官方文档查看到。https://developer.android.google.cn/training/camerax?hl=zh_cn。当然CameraX给到我们的数据格式在官网中有提到,为YUV_420_888格式的图片。

YUV420

YUV模型是根据一个亮度(Y分量)和两个色度(UV分量)来定义颜色空间,常见的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等,其中比较常见的YUV420分为两种:YUV420P和YUV420SP。其中Y表示亮度,U和V表示色度。( 如果UV数据都为0,那么我们将得到一个黑白的图像。)RGB中每个像素点都有独立的R、G和B三个颜色分量值,YUV根据U和V采样数目的不同,分为如YUV444、YUV422和YUV420等,而YUV420表示的就是每个像素点有一个独立的亮度表示,即Y分量;而色度,即U和V分量则由每4个像素点共享一个。举例来说,对于4x4的图片,在YUV420下,有16个Y值,4个U值和4个V值。YUV420根据颜色数据的存储顺序不同,又分为了多种不同的格式,这些格式实际存储的信息还是完全一致的。举例来说,对于4x4的图片,在YUV420下,任何格式都有16个Y值,4个U值和4个V值,不同格式只是Y、U和V的排列顺序变化。I420YYYYYYYYYYYYYYYYUUUUVVVV ,NV21 则为 YYYYYYYYYYYYYYYYUVUVUVUV 。也就是说,YUV420
是一类格式的集合,YUV420并不能完全确定颜色数据的存储顺序。
更详细的介绍可以参考这篇文章https://zhuanlan.zhihu.com/p/495400095

PlaneProxy/Plane

Y、U和V三个分量的数据分别保存在三个 Plane 类中,即通过 getPlanes() 得到的数组。 Plane 实际是对ByteBuffer 的封装。Image保证了planes[0]一定是Y,planes[1]一定是U,planes[2]一定是V。且对于plane [0],Y分量数据一定是连
续存储的,中间不会有U或V数据穿插,也就是说我们一定能够一次性得到所有Y分量的值。
但是对于UV数据,可能存在以下两种情况:

  1. planes[1] = {UUUU…},planes[2] = {VVVV…};
  2. planes[1] = {UVUV…},planes[2] = {VUVU…}。
    所以在我么取数据时需要在根据Plane中的另一个信息来确定如何取对应的U或者V数据。
//行内数据值间隔
//1,表示无间隔取值,即为上面的第一种情况
//2,表示需要间隔一个数值取值,即为上面第二种情况
int pixelStride = plan.getPixelStride();

根据这个属性,我们将确定数据如何存储,因此如果需要取出代表I420格式的byte[],则为:

YUV420中,y数据的长度为:width*height,而u,v都为width/2*height/2.
int pixelStride = plans[0].getPixelStride();
planes[0].getBuffer()
byte [] = new byte[image.getWidth()/2*image.getHeight()/2];
int pixelStride = planes[1].getPixelStride();
if(pixelStride == 1){
  planes[1].getBuffer();//u数据
}else if(pixelStride == 2){
    ByteBuffer uBuffer = planes[1].getBuffer();
    for(int i = 0;i<uBuffer.remaining;i++){
    u[i] = uBuffer.get();//丢弃一个数据,这里其实是v数据
    uBuffer.get():
}
}

//v数据与u数据同样获取

但是如果使用上面的代码去获取I420数据,可能会惊奇的发现,并不是在所有设置的Width与Height(分辨率)下都能够正常运行。我们忽略了什么,为什么会出现问题呢?在Plane中我们已经使用了 getBuffer 与 getPixelStride 两个方法,但是还有一个 getRowStride 是干嘛的呢?

RowStride

RowStride表示行步长,Y数据对应的行步长可能为:

  1. 等于Width;
  2. 大于Width;
    以4x4的I420为例,其数据可以看为:
      Y   Y   Y   Y
      Y   Y   Y   Y
      Y   Y   Y   Y
      Y   Y   Y   Y
      U   U
      U   U
      V   V
      V   V

如果RowStride等于Width,那么我们直接通过 planes[0].getBuffer() 获得Y数据没有问题。
但是如果RowStride大于Width,比如对于4x4的I420,如果每行需要以8字节对齐,那么可能得到的RowStride不
等于4(Width),而是得到8。那么此时会在每行数据末尾补充占位的无效数据:

        Y   Y   Y   Y    0    0    0    0
        Y   Y   Y   Y    0    0    0    0
        Y   Y   Y   Y    0    0    0    0
        Y    Y  Y   Y    最后一行没有占位

对于这种情况,我们获取Y数据,则为:

 /**
         * Y数据
         */
        //y数据的这个值只能是:1
        int pixelStride = planes[0].getPixelStride();
        ByteBuffer yBuffer = planes[0].getBuffer();
        int rowStride = planes[0].getRowStride();

        //1、rowStride 等于Width ,那么就是一个空数组
        //2、rowStride 大于Width ,那么就是每行多出来的数据大小个byte
        byte[] skipRow = new byte[rowStride - image.getWidth()];
        byte[] row = new byte[image.getWidth()];
        for (int i = 0; i < image.getHeight(); i++) {
            yBuffer.get(row);
            i420.put(row);
            // 不是最后一行才有无效占位数据,最后一行因为后面跟着U 数据,没有无效占位数据,不需要丢弃
            if (i < image.getHeight() - 1) {
                yBuffer.get(skipRow);
            }
        }

而对于U与V数据,对应的行步长可能为:

  1. 等于Width;
  2. 大于Width;
  3. 等于Width/2;
  4. 大于Width/2

等于width

这表示,我们获得planes[1]中不仅包含U数据,还会包含V的数据,此时pixelStride==2

    U    V    U    V
    U    V    U    V

那么V数据:planes[2],则为:

    V    U    V    U
    V    U    V    U

这种情况下,我们上面的代码也已经处理了。

大于width

与Y数据一样,可能由于字节对齐,出现RowStride大于Width的情况,与等于Width一样,planes[1]中不仅包含U数据,还会包含V的数据,此pixelStride==2。

      U    V    U    V    0    0    0    0
      U    V    U    V    最后一行没有占位

planes[2],则为:

    V    U    V    U    0    0    0    0
    V    U    V    U    最后一行没有占位

等于width/2

当获取的U数据对应的RowStride等于Width/2,表示我们得到的planes[1]只包含U数据。此时pixelStride==1。那么planes[1]+planes[2]为:

    U    U
    U    U
    V    V
    V    V

这种情况,所有的U数据是连在一起的,即 planes[1].getBuffer 可以直接获得完整的U数据。

大于width/2

同样我们得到的planes[1]只包含U数据,但是与Y数据一样,可能存在占位数据。此时pixelStride==1。planes[1]+planes[2]为:

    U    U    0    0    0    0    0    0
    U    U          最后一行没有占位
    V    V    0    0    0    0    0    0
    V    V           最后一行没有占位

总结

在获得了摄像头采集的数据之后,我们需要获取对应的YUV数据,需要根据pixelStride判断格式,同时还需要通过rowStride来确定是否存在无效数据,那么最终我们获取YUV数据的完整实现为:

    public static byte[] getBytes(ImageProxy image, int rotationDegrees, int width, int height) {
        //图像格式
        int format = image.getFormat();
        if (format != ImageFormat.YUV_420_888) {
            //抛出异常
        }

        ByteBuffer i420 = ByteBuffer.allocate(image.getWidth() * image.getHeight() * 3 / 2);
        // 3个元素 0:Y,1:U,2:V
        ImageProxy.PlaneProxy[] planes = image.getPlanes();
        // byte[]

        /**
         * Y数据
         */
        //y数据的这个值只能是:1
        int pixelStride = planes[0].getPixelStride();
        ByteBuffer yBuffer = planes[0].getBuffer();
        int rowStride = planes[0].getRowStride();

        //1、rowStride 等于Width ,那么就是一个空数组
        //2、rowStride 大于Width ,那么就是每行多出来的数据大小个byte
        byte[] skipRow = new byte[rowStride - image.getWidth()];
        byte[] row = new byte[image.getWidth()];
        for (int i = 0; i < image.getHeight(); i++) {
            yBuffer.get(row);
            i420.put(row);
            // 不是最后一行才有无效占位数据,最后一行因为后面跟着U 数据,没有无效占位数据,不需要丢弃
            if (i < image.getHeight() - 1) {
                yBuffer.get(skipRow);
            }
        }

        /**
         * U、V
         */
        for (int i = 1; i < 3; i++) {
            ImageProxy.PlaneProxy plane = planes[i];
            pixelStride = plane.getPixelStride();
            rowStride = plane.getRowStride();
            ByteBuffer buffer = plane.getBuffer();

            //每次处理一行数据
            int uvWidth = image.getWidth() / 2;
            int uvHeight = image.getHeight() / 2;

            // 一次处理一个字节
            for (int j = 0; j < uvHeight; j++) {
                for (int k = 0; k < rowStride; k++) {
                    //最后一行
                    if (j == uvHeight - 1) {
                        //uv没混合在一起
                        if (pixelStride == 1) {
                            //rowStride :大于等于Width/2
                            // 结合外面的if:
                            //  如果是最后一行,我们就不管结尾的占位数据了
                            if (k >= uvWidth) {
                                break;
                            }
                        } else if (pixelStride == 2) {
                            //uv混在了一起
                            // rowStride:大于等于 Width
                            if (k >= image.getWidth()) {
                                break;
                            }
                        }
                    }


                    byte b = buffer.get();
                    // uv没有混合在一起
                    if (pixelStride == 1) {
                        if (k < uvWidth) {
                            i420.put(b);
                        }
                    } else if (pixelStride == 2) {
                        // uv混合在一起了
                        //1、偶数位下标的数据是我们本次要获得的U/V数据
                        //2、占位无效数据要丢弃,不保存
                        if (k < image.getWidth() && k % 2 == 0) {
                            i420.put(b);
                        }
                    }
                }
            }
        }


        //I420
        byte[] result = i420.array();

        if (rotationDegrees == 90 || rotationDegrees == 270) {
            //旋转之后 ,图像宽高交换
            result = rotation(result, image.getWidth(), image.getHeight(), rotationDegrees);
        }

        return result;
    }

你可能感兴趣的:(android,android)