Android 使用MediaPipe

Android 使用MediaPipe

1.介绍

MediaPipe是一款由Google开发并开源的数据流处理机器学习应用开发框架。它是一个基于图的数据处理管线，用于构建使用了多种形式的数据源，如视频、音频、传感器数据以及任何时间序列数据。MediaPipe通过将各个感知模型抽象为模块并将其连接到可维护的图中来解决这些问题。

• 优点

  • 有效管理资源(CPU和GPU)达到低延迟性能
  • 处理诸如音频和视频帧之类的时间序列数据的同步
  • 并测量性能和资源消耗（目前Google正在开发，尚未开源）

• MediaPipe的主要组件包括：

  • (1) 图（Graph）-有向图
  • (2) 数据包（Packet）
  • (3) 节点（Node）
  • (4) 数据流（Stream）
  • (5) 图配置（GraphConfig）
  • (6) 计算单元（Caculator）、
  • (7) 子图（Subgraph）

2.安装

• 下载MediaPipe源码

  git clone https://github.com/google/mediapipe.git
  cd mediapipe
  

• 安装bazel

  • 添加Bazel分发URI作为包源

    sudo apt install curl gnupg
    curl -f https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -
    echo "deb [arch=amd64] https://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list
    

  • 安装和更新bazel

    sudo apt update && sudo apt install bazel
    sudo apt update && sudo apt full-upgrade
    

• 安装OpenCV和FFmpeg

  sudo apt-get install libopencv-core-dev libopencv-highgui-dev \
                         libopencv-calib3d-dev libopencv-features2d-dev \
                         libopencv-imgproc-dev libopencv-video-dev
  

• 安装GPU库

  sudo apt-get install mesa-common-dev libegl1-mesa-dev libgles2-mesa-dev
  

• 运行hello world

  export GLOG_logtostderr=1
  
  # 不启用GPU
  bazel run --define MEDIAPIPE_DISABLE_GPU=1 mediapipe/examples/desktop/hello_world:hello_world
  
  # 启用GPU
  bazel run --copt -DMESA_EGL_NO_X11_HEADERS --copt -DEGL_NO_X11 mediapipe/examples/desktop/hello_world:hello_world
  

• 运行结果打印10次Hello World：

  # Hello World!
  # Hello World!
  # Hello World!
  # Hello World!
  # Hello World!
  # Hello World!
  # Hello World!
  # Hello World!
  # Hello World!
  # Hello World!
  

3.编译Android aar

• 1.配置NDK和SDK环境

  在.bashrc中添加里面路径，采用source .bashrc配置生效:

  export ANDROID_HOME=
  export ANDROID_NDK_HOME=
  

• 2.进入mediapipe源码文件夹在mediapipe/examples/android/src/java/com/google/mediapipe/apps下新建buid_aar文件夹并创建BUILD文件内容如下

load("//mediapipe/java/com/google/mediapipe:mediapipe_aar.bzl", "mediapipe_aar")

mediapipe_aar(
    name = "hand_tracking", //编译aar的名字  
    calculators = ["//mediapipe/graphs/hand_tracking:mobile_calculators"],
)

• calculators：指向需要编译的库的BUILD文件，可以到目录中找到 mediapipe/graphs/hand_tracking/BUILD 文件

  内容如下

  //文件中有
  cc_library(
      name = "mobile_calculators",
      deps = [
          "//mediapipe/calculators/core:constant_side_packet_calculator",
          "//mediapipe/calculators/core:flow_limiter_calculator",
          "//mediapipe/graphs/hand_tracking/subgraphs:hand_renderer_gpu",
          "//mediapipe/modules/hand_landmark:hand_landmark_tracking_gpu",
      ],
  )
  
  

• 3.在mediapipe目录下运行命令编译 (编译的是需要梯子)

  bazel build -c opt --fat_apk_cpu=arm64-v8a,armeabi-v7a //mediapipe/examples/android/src/java/com/google/mediapipe/apps/buid_aar:hand_tracking  //hand_tracking： 在2中新建的BUILD文件对应的 name
  

  • 生产的aar路径：

    mediapipe/bazel-bin/mediapipe/examples/android/src/java/com/google/mediapipe/apps
    

• 4.Android 项目中使用

  • 1.新建项目引入aar

  • 2.打开 mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu/BUILD 文件 （每一个功能都有一个目录）

     assets = [
            "//mediapipe/graphs/hand_tracking:hand_tracking_mobile_gpu.binarypb",
            "//mediapipe/modules/hand_landmark:handedness.txt",
            "//mediapipe/modules/hand_landmark:hand_landmark.tflite",
            "//mediapipe/modules/palm_detection:palm_detection.tflite",
        ],
    

    注意：.binarypd 需要编译获取到,生成的文件在mediapipe/bazel-bin/mediapipe/graphs

    	bazel build -c opt mediapipe/graphs/hand_tracking:hand_tracking_mobile_gpu_binary_graph
    

    在对应的目录下找到上面对应的文件拷贝到assets目录下

  • 3.代码参考 mediapipe/mediapipe/examples/android/src/java/com/google/mediapipe/apps/handtrackinggpu/MainActivity.java

4.其他

• 修改aar源码

  mediapipe/mediapipe/java //目录下是aar源码可以修改