google/mediapipe Demo

背景

最近项目中要用到手势检测以及手势关键点追踪，回想起google的这篇文章“On-Device, Real-Time Hand Tracking with MediaPipe”，打不开这个的，也可以看“中文版”，给出的效果是这样的：

看到demo图片很心动，就想试试。

过程

• 1.下载项目代码

git clone [email protected]:google/mediapipe.git

• 2.打开手势的demo
  https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_mobile_gpu.md

• 3. 按照instructions来操作

由于我们只是做个验证，并没有修改代码的计划，所以这里就直接用命令行来编译了，选择iOS平台。在开始编译之前，我们需要安装依赖环境，主要是bazel。

这里要注意一下，我一开始也是直接用brew tap bazelbuild/tap和brew install bazelbuild/tap/bazel来安装，然后编译时就报错了。这个时候不要慌，google一搜，就发现是因为bazel版本不对，如下图这哥们所说：

目前mediapipe只支持1.1.0版本的bazel，所以我们就安装对应版本。

• 4. 安装特定版本的bazel
     参考文档

chmod +x bazel--installer-darwin-x86_64.sh
./bazel--installer-darwin-x86_64.sh --user

• 5. 然后可以编译一下试试

不出意外会报错：missing input file '//mediapipe:provisioning_profile.mobileprovision'
这个时候不要慌，google一下也能找到解决办法，正如下图这哥们说的：

1）如果你已经有mobileprovision，直接复制到mediapile/midiapile/路径下，你可能有的这个文件在~/Library/MobileDevice/Provisioning\ Profiles/路径下面，拷一个没过期的过来，改个名字就行了

2）如果你没有这个东西，那就要按照指引生成下载再拷贝改名了

• 6. 安装app

1）打开window上面的devices & simulators窗口

2）将你编译生成的.ipa文件拖到下面app列表中就可以了
不出意外，你编译的文件在此：

• 7. 安装完成，设置信任开发者，开始体验

我主观的感受是，框和关键点检测非常稳，近距离和远距离精度都很高，且在iPhone6S上实测可以满帧运行，体验很好，美中不足的是Demo中误检率有点高，和手类似颜色的都会有概率判定为手部。

参考

基本上都已经用超链接列出来了。