Android NDK 编译 TensorflowLite 的笔记
Android NDK 编译 TensorflowLite 的笔记
互联网上有很多关于 TensorflowLite 的 Android JNI 编译方法，但关于 TensorflowLite 本身的编译却不太好找。因此，我把自己的相关经验做一个总结分享。分享前先感谢一下小雨同学和谷歌 TensorflowLite 团队的朋友，他们为我提供了宝贵的经验和建议。
官网方法
Tensorflow 官网在 2.0 版本发布后做出相应的更新，TensorflowLite (简称 TFLite) 的资料在 For Mobile & IOT 版块，Android 的官方推荐方法在相应的 Guide 里面。由于官网登录有些技术门槛，我把官方的 TFLite 编译方式贴在下面:
配置 WORKSPACE 和 .bazelrc
执行 ./configure 脚本，设置下面几个环境变量参数:
ANDROID_SDK_HOME
ANDROID_SDK_API_LEVEL
ANDROID_NDK_HOME
ANDROID_NDK_API_LEVEL
如果这些环境变量在 configure 阶段没有配置，可以打开 Tensorflow 主目录下的 .tf_configure.bazelrc 文件，参考下面的配置方式，设定环境参数。
build --action_env ANDROID_NDK_HOME="/usr/local/android/android-ndk-r17c"
build --action_env ANDROID_NDK_API_LEVEL="18"
build --action_env ANDROID_BUILD_TOOLS_VERSION="28.0.3"
build --action_env ANDROID_SDK_API_LEVEL="23"
build --action_env ANDROID_SDK_HOME="/usr/local/android/android-sdk-linux"
构建与安装
只要 Bazel 配置完成，我们就可以再 Tensorflow 主目录用下面的脚本编译 TensorFlow Lite AAR。
bazel build --cxxopt='-std=c++11' -c opt \
--fat_apk_cpu=x86,x86_64,arm64-v8a,armeabi-v7a \
//tensorflow/lite/java:tensorflow-lite
最终的编译结果 TensorFlow Lite AAR 以及 libtensorflowlite_jni.so 都会在 bazel-genfiles/tensorflow/lite/java/ 相应的 CPU 架构目录中。
如果直接调用 TFLite 的 JNI 接口能满足 Android 应用的业务需求，到这里已经解决问题了。
其他方法
我的业务场景要求利用 TFLite 的 C 类接口封装推理引擎，支撑业务架构的算法实现。因此，libtensorflowlite_jni.so 的可见函数不足以解决我面临的问题。
下面是 TFLite_jni 的符号导出情况:
...
000076e5 g DF .text 0000000c VERS_1.0 Java_org_tensorflow_lite_nnapi_NnApiDelegate_createDelegate
00007b19 g DF .text 0000003c VERS_1.0 Java_org_tensorflow_lite_NativeInterpreterWrapper_getInputCount
0000ce8d g DF .text 00000068 VERS_1.0 Java_org_tensorflow_lite_Tensor_buffer
00007cb5 g DF .text 00000030 VERS_1.0 Java_org_tensorflow_lite_NativeInterpreterWrapper_allowFp16PrecisionForFp32
0000823d g DF .text 00000078 VERS_1.0 Java_org_tensorflow_lite_NativeInterpreterWrapper_getOutputQuantizationZeroPoint
00008351 g DF .text 000002c0 VERS_1.0 Java_org_tensorflow_lite_NativeInterpreterWrapper_resizeInput
0000d935 g DF .text 00000050 VERS_1.0 Java_org_tensorflow_lite_TensorFlowLite_schemaVersion
00007d41 g DF .text 00000034 VERS_1.0
.....
解决思路有两种，一种是修改 tensorflow/lite/java 下的 exported_symbols.lds文件:
*Java_*
*JNI_OnLoad
*JNI_OnUnload
TfLite*
*tflite*
*TFL_*
另一种思路是，直接编译 tensorflow/lite 下的 libtensorflowlite.so:
bazel build --cxxopt='-std=c++11' -c opt \
--config=android_arm \
//tensorflow/lite:libtensorflowlite.so
其中 --config=android_arm 表示兼容 armeabi-v7a 架构的 Android 交叉编译，详情可以参考 tensorflow 主目录下的 tensorflow/BUILD 文件:
....
config_setting(
name = "android_arm",
values = {
"crosstool_top": "//external:android/crosstool",
"cpu": "armeabi-v7a",
},
visibility = ["//visibility:public"],
)
....
这个 BUILD 文件中包含了很多官方文档不容易查到编译参数。其实，这个 config_setting 相当于封装 2.0 以前 tensorflow/contrib/lite 时代的 --cpu=armeabi-v7a --crosstool_top=//external:android/crosstool 参数。现在这些常用而又繁琐的编译选项组合，已经在 BUILD 文件中通过 config_setting 函数封装好了。我们可以仔细查阅这个文件，使用业务需要的编译参数即可。
最后，展示部分 TFLite 比较完整的导出符号:
.....
00cd155 w DF .text 000000a0 VERS_1.0 _ZN6tflite3ops7builtin15maximum_minimum4EvalILNS2_10KernelTypeE0ENS2_9MinimumOpEEE12TfLiteStatusP13TfLiteContextP10TfLiteNode
0013ea65 g DF .text 0000000c VERS_1.0 _ZN6tflite8internal7MfccDctC1Ev
0004f7ed w DF .text 00000648 VERS_1.0 _ZN6tflite3ops7builtin11activations14LogSoftmaxEvalILNS2_10KernelTypeE1EEE12TfLiteStatusP13TfLiteContextP10TfLiteNode
000642bd w DF .text 0000029c VERS_1.0 _ZN6tflite13reference_ops9ArgMinMaxIhixNSt6__ndk18functionIFbhhEEEEEvRKNS_12RuntimeShapeEPKT_PKT1_S8_PT0_RKT2_
00098673 w DF .text 00000254 VERS_1.0 _ZN6tflite13optimized_ops24FloatDepthwiseConvKernelILb1ELi0ELi1EE3RunEiiiPKfiS4_Pf
000d101d g DF .text 00000006 VERS_1.0 _ZN6tflite3ops7builtin3mul4InitEP13TfLiteContextPKcj
001323b1 g DF .text 00000eb0 VERS_1.0 _ZN6tflite3ops7builtin28unidirectional_sequence_lstm26CheckInputTensorDimensionsEP13TfLiteContextP10TfLiteNodeiiib
0019bb28 w DO .data.rel.ro 00000014 VERS_1.0 _ZTVN6tflite16cpu_backend_gemm6detail14CustomGemvTaskIffffLNS0_18QuantizationFlavorE0EEE
000f9c93 w DF .text 00000008 VERS_1.0 _ZZN6tflite3ops7builtin6reduce8EvalTypeIhEE12TfLiteStatusP13TfLiteContextP10TfLiteNodePNS2_9OpContextENS2_10ReduceTypeEENUlhhE0_8__invokeEhh
000a990d w DF .text 00000998 VERS_1.0 _ZN6tflite3ops7builtin3div7EvalDivILNS2_10KernelTypeE2EEEvP13TfLiteContextP10TfLiteNodeP15TfLiteDivParamsPKNS2_6OpDataEPK12TfLiteTensorSG_PSE_
0011fa0d w DF .text 00000b02 VERS_1.0 _ZN6tflite3ops7builtin3sub13EvalQuantizedILNS2_10KernelTypeE0EEEvP13TfLiteContextP10TfLiteNodeP15TfLiteSubParamsPKNS2_6OpDataEPK12TfLiteTensorSG_PSE_
00048bc9 g DF .text 00000028 VERS_1.0 _ZN6tflite3ops7builtin11activations11SoftmaxInitEP13TfLiteContextPKcj
00094afd w DF .text 000002a4 VERS_1.0 _ZN6tflite3ops7builtin14depthwise_conv23EvalQuantizedPerChannelILNS2_10KernelTypeE0EEEvP13TfLiteContextP10TfLiteNodeP25TfLiteDepthwiseConvParamsPNS2_6OpDataEPK12TfLiteTensorSF_SF_PSD_
00108941 w DF .text 0000015c VERS_1.0 _ZN6tflite13reference_ops13RankOneSelectIbaEEvRKNS_12RuntimeShapeEPKT_S4_PKT0_S4_SA_S4_PS8_
00104965 w DF .text 00000462 VERS_1.0 _ZN6tflite13reference_ops15ReverseSequenceIsiEEvPKT0_iiRKNS_12RuntimeShapeEPKT_S7_PS8_
0010b70d w DF .text 0000019c VERS_1.0 _ZN6tflite3ops7builtin5slice22GetBeginAndSizeVectorsIxEEviPK12TfLiteTensorS6_PNSt6__ndk16vectorIiNS7_9allocatorIiEEEESC_
000887b5 w DF .text 00000004 VERS_1.0 _ZN6tflite16cpu_backend_gemm6detail14CustomGemvTaskIffffLNS0_18QuantizationFlavorE0EED0Ev
0011d101 w DF .text 000005b8 VERS_1.0 _ZN6tflite13reference_ops12StridedSliceIxEEvRKNS_18StridedSliceParamsERKNS_12RuntimeShapeEPKT_S7_PS8_
000516db w DF .text 00000006 VERS_1.0 _ZNSt6__ndk110__function6__funcIZN6tflite3ops7builtin11activations11TanhPrepareILNS5_10KernelTypeE0EEE12TfLiteStatusP13TfLiteContextP10TfLiteNodeEUlfE0_NS_9allocatorISD_EEFffEEclEOf
......
有了这个符号完整的 TFLite 动态库，我们就可以封装自己的 JNI 推理引擎了。