OCR-Android部署问题总结

1 语义模型部署

1.1 问题一：模型转换

我们在PC端使用的模型参数文件为pth格式，而andorid端读取模型参数格式的要求为pt，因此需要我们对模型参数进行转换。

1.2.1 解决方案一：直接转换

可以看到，要想转换成功，必须将模型的输出修改为tuple或NameTuple，此模型为pytorch自带的模型，因此我尝试直接修改对应文件的输出，但是依然解决不了这个问题。

1.2.2 解决方案二：重新训练模型

在之前的调研中，我们不仅找到了该语义模型，同时也找到了该模型的训练数据，因此我们尝试自己训练模型。

2.1 问题二：模型部署问题

pc端的模型移植到android端，不仅需要读取模型参数，同时也要进行推理。

2.2.1 解决方案一：自己重写推理过程

通过潘师兄的指点，了解到我们可以自己手写推理过程，但是我么的模型的结构更加复杂，会影响到推理速度，因此我们放弃了这个方案。

2.2.2 解决方案二：Paddleseg

在不断的调研中，我们发现paddleseg上有许多的语义分割模型，且有相应的推理框架，我们只需要利用我们的数据进行训练，然后部署到android端即可。

3.1 问题三：模型部署到Android端后输出错误

我们首先训练了一个deeplabv3_resnet50模型，但是该模型参数庞大，整体有150多M，不适用于android端。因此我们重新训练了一个MobileNetV3模型，只有12M，且效果与deeplabv3_resnet50差不多，但是当我们将其部署到android后，发现其输出有巨大问题。

3.2.1 解决方案：修改模型输出

经过我们各自调试，我们发现是模型在转换过程中出现了一定问题，具体原因尚不明确，但是我们可以看到，模型输出的图案形状是正确的，只是出现了两个相同的图案，所以我们对这个输出结果进行了加工修改，只取其1/4，并将其放大到原来的大小。