C++DLL与Unity交互的技术总结

项目目标

 将C++ OpenCV编写的光场重聚焦算法移植到Unity进行显示。

具体思路

 最初的思路是将光场重聚焦算法在Unity C#脚本中重写一遍，经过调研发现，如果想在Unity中使用OpenCV，可以使用OpenCVforUnity，而OpenCVforUnity其实本身就是用C#对OpenCV C++的一层封装，所以我觉得从性能角度会比直接使用OpenCV C++更差，另外我们的光场重聚焦算法中也使用了cuda加速，我担心OpenCVforUnity并没有封装GPU cuda加速部分的OpenCV。出于性能和实现效率考虑，本文不使用OpenCVforUnity来移植程序！
 本文采用将光场重聚焦算法(原本是一个控制台应用)改为DLL，由该DLL提供算法接口，Unity来完成调用DLL算法接口的方式，完成算法移植。
 光场重聚焦算法初始化参数为光场子孔径图像的路径，DLL应该提供设置该路径的接口函数。光场重聚焦算法的输入参数为disparity，此参数为图像深度信息的线性函数，Unity向DLL输入该参数后，DLL应该计算出该参数对应的光场重聚焦图像，所以DLL应提供一个输入为disparity，返回值为光场重聚焦图像的算法接口函数。

项目技术总结

1.项目背景-光场重聚焦简介

漫谈计算摄影学 (二)：利用光场实现“先拍照后对焦”
光场相机是如何实现的？

2.OpenCV源码编译包含CUDA模块

 光场重聚焦算法需要配置OpenCV with CUDA，OpenCV官网提供的编译好的二进制文件(好像)自从OpenCV3之后就不包含一些如特征点提取，CUDA加速的部分，因此我们需要下载OpenCV以及OpenCV-contribute源码自己编译。编译是用的是cmake。

推荐参考安装的博客：
opencv_contrib安装笔记
opencv_contrib 下载驿站（百度云盘下载）

注意安装过程中，cmake选项

3.如何使用VS编写生成C++DLL？

 在Visual Studio的项目属性页面，可以看到该项目的 配置类型 是应用程序(.exe)还是动态库(.dll)还是静态库(.lib)，通常我们创建的控制台应用，在 配置类型 这里就是应用程序(.exe)。

 在VS启动页创建新项目，选择动态链接库(DLL)就可以创建一个动态链接库项目。

 编写一个动态链接库，需要在一个头文件.h中声明你要导出的函数，并在对应的.cpp中实现需要导出的函数。同时也需要定义导出符号，注意导出符号的前缀应保持与项目名一致。其他注意事项如下图：

 编写完成后，点击生成解决方案，就可以在工程目录下找到dll文件，例如我的工程是Release模式下x64平台生成解决方案的，那么生成的dll路径就是
…\RefocusLightField\RefocusLightFieldDLL\x64\Release

 
 
更多细节可以参考链接：
微软官方教程-Walkthrough: Create and use your own Dynamic Link Library (C++)（推荐！中文博客很多也是参考翻译这个官方教程）
C++在VS下创建、调用dll
（windows平台下）深入详解C++创建动态链接库DLL以及如何使用它（一）

4.Unity C#如何调用C++DLL？

 

1. 将生成的.dll文件，放在Unity工程的Assets/Plugins文件夹下。
2. 在C#脚本中导入需要调用的dll接口函数，如下图

通过以上两步就可以在此脚本中调用这些函数了。
 
需要注意的是，C++与C#之间类型转换的问题，个人简单总结如下：

1. 基本类型如void, int, float, double之间C++与C#都有，直接对应即可。
2. 字符串的传递在C++中可以用char* 存储，C#中可以使用StringBuilder来对应C++中char*。StringBuilder.Append(“xxxxxxxx”)完成输入。
3. Intptr可以作为通用指针传递图像等数据。

 
 
C#调用C++DLL参考链接：
【Unity3D】C#调用C++的DLL
C#调用C/C++ DLL 参数传递和回调函数的总结
C++与C#的数据传递与类型转换

5.C#读取.mat文件

 光场重聚焦算法需要用到图像的深度信息，这个深度信息在本文中是通过.mat文件存储的，所以我们需要在C#中读取.mat文件。本文使用的是Math.NET。
环境配置可参考：
C# 使用Math.NET读取mat格式文件内容
 
 
环境配置中可能碰到的问题：

1. 报错信息有提到该程序包与项目框架不兼容，应该指的是与.NETFramework不兼容。
   
   解决方案：
   修改unity默认使用的.net 3.5，在Unity界面，Edit – Project Settings – Player中，将Scripting Runtime Version修改为Experimental (.Net 4.6 Equivalent)，然后重启即可。
   
2. 需要把由package生成的.dll文件放在Unity工程的Assets/Plugins文件夹下
   
   否则就算VS项目中已经导入了包，在Unity里依旧可能提示找不到MathNet的库

 
关于Math.NET更深入的了解使用：
【原创】开源Math.NET基础数学类库使用(03)C#解析Matlab的mat格式
 

6.OpenCV C++ Mat图像与Unity Texture的转换

 经过光场重聚焦算法计算得到的图像，是在C++ DLL中以Mat类型存储的，我们想要在Unity场景中将图像显示，需要将图像以纹理的方式进行展示，因此需要完成OpenCV C++ Mat类型与Unity Texture的转换。
 本质上这依旧是C#与C++ DLL信息交互。本文使用的方法是，C++ DLL中首先将Mat中的data数组拷贝至unsigned char数组中，再将此unsigned char数组返回；在C#端使用Intptr来提取数据，再通过Marshal.Copy()将数据拷贝至Byte[]数组，然后再把Byte[]数组中的数据赋值给Color32[]，注意此处OpenCV缓存是以BGR顺序存储，而Color32则是RGBA，因此赋值顺序需要注意一下，最后将Color32[]与Texture绑定，就可以把Mat图像以Texture的形式在Unity显示了。

 
参考链接：在Unity3D和OpenCV之间传递图片（Texture2D/WebCamTexture转Mat）

7.如何调试被Unity调用的C++DLL？

1. 将VS生成的.dll以及.pdb文件拷贝至Unity工程…/Assests/Plugins路径下
   
2. 在DLL VS工程中，点击 调试–附加到进程–Unity.exe–附加
   备注：1.我在Release模式下也是可以调试的 2.我这里选择的是附加到进程，选择附加Unity调试程序找不到我的DLL，看到有的文章有说需要选择附加Unity调试程序才行。我猜测这可能与Unity版本有关，我用的是Unity2017.4。
   
   
3. 此时可以在模块窗口看到许多DLL，搜索找到你的DLL，如果找不到就肯定有问题。
   如果没有模块窗口，可以在 调试–窗口–模块 打开。
   
   
4. 在VS DLL程序中添加断点，Unity脚本中无需添加断点
5. 点击运行Unity场景，则会自动跳转至VS界面的断点处
   
   接下去就是平常的调试步骤了~

参考链接：
微软官方–Debug DLLs in Visual Studio (C#, C++, Visual Basic, F#)

下面的链接操作大同小异，我并不是完全按照下面来的。
unity调试native c/c++ dll
Unity3D调试Native Dll
Unity VS2017 调试外部DLL
Unity/C++混合编程全攻略！——基础准备
VS 2017 调试c++ dll的两种方式