C++DLL与Unity交互的技术总结

C++DLL与Unity交互的技术总结--以光场重聚焦算法为例

    • 项目目标
    • 具体思路
    • 项目技术总结
      • 1.项目背景-光场重聚焦简介
      • 2.OpenCV源码编译包含CUDA模块
      • 3.如何使用VS编写生成C++DLL?
      • 4.Unity C#如何调用C++DLL?
      • 5.C#读取.mat文件
      • 6.OpenCV C++ Mat图像与Unity Texture的转换
      • 7.如何调试被Unity调用的C++DLL?

项目目标

 将C++ OpenCV编写的光场重聚焦算法移植到Unity进行显示。

具体思路

 最初的思路是将光场重聚焦算法在Unity C#脚本中重写一遍,经过调研发现,如果想在Unity中使用OpenCV,可以使用OpenCVforUnity,而OpenCVforUnity其实本身就是用C#对OpenCV C++的一层封装,所以我觉得从性能角度会比直接使用OpenCV C++更差,另外我们的光场重聚焦算法中也使用了cuda加速,我担心OpenCVforUnity并没有封装GPU cuda加速部分的OpenCV。出于性能和实现效率考虑,本文不使用OpenCVforUnity来移植程序!
 本文采用将光场重聚焦算法(原本是一个控制台应用)改为DLL,由该DLL提供算法接口,Unity来完成调用DLL算法接口的方式,完成算法移植。
 光场重聚焦算法初始化参数为光场子孔径图像的路径,DLL应该提供设置该路径的接口函数。光场重聚焦算法的输入参数为disparity,此参数为图像深度信息的线性函数,Unity向DLL输入该参数后,DLL应该计算出该参数对应的光场重聚焦图像,所以DLL应提供一个输入为disparity,返回值为光场重聚焦图像的算法接口函数。

项目技术总结

1.项目背景-光场重聚焦简介

漫谈计算摄影学 (二):利用光场实现“先拍照后对焦”
光场相机是如何实现的?

2.OpenCV源码编译包含CUDA模块

 光场重聚焦算法需要配置OpenCV with CUDA,OpenCV官网提供的编译好的二进制文件(好像)自从OpenCV3之后就不包含一些如特征点提取,CUDA加速的部分,因此我们需要下载OpenCV以及OpenCV-contribute源码自己编译。编译是用的是cmake。

推荐参考安装的博客:
opencv_contrib安装笔记
opencv_contrib 下载驿站(百度云盘下载)

注意安装过程中,cmake选项
C++DLL与Unity交互的技术总结_第1张图片

3.如何使用VS编写生成C++DLL?

 在Visual Studio的项目属性页面,可以看到该项目的 配置类型 是应用程序(.exe)还是动态库(.dll)还是静态库(.lib),通常我们创建的控制台应用,在 配置类型 这里就是应用程序(.exe)。
C++DLL与Unity交互的技术总结_第2张图片
 在VS启动页创建新项目,选择动态链接库(DLL)就可以创建一个动态链接库项目。

 编写一个动态链接库,需要在一个头文件.h中声明你要导出的函数,并在对应的.cpp中实现需要导出的函数。同时也需要定义导出符号,注意导出符号的前缀应保持与项目名一致。其他注意事项如下图:
C++DLL与Unity交互的技术总结_第3张图片
 编写完成后,点击生成解决方案,就可以在工程目录下找到dll文件,例如我的工程是Release模式下x64平台生成解决方案的,那么生成的dll路径就是
…\RefocusLightField\RefocusLightFieldDLL\x64\Release
C++DLL与Unity交互的技术总结_第4张图片
 
 
更多细节可以参考链接:
微软官方教程-Walkthrough: Create and use your own Dynamic Link Library (C++)(推荐!中文博客很多也是参考翻译这个官方教程)
C++在VS下创建、调用dll
(windows平台下)深入详解C++创建动态链接库DLL以及如何使用它(一)

4.Unity C#如何调用C++DLL?

  1. 将生成的.dll文件,放在Unity工程的Assets/Plugins文件夹下。
  2. 在C#脚本中导入需要调用的dll接口函数,如下图

C++DLL与Unity交互的技术总结_第5张图片
通过以上两步就可以在此脚本中调用这些函数了。
 
需要注意的是,C++与C#之间类型转换的问题,个人简单总结如下:

  1. 基本类型如void, int, float, double之间C++与C#都有,直接对应即可。
  2. 字符串的传递在C++中可以用char* 存储,C#中可以使用StringBuilder来对应C++中char*。StringBuilder.Append(“xxxxxxxx”)完成输入。
  3. Intptr可以作为通用指针传递图像等数据。

 
 
C#调用C++DLL参考链接:
【Unity3D】C#调用C++的DLL
C#调用C/C++ DLL 参数传递和回调函数的总结
C++与C#的数据传递与类型转换

5.C#读取.mat文件

 光场重聚焦算法需要用到图像的深度信息,这个深度信息在本文中是通过.mat文件存储的,所以我们需要在C#中读取.mat文件。本文使用的是Math.NET。
环境配置可参考:
C# 使用Math.NET读取mat格式文件内容
 
 
环境配置中可能碰到的问题:

  1. 报错信息有提到该程序包与项目框架不兼容,应该指的是与.NETFramework不兼容。
    C++DLL与Unity交互的技术总结_第6张图片
    解决方案:
    修改unity默认使用的.net 3.5,在Unity界面,Edit – Project Settings – Player中,将Scripting Runtime Version修改为Experimental (.Net 4.6 Equivalent),然后重启即可。
    C++DLL与Unity交互的技术总结_第7张图片
  2. 需要把由package生成的.dll文件放在Unity工程的Assets/Plugins文件夹下
    C++DLL与Unity交互的技术总结_第8张图片
    否则就算VS项目中已经导入了包,在Unity里依旧可能提示找不到MathNet的库

 
关于Math.NET更深入的了解使用:
【原创】开源Math.NET基础数学类库使用(03)C#解析Matlab的mat格式
 

6.OpenCV C++ Mat图像与Unity Texture的转换

 经过光场重聚焦算法计算得到的图像,是在C++ DLL中以Mat类型存储的,我们想要在Unity场景中将图像显示,需要将图像以纹理的方式进行展示,因此需要完成OpenCV C++ Mat类型与Unity Texture的转换。
 本质上这依旧是C#与C++ DLL信息交互。本文使用的方法是,C++ DLL中首先将Mat中的data数组拷贝至unsigned char数组中,再将此unsigned char数组返回;在C#端使用Intptr来提取数据,再通过Marshal.Copy()将数据拷贝至Byte[]数组,然后再把Byte[]数组中的数据赋值给Color32[],注意此处OpenCV缓存是以BGR顺序存储,而Color32则是RGBA,因此赋值顺序需要注意一下,最后将Color32[]与Texture绑定,就可以把Mat图像以Texture的形式在Unity显示了。

 
参考链接:在Unity3D和OpenCV之间传递图片(Texture2D/WebCamTexture转Mat)

7.如何调试被Unity调用的C++DLL?

  1. 将VS生成的.dll以及.pdb文件拷贝至Unity工程…/Assests/Plugins路径下
    C++DLL与Unity交互的技术总结_第9张图片
  2. 在DLL VS工程中,点击 调试–附加到进程–Unity.exe–附加
    备注:1.我在Release模式下也是可以调试的 2.我这里选择的是附加到进程,选择附加Unity调试程序找不到我的DLL,看到有的文章有说需要选择附加Unity调试程序才行。我猜测这可能与Unity版本有关,我用的是Unity2017.4。
    C++DLL与Unity交互的技术总结_第10张图片
    C++DLL与Unity交互的技术总结_第11张图片
  3. 此时可以在模块窗口看到许多DLL,搜索找到你的DLL,如果找不到就肯定有问题。
    如果没有模块窗口,可以在 调试–窗口–模块 打开。
    C++DLL与Unity交互的技术总结_第12张图片
    C++DLL与Unity交互的技术总结_第13张图片
  4. 在VS DLL程序中添加断点,Unity脚本中无需添加断点
  5. 点击运行Unity场景,则会自动跳转至VS界面的断点处
    在这里插入图片描述
    接下去就是平常的调试步骤了~

参考链接:
微软官方–Debug DLLs in Visual Studio (C#, C++, Visual Basic, F#)

下面的链接操作大同小异,我并不是完全按照下面来的。
unity调试native c/c++ dll
Unity3D调试Native Dll
Unity VS2017 调试外部DLL
Unity/C++混合编程全攻略!——基础准备
VS 2017 调试c++ dll的两种方式

你可能感兴趣的:(个人,c++,c#,unity3d,dll)