最近换了工作,公司是做康复领域的,由于项目需求需要,Android产品中必须加入VR元素,将虚拟场景与Android融合,打造一个用户满意的产品。
本人是做Android开发的,思考的是把Unity作为Android项目的一部分,还是把Android项目作为Unity的一种,其实把都是可取的,但是根据项目需求权衡利弊后,我还是选者了前者,毕竟相较于Unity,Android自己懂得比较多一些
VR我是在大学一个偶然的机会接触到的,被学校安排去参加VR的相关比赛,于是开始了Unity 3D的学习过程,我大学主课其实是Android开发,后来一有空闲时间就开始研究起了VR,我接触最多的VR设备字节的PICO系列了,当然了Steam VR也有接触过一些。
说起VR大家都会想到游戏,其实吧我所了解到的是Unity不仅仅只是局限于游戏开发领域;虚拟现实,工业,医疗,App都有越来越多的厂商开始开发使用,大部分都是代替了现实去做虚拟化的模拟演练,如果说让我来形容一下Unity——创建虚拟的显示空间,从视觉,听觉,感觉,这三点让你在虚拟的世界里尽情发挥,是心灵得到释放。
由于我在上海租房有点偏,每次到公司通勤时间都是一个半小时,每天花在路上的时间就有三个小时,呜呜呜~~~,还好,公司没有996,也从不加班,这点倒是很庆幸了。每天能够让我期待的估计就是我的Pico neo3了,睡觉前戴上,感受一下虚拟场景的唯美画质,感受一下场景中仿佛近在咫尺却无法触摸的天空盒,还有那栩栩如生的场景模型和毫无违和感的骨骼动画,让我身如其境,白天的劳累又算得了什呢?
言归正传,我在公司的岗位是Android开发,但是由于产品需求,刚刚好我们公司又正缺一位Unity开发人员,不过还是项目需要,当然也可能因为我做过Unity吧,我便负责了Android与Unity交互这一块,也算是填补了公司目前的空缺吧。
其实我之前也没有做过康复类设备的虚拟场景,我也没有过康复类的知识储备,我大学也没有学过医疗知识,我一开始也很好奇,我也是带着学习的心态来做的,按照需求,我先把原项目升级到新版的Unity长期稳定支持版,再将原项目中的一些过时和弃用的API该修改的就修改,该重写的就重写;由于是更新了Unity项目的版本,我们不确定是否能适用相关的硬件设备,而且还要反复打包测试是否能将虚拟场景正常运行上去
写到这里,我突然意识到,好像关于自己工作内容和工作上的事不能随便写的吧,安全起见,我还是不说了, 具体演示视频在我博客视频上也有,大家感兴趣也可以看看
目前大家都喜欢线下打卡某些旅游胜地,名胜古迹,餐厅,公园等公共场所,然后拿出手机打开App拍照发朋友圈
未来可以通过VR的形式,一比一将现实场景还原到虚拟世界中,用户可以线上打卡附近的森林,湖泊,加油站,动物园,体育馆,公园,餐厅等不同公共场所,更加符合当下的疫情的局面
当然了,目前我所了解到的康复产品在使用过程的效果演示图其实也是在虚拟场景中进行的
我所了解到的,其实已经有公司将虚拟场景应用在了党建,司法,教育,军工等相关领域,目前这家公司都已建成VR党建线上体验馆,VR社区矫正教育基地,VR智慧课堂,VR模拟仿真技勤维护系统(基于VR研发的涉及某型发射车,船舶等模型设计,验证,训练,技勤维护系统)
还有就是前端时间很火的数字人,虚拟主播。
我之前也在一些平台上看到虚拟数字人新闻播报视频,这类视频好像给我的感觉与用户拍摄的传统视频有所不同,它着实给整个新闻播报行业增添了丰富的色彩,主持人不再是规规矩矩地坐在那里或者是笔直地站在那里了,而是由虚拟数字人取而代之,幕后的运营也不用辛苦背稿了,直接提供文本,就可以让虚拟数字人只能配音播报出来。
这类情况也是预示着元宇宙的席卷吧
不过我觉得最让行业印象深刻的可能是就是字节跳动了吧 突然之间宣布花了90亿来收购Pico,或者是预感到了元宇宙时代吧!
Unity的版本在2019及其以下选择Mono方式打包出Android项目,反之选择IL2CPP方式打包Android项目
为什么我会说这个Unity版本上会存在差异呢?因为我在工作时发现,我们项目原本是要升级到2022最新版的,但是发现2022用Mono方式打包出来的Android项目运行到Android设备中能启动加载页面,但是加载页面之后立马就报错,显示Failure to iniyialize!类的报错,好像是指找不到 'libmain.so ',然后我去看了文件夹里面的文件,发现Mono打包出来的Android项目文件确实没有这个;于是我又用2022版Unity采用 IL2CPP的方式再打包一个Android项目文件出来,果然,我找到了这个so库文件,对比之下发现 IL2CPP打包出来的Android项目包才有这个库文件,于是我带着好奇心去查看了一下Unity开发文档,看看官方有没有声明原因,不查不知道,一查原来是Unity官方从2020开始就已经推荐大家使用 IL2CPP 打包的方式将Unity项目嵌入到Android项目中,如果再打包是勾选 IL2CPP方式,便可以勾选上ARM64,选择Mono的话就不能勾选上ARM64了,并且打包出来没有libmain.so库,由于我对IL2CPP打包出来的文件夹的目录结构不熟悉,因为它相较于Mono打包出来的文件会多两个文件夹,我一时也不知道该如何做处理才好,再加上项目刻不容缓。我主管当时问我,我们项目选择的Unity版本选好了吗? 我当时考虑到了时间和自己对于2019.4.10f1 LTS这个版本有把握,我便选择了2019长期稳定版本的Unity 3D作为公司项目的开发,主要也是自己不敢冒险的去采用最新版本去做,避免一些不必要的麻烦和BUG。
正常现象,因为用的是个人开发者许可证,应选择购买专业开发者许可证才能跳过启动画面
将Unity虚拟场景嵌入到Android Studio中发现了一个问题,跳转虚拟场景后,先显示Unity Logo的加载页面,这个时间大概是2.5秒左右,但是Logo加载完成后,我惊讶的发现竟然出现了长达10秒左右的黑屏。我一开始以为是报错了,然后我开始了反复测试,发现并不是Unity端报错,也不是Android端报错,看了看日志,发现其实没有报错。于是我开始测试项目运行是否有问题,经过反复打包和测试,我发现项目没有任何问题,全部正常运行,我当时陷入了一个疑问,这个黑屏到底是什么,是Android设备卡了,出问题了吗?后来我再去看看官方文档,去百度了一下,发现其实它就是正常现象。 原因就是因为我没有花钱购买Unity的开发者许可证,因为我用的一直都是Unity学生免费版本的许可证。如果打包的是一个接近空项目Unity的场景,那么嵌入到Android是不会有这个黑屏的,因为Unity打包时,它认为你是做一个业余爱好者的身份来使用;如果你在Unity场景防止外来导入的模型和其他,那么在打包出去的时候Unity认为你将它用做专业开发,用于商业使用,将其嵌入到Android中便出现黑屏画面,当然了,除非你是购买了开发者许可证。唉,如果给用户使用的时候,我们肯定不能让用户等待Unity启动,毕竟这个启动过程有这个10秒左右的黑屏,其实也可以在这个黑屏期间放入自己公司产品的Logo来遮盖,等虚拟场景运行起来后再取消遮盖,或者也可以放入一段动画等等。
嵌入方式不唯一,我的方式是将Unity导出的Android jar包和生成的Android对应文件和相应的Activity文件放入到Android项目中,然后更改添加相关配置
我看到网上其实也有很多其他的嵌入方法,但是核心都只有一个,那就导入的文件依然符合Android的目录结构,只是更加丰富了Android内容,毕竟增加了Unity引擎的虚拟场景,那这个档次一下就上来了。对了,这个不同于SDK的接入,SDK的接入只需放入jar包,将其解压在Android Studio中,再调整一下配置就接入成功了,接下来就可以按照开发文档来进行相关开发。嵌入Unity成功后,还需考虑到双端通信是否能够正常进行,这整个过程网上也没有什么可以参考的了。
Android调用Unity函数
UnityPlayer.UnitySendMessage("","","");
通过从UnityPlayer.UnitySendMessage(“”,“”,“”)方法来调用Unity中的脚本函数,这个UnityPlayer是jar包中所包含的一个类,可以直接调用的,这里Android来调用Unity有一个好处,那就是不用Unity反复打包操作,因为你每次修改Unity场景或者脚本后,你都得到重新打包并且重新嵌入Android,那么这一过程就会很麻烦了,所以我们尽量以Android为主,将功能都间接的交给Android端来控制,可以减少很多的调试开发过程,为项目节省很多不必要的时间。
Unity调用Android函数
AndroidJavaClass androidJavaClass = new AndroidJavaClass("com.unity3d.player.UnityPlayer");
AndroidJavaObject androidJavaObject = androidJavaClass.GetStatic("currentActivity");
实例化AndroidJavaClass对象,获取Android中com.unity3d.player.UnityPlayer,这个类在Unity3d导出工程的unity-class.jar中
实例化AndroidJavaObject对象,是Unity发送消息给Android的关键,获取到Android此刻正在运行的Activity
这里的部分的基本没有什么坑点啊,只要你是按照我的方式来的话,参考上一篇文章,要是这里还有疑问的小伙伴,那可以自己反省反省了
本人也是这方面的小白,若有错误,请麻烦您指出,悉心听教,只是希望后面从事这种项目的小伙伴能快速入门,避免踩坑,减少大量开发时间。最后问一句,有没有和我一样正处在这个开发阶段的小伙伴呢,可以试着联系一下,交流交流。