20220701分享

Web3.0 元宇宙 区块链 Ar 浅想

Web1.0:内容展示为主:Yahoo、新浪和搜狐,网易等,内容为主,少交互;2000年左右的门户网站。

Web2.0:构建平台 Facebook、微信和抖音等,淘宝等搭建一个平台。用户在平台上自行交互。每个人都可以创造内容。 但还是在中心化的背景下。
问题:使用权,隐私数据成为互联网的资产。个人在大数据面前像是在裸奔。使用权,所有都依附于平台。平台倒闭,所有的东西物料都消失。

Web3.0:解决以上问题,去中心化,解决互联网的问题,虚拟经济与实体经济结合。之前互联网商品生产参与了社会资料交换,分配,但是没有资料的生产中。
Web3.0数字资产应用,虚拟经济。每个人是个节点,所有信息归属自己。记录在自己的数字钱包内,别人可以使用,但是版权始终在自己手里。代表应用 nft数字藏品。价值在去中心化的平台上无缝移动。所有权和控制全是分散的。
Web3.0 存储方式的变化,存储在个人设备中,而不是大厂服务器中。

与元宇宙结合 资产钱唯一化且可流通。虚拟经济实体化。信息的从平面走到更加3d 更加全息的,目前流行的,每个人都可以是生产者。并生产产品唯一性。

Ar

1.业务背景:

Ar技术越来越火。想利用Ar的特性做一些事情。希望把口袋撸猫中的宠物Ar化。(个人不太成熟的想法)

2.方案选型:

1.ArKit+ArCore。 安卓和苹果都用自己的原生库。性能最强大。免费。比如下面的列子,苹果ArKit做了光照优化。使得物品看起来更加逼真。

2.Easyar国内收费跨平台第三方SDK,收费,汽车之家,KFC等在用。支持云。EasyAR在很多方面是超过现有引擎的。随便列举几个:国产android手机的兼容性远超metaio,相对于vuforia,EasyAR有完整的扩平台支持,独有的录屏功能。底层unity。

3.Vuforia国外免费的Ar跨平台SDK。目前世界上主流的AR SDK提供厂商,国外的主要是Vuforia、Metaio,其中Metaio在2015年5月已被Apple重金收购,之后就没有再对外公开过SDK,经过两年的封闭开发,Apple已经打造出了强大的ARKit,能够基于庞大的iOS和iPad设备生产出各种惊艳的AR产品。Vuforia也在2015年11月被PTC公司重金收购,但是后续一直在更新并提供SDK,因此在ARKit普及之前,Vuforia一直是开发者最青睐的AR SDK,众多的功能以及高质量的识别技术,良好的跨平台性和兼容性,兼容目前主流的PC,Android,IOS平台.使得Vuforia早已深入人心,是学习AR应用开发的必备技能。部分收费。底层unity

3.Ar能干嘛,Ar开发介绍:

我的简单个人理解为:把虚拟的模型现实化。下图蜡烛为虚拟模型。

开发流程:制作模型----把模型倒入到项目里----建立坐标系XYZ----捕获现实场景----虚拟现实交互(放置等)。

其他公司开发成功业务:Ar相机,百度实景地图。支付宝红包等等。

image

4.方案1所支持机型:

苹果iOS 阵营:ArKit 框架。支持A9处理器以上的手机。 (6s,SE以上支持)。

谷歌安卓:ArCore 框架。支持A9处理器以上的手机。 以下如图:也请安卓预言同学给个这更加准确的估值。支持的手机占总体多少。如果用ArCore开发安卓的可行性。

image

gr2/auto-orient/strip%7CimageView2/2/w/1240)

四.AR特性及SDK特性详细介绍 :

People Occlusion(ARKit)

AR 内容能够以逼真的方式从现实世界中的人物前后通过,带来更身临其境的增强现实体验,同时能在几乎任何环境中实现绿屏风格效果。

动作捕捉(ARKit)

用单个摄像头实时捕捉人物的动作。将身体姿态和动作化为一系列关节及骨骼活动,让您能在增强现实体验中输入运动和姿势,让人成为增强现实体验的中心。

同时使用前置和后置摄像头(ARKit)

您可以同时使用前置和后置摄像头来进行面部和现实场景跟踪,开创新的可能。例如,用户可以仅使用自己的面部与后置摄像头视图中的增强现实内容进行交互。

多面部跟踪(ARKit)

ARKit 面部跟踪可以一次跟踪最多三个面孔,使用 iPhone X、iPhone XS、iPhone XS Max、iPhone XR 和 iPad Pro 上的原深感摄像头来提供拟我表情和 Snapchat 等前置摄像头体验。

协作会话 (ARKit)

通过多人之间的实时协作会话,您可以构建一个协作的现实场景地图,加快增强现实体验的开发速度,用户也能更快地获得像多人游戏那样的共通增强现实体验。

一次检测最多 100 张图像(ARKit)

并自动估计图像中对象的实际尺寸。3D 对象检测功能变得更强大,可以在复杂的环境中更好地识别对象。现在,使用机器学习技术可以更快地检测环境中的平面。

动态目标加载(ARKit)

灵活添加识别目标,随时随地为用户呈上最新内容。

AR录屏 (视+)

一键屏幕录制功能,方便快捷地记录AR精彩时刻。

真实环境融合(太虚VR)

不仅能够识别具体的场景,还能识别场景中真实的三维坐标信息,以达到虚拟内容和真实环境的完全融合。

人脸特效(百度AR)

基于百度飞桨(PaddlePaddle)高性能深度学习框架,人脸关键点检测在大姿态、极端表情、遮挡等复杂场景下表现出可靠的鲁棒性和准确性,可用于实现人脸美型、美妆、道具以及3D动画表情等丰富人脸特效。

肢体特效(百度AR)

移动端实时肢体骨骼点/轮廓点检测,支持16点3D骨骼点、18点/59点2D关键点不同输出方式,跨平台兼容iOS/Android/Windows等主流终端设备,适用于肢体游戏或实时美体瘦身、全身特效等特效场景。

手势特效(百度AR)

超轻量级手部交互算法能力矩阵,涵盖手势识别、指尖点检测和手势关键点检测,精准度业内领先。全平台实时高速运行,可实现手势控制、手部特效、空间作画等多种创意玩法。

环境特效(百度AR)

完备的环境特效能力矩阵,包括人像分割、天空分割、头发分割、物体检测等多项算法能力,打造人像与虚拟环境的自然融合,支持人像背景替换、染发、天空特效、动画叠加及更多视频创意特效的组合。

离线高精地图构建(百度AR)

百度已实现了一套完整的地图构建方案,支持对用户通过移动设备采集的数据进行处理分析,打通常见三维重建数据导入接口,并且兼容相同格式下的第三方数据。具备数据批量化生产能力和易集成特性。

实时定位与跟踪(百度AR)

采用最具前瞻性的视觉技术方案,提供厘米级高精度实时定位与跟踪服务,将融合百度视觉语义化能力,持续提升在线定位稳定性与精准度;拥有兼容Google、Apple平台的持续跟踪能力与独有自研跟踪能力共同构成的融合跟踪方案,可满足市场高中低端机型的全场景体验需求。

3D 识别与跟踪(百度AR)

国内领先的3D识别、跟踪能力,支持实物的跟踪识别。在创新性引入纹理特性与边缘轮廓联合优化的基础上,可对日常生活及工业场景中丰富纹理或弱纹理的3D物体进行实时跟踪。

云端实物识别(百度AR,阿里火眼,Easyar)

云端图像目标定位和分类识别,终端进行实时识别和跟踪。

稀疏空间地图(Easyar)

扫描环境实时生成稀疏3D点云地图:移动端实时稀疏建图、支持持久化内容放置、支持重定位、支持多地图、支持多人共享。

稠密空间地图(Easyar)

扫描环境实时生成3D网格地图:移动端实时稠密建图、无需3D传感器、支持碰撞检测、支持遮挡效果、建模速度超过自然行走速度。

运动跟踪(有机型限制)(Easyar)

获取设备相对现实世界的位置和姿态:快速初始化、尺度漂移低、快速重定位、视觉惯性里程计、兼容ARCore不支持的主流Android设备。

表面跟踪(有性能限制)(Easyar)

获取设备相对于环境表面的位置和姿态:无需初始化、强大的表面贴合能力、持续跟踪不丢失、兼容iOS和Android系统下高中低端机型。

虚拟物品的碰撞(Easyar)

Ar虚拟模型间的相互交互。

五.Demo运行实际效果展示:

[图片上传失败...(image-597054-1591781653492)] [图片上传失败...(image-d34c40-1591781653492)] [图片上传失败...(image-8998ae-1591781653492)]

[图片上传失败...(image-327fab-1591781653492)]

六.部分SDK业内评价:

原生 ArKit(iOS)+ ArCore(安卓)

安卓和苹果都用自己的原生库。性能最强大。免费。比如下面的列子,苹果ArKit做了光照优化。使得物品看起来更加逼真。

Vuforia

支持平台:Android iOS UWP国外免费的Ar跨平台SDK。目前世界上主流的AR SDK提供厂商,国外的主要是Vuforia、Metaio,

其中Metaio在2015年5月已被Apple重金收购,之后就没有再对外公开过SDK,经过两年的封闭开发,

Apple已经打造出了强大的ARKit,能够基于庞大的iOS和iPad设备生产出各种惊艳的AR产品。Vuforia也

在2015年11月被PTC公司重金收购,但是后续一直在更新并提供SDK,因此在ARKit普及之前,Vuforia一直是开发者最青睐的AR SDK,

众多的功能以及高质量的识别技术,良好的跨平台性和兼容性,兼容目前主流的PC,Android,IOS平台.使得Vuforia早已深入人心,

是学习AR应用开发的必备技能。部分收费。底层unity。

视+:Easy AR,国内做的比较早的AR SDK,最早是对标Vuforia SDK,技术能力很不错,不过可能最近转型做B端业务了,之前华为P20发布时候内置的AR应用中还有一款是视+提供的。SDK方向更新比较慢,最近版本是今年3月,上一版本是去年9月。如果仅仅从发布的SDK考量技术能力的话,我觉得和Vuforia有一定差距,不过国内SDK来说还不错;

百度AR:目前BAT中唯一开放的AR SDK,相信就技术而言,面向开发者开放,是技术实力的体现了,答主了解到目前DuMix AR SDK包括原生的Android&iOS端SDK,还包括内测中的Unity SDK;

腾讯AR:有开放的QQ-AR平台,也有落地到QQ中的AR应用,但就技术而言,目前只能看到在腾讯云中公布的AR服务解决方案。而且16年QQ-AR火炬接力当时还是亮风台提供的技术支持;

阿里AR:在阿里AR开发者平台,可以看到其SDK的介绍,但目前暂未开放。从答主经验来看,各家SDK介绍差别不大,具体效果有待验证。不过目前阿里AR落地渠道较多,支付宝、天猫、淘宝等都集成了AR功能,去年双11天猫还结合ARKit玩了一把“请范冰冰到你家”的营销推广;

网易洞见:要说产品,我觉得网易洞见是最具匠心和情怀的,大家可以下载他们AR独立APP--网易洞见,无论是渲染效果还是交互操作还是产品细节,打磨的非常好,是目前国内AR行业产品的标杆,当然也和他们集成unity引擎有关,在渲染方面做到很极致。关于SDK的话,也是在官网上有一些介绍,暂未开放。不过从他们的产品体验来看,技术能力应该也不差;

商汤AR:SenseAR主要做B端业务,从最早开始做直播特效、人脸贴纸,到与OPPO合作内置AR能力到手机系统,其实可以看出来技术实力应该很强。具体可参考答主专栏《“管中窥豹”--浅谈商汤SenseAR及应用场景思考》;

亮风台:Hi AR是亮风台推出的SDK,除此之外也有AR眼镜。曾有幸听过亮风台CTO演讲,绝对的技术大牛,我觉得亮风台技术储备应该很强,就单纯做AR眼镜这块,我觉得就值得点赞,因为大家都知道这是一个不赚钱的事情,包括HoloLens也是一样。但HiAR SDK用起来和Easy AR SDK有些像,始终都没有Vuforia顺手;

太虚AR:我其实非常敬佩太虚这个小的创业公司,有创新,不同质。最早关注太虚的人应该都知道,他们当年的SDK是主打模糊识别能力的,虽然被诟病是copy Vuforia源码,但他们对AR的思考和探索是其他公司没体现出来的,虽然模糊识别可能也是个伪命题。在16年SLAM技术还没市场化的时候,太虚也是早早推出了SLAM能力,答主体验过,效果还可以,只是机型适配做的不好。不过AR行业竞争激烈,目前void ar应该没什么市场了,可能公司也转型了,SDK还停留在最初的Beta版,技术能力相对一般吧。

总结来说,国内做AR技术的公司,大多有自己的业务场景,为自己服务,比如BAT、网易;也有一些for B端客户,提供整套解决方案。但是从开发者来讲,随着ARKit、ARCore的发布以及适配机型的增加,国内AR SDK可能面临一个比较尴尬的境遇,是转型还是创新,我会持续关注!

补充(5月28日会议)

Vuforia此次推出用外国硬件相机扫描实景物体可以直接生成模型,不支持室外,不支持运动和有弹性的。

可以识别室内场景。比如把我们办公室扫描出来,生成室内地图。

如果不购买硬件设备,可以找国内的代理团队。

通过modle tager 在Vuforia里面进行调用,可以对扫描出来的模型进行操作。

比如汽车,可以生成汽车模型,然后现实中遇到汽车时候,扫一扫可以调用到汽车模型。可以给汽车变颜色,查看汽车的内部构造。

与头戴设备结合,将虚拟现实结合。在实践中生成地图,虚实结合。类似于mr。

一.业务背景:

Ar技术越来越火。想利用Ar的特性做一些事情。希望把口袋撸猫中的宠物Ar化。

二.推荐方案

ArKit+ARCore+Easyar。

推荐理由:ArKit未来主流方向。最好用,最逼真,和苹果兼容性最好。

ARCore谷歌原生库,发展迅速。

Easyar 价格便宜,支持ArKit 和ARCore 混合开发。

Sketchfab库:用户现在可以访问超过200万个3D模型。尽管Sketchfab声称自己拥有“地球上最大的AR内容库”。

BAT只有百度开发了AR库。结合地图,百度AI,环境虚拟有一些优势。 自己开发的游戏引擎,支持手柄,收视5等交互。

网易做的不错,模型做的比较好看。但是SDK接入5万起。开发工具是自研。上手比较难。

你可能感兴趣的:(20220701分享)