Luma AI:基于NeRF,文字、图片、视频都可生成3D模型

上周,我们刚刚报道了3D内容方案商Luma AI完成2000万美元A轮融资消息,本周Luma AI继续宣布推出视频转3D场景API:Video-to-3D API。简单来说,现在Luma正式开放了NeRF能力,意味着正在进行商业化探索。

正如最近很火爆的GPT等生成式AI那样,NeRF在最近两年同样是一项关注度极高的方案,而以NeRF为核心的Luma AI发展同样迅速。

Luma AI:基于NeRF,文字、图片、视频都可生成3D模型_第1张图片

可能很多人还不熟悉Luma AI这家公司,它是一个专注于3D内容方案的平台,短短半年之内先后基于NeRF上线了文生3D模型、网页版全体积NeRF渲染器、视频到3D模型API等功能。

关于Luma AI

前面我们提到,Luma的核心就NeRF,简单来讲这是一套三维重建技术方案,它的特点是基于现有视角的图像生成新视角的图像。

有了NeRF,可以说你手里的相机不单单只是拍照这么简单,而是变成数据采集装置,通过拍摄大量图片或视频,即可创建出一个可微分的三维场景。比起传统的摄影测量方案,NeRF的优势是可以用更少量的数据生成三维模型。

Luma AI:基于NeRF,文字、图片、视频都可生成3D模型_第2张图片

​据青亭网了解,Luma公司成立于2021年9月,总部位于美国加州,创始人:Amit Jain、Alex Yu,分别在3D视觉、机器学习、实时图形学有所建树。

近半年发展历程:

  • 22年10月,开放网页版Luma;
  • 22年11月,iOS版App开始测试;
  • 22年12月,推出文生3D模型功能;
  • 23年1月,iOS版App开始支持NeRF Reshoot;
  • 23年1月,升级NeRF,自动去除杂影;
  • 23年2月,推出网页版全体积NeRF渲染器;
  • 23年3年,iOS版App 支持AR预览;
  • 23年3月,推出视频转3D API。

那么,接下来我们分开来解析一下Luma的产品组合。

Luma App

实际上,上述很多功能都是组合形式出现,例如手机App,当前Luma只推出了iOS客户端。可以通过iPhone上传视频,基于NeRF生成3D场景。手机版App的推出可以说是一个大的突破,因为之前市面上并没有类似的NeRF产品出现。

很快,经过网友们的测试发现Luma NeRF的效果非常出色,色彩、光影、清晰度等方面都良好。据悉,Luma对NeRF进行了改良和优化,才有这么好的表现。

视频效果

导出3D模型效果

iOS端支持导入视频,以及引导模式和自由模式三种:

  • 导入模式,这个很好理解,和Web模式功能类似,对设备和视频理论上要求最低。
  • 引导模式,需要360度拍摄,App将具体提示框提醒你的拍摄视角、拍摄位置;
  • 自由模式,支持非360度(部分视角)拍摄,App不会给出明确提示框,当然也需要尽可能拍摄多个角度。

引导模式、和自由模式需iPhone 11或更新机型,而查看3D模型要求是iPhone X或更新机型。

根据@未来GIS实验室 的测试,小物体渲染后细节表现不错,室内场景可还原墙面和地板的反光,室外场景的效果同样非常逼真,整体的效果可以说是非常不错。

Luma AI:基于NeRF,文字、图片、视频都可生成3D模型_第3张图片

NeRF Reshoot也是一个有意思的功能,通过生成的3D场景你可以“重新拍照”,比如你可以从其它角度查看图片并重新拍照;重新定制虚拟相机路线,生成一段新的视频;修改图片/视频比例;调整帧率等等,也可以在AR模式下结合6DoF模式还原当时拍摄场景,算是一项进阶玩法。

另外,Luma App还加入AR预览模式,这个没啥难度,应该就是基于ARKit的体验拓展。

网页和API类

网页版本目前集成了主流功能,包括:网页版Luma、文字转3D模型、视频转3D API。

1,网页版Luma

网页版Luma就是自行上传照片、视频来进行三维重建,网页版可以上传更大的文件,目前视频和图片(ZIP压缩包)体积最大限制5GB,通常来讲照片的生成质量比视频要好一些,前提是照片是进行特定拍摄,无明显模糊。

Luma AI:基于NeRF,文字、图片、视频都可生成3D模型_第4张图片

另外,Luma官网还会列出一些精选的3D场景,大家可以用于参考。当然,在App里可以查看或编辑其他人的精选3D场景。

2,文字转3D模型

Luma AI:基于NeRF,文字、图片、视频都可生成3D模型_第5张图片

文字转3D模型功能目前依然未全量开放,就像是Midjourney一样,只需输入文字描述,即可生成对应的3D模型。

文字生成3D模型效果图

上图是文字生成3D模型的示例,官网上也有更多示例,并不是每一个质量都很好。当然,目前也处于测试阶段,效果也跟你的Prompt有很大关系,感兴趣可以先加入等待列表。

3,视频转3D API

​效果方面,视频转3D的效果几乎和网页版一致。​价格方面,转换一个视频费用1美元,就是单纯的按照次数收费,不管视频容量大小,所以当然是尽量丰富视频的细节,转换时间在30分钟左右。

Luma AI:基于NeRF,文字、图片、视频都可生成3D模型_第6张图片

Luma表示,这一方案将为:电子商务、游戏美术、影视特效等领域发展重要价值,因为此前创建3D模型的价格在60-1500美元,时间需要2-10周(Luma提供数据)。

以下是Luma提供的用于转换3D场景的视频拍摄技巧:

捕获过程

捕获速度:运动模糊会显著降低重建质量。为了达到最佳效果,慢慢移动手机,尽量避免快速移动,尤其是旋转。

场景覆盖:为了获得最佳效果,应该从尽可能多的独特视角捕捉物体或场景。此外,在拍摄时最好移动手机(在3D空间中),而不是从静止位置旋转它。站在同一个地方,在一个球体中向外捕捉通常不太好。引导捕获模式是一个很好的选择,以确保足够的覆盖。

对象大小对于引导捕获,任何可以从所有角度(包括顶部和底部)轻松查看的对象都是一个很好的候选对象。对于自由形式的捕捉来说,任何东西都是公平的,尽管更好的覆盖范围会产生更好的结果,所以较大的物体可能难以获得完全干净的结果。

物体距离为了获得最佳效果,在扫描时尽量保持整个物体在帧中。这样做将为应用程序提供更多关于反射和物体形状的信息,从而实现更准确的重建。

物体材质目前,该应用程序挣扎于复杂的反射(例如,曲面镜面),弯曲的透明物体(例如,车窗或塑料水瓶),以及非常大的无纹理表面(例如白墙)。大多数其他材料都很好。

捕捉环境光照水平:该应用程序可以在大多数光照条件下捕捉物体,只要纹理仍然可以识别(即,没有被洗掉或完全黑暗)。照明条件将被烘焙,所以场景应该点亮,但你希望它出现在最终的结果。

移动的物体在捕捉过程中,场景中的任何运动都可能降低最终结果的质量。例如,在风中移动的树叶可能会导致细节的丢失,而在背景中移动的人可能会引入伪影。拍摄时请注意不要将手指/手臂/腿伸入画面。

相机设置

视频设置注意事项:如上传视频,需关闭视频稳定选项,尤其安卓手机;iOS需禁止使用“HDR视频”选项。

曝光:建议使用固定曝光,尽管动态曝光对室外场景有益。

捕获格式

基于图片生成:可在Luma网页上传图片压缩包。通常照片比视频质量更高,但需特定拍摄,无模糊,并包含EXIF元数据。

提醒:可上传原始格式图像(如CR3和DNG等)和HDR图像(.exr),以实现更高的动态范围,以提高质量。如果使用原始文件,元数据将用于sRGB渲染(而底层NeRF将是HDR)。使用EXR,渲染的颜色将在当前颜色空间中,因为没有colorspace元数据。

不建议上传大于4K分辨率的图片,当前版本对高分辨率图像效率更低;

鱼眼相机和360相机:360度视频可以更有效实现大面积,但很多360相机实际上是双鱼眼相机,进行拼接形成,拼接可能会导致失真。但可以手动在网页版上传,注意选择对应的模式。注:单鱼眼模式Insta360 .insv文件可以直接重命名为mp4上传;多鱼眼模式可将Insta360 .insv文件放在一个zip上传。

你可能感兴趣的:(数码相机)