制作3D实时交互影像产品，需要用到的技术和软件！

文章转自：http://m.sohu.com/a/279275928_616709

1. Ventuz 软件

2. TouchDesigner 软件

 

---

对于喜爱新媒体艺术的人来说，teamlab这个名字一定不陌生，作为新媒体艺术界的当红炸子鸡，teamlab的团队成员则是包罗万象，他们这样描述自己的团队：一群由程序员、CG，艺术家、数学家、交互设计师。。等各种各样的人组成的追求极致技术的艺术集团。

这也就可以理解，为何teamlab每次的新作总是给人许多技术上的惊喜，但对于这些多技术交叉产生的新媒体艺术作品，我们似乎总是没有一个详细而准确的称呼，来分辨他们的类别，比如teamlab的作品：《在人们聚集的岩石上，注入水粒子世界》

当人站立在作品上，触摸作品时，人会成为能够改变水流的岩石，观赏者自身变成了障碍物改变水的流向。

在介绍它时，有人称之为“3D沉浸式交互作品”，有人称之为“交互艺术装置”，或者更直接“新媒体艺术作品”。。。就连我们往期介绍它时，也纠结了半天，索性最后只说原名，连分类都免了。

由此可见，翻译家真的是不容易，难怪王小波在《我的师承》一文中说，“假如中国现代文学尚有可取之处，它的根源就在那些已故的翻译家身上。”

看来，AI取代人类从事翻译工作，还有很长一段路要走。而对于类似于上面这样的作品，OF的一位老师给出了他对此类作品的描述：“3D实时交互影像作品”。

虽然读起来还是有些拗口，但如果了解作品所涉及到的技术，就能清晰的理解其中的含义。于是，腿毛君简单的梳理了制作一件“3D实时交互影像作品”过程中，所需技术和一些相关的软件。希望能解答你的疑惑；有些地方不能说的很准确，也希望有大神能给予指正。

---

0 1

创意阶段

这个无需多言，创意可以很简单，也可以很具体，但完成一件优秀的作品， 自然需要好好的规划作品的每个执行步骤。举个例子，下面是Playmodes工作室于9月发布的一款立体光动态雕塑作品「Espills」

为了打造这款装置，Playmodes先是草拟出作品的想法和框架，从几何体到叙事概念，以及3D模拟可视化装置的最终形态。

---

0 2

3D视觉内容创作

或许流传最广的3D建模软件就是《我的世界》，“此生无悔入MC，来世还做方块人”，作为一款沙盒游戏，MC不只有喜欢探险种田的佛系玩家。也有不少脑洞大开的人在游戏里实现自己创意，搭建出各种令人叹为观止的建筑。

国建Cthuwork作品

作者微博：https://weibo.com/Cthuwork?is_hot=1

《别人的世界》

3D建模的软件很多，每款应用的领域和侧重的功能也不尽相同。比如3ds Max这款软件常用于建筑设计，而Autodesk Maya等则是常用于游戏CG，动画等行业。

这两款软件也并不能完全满足大家的需求，有的设计师希望能快速上手3D建模，于是便选择学习难度低，作品质量高，拥有许多预设的C4D；有人希望做出爆炸级别的特效，就选择了自带Mantra渲染器的Houdini；除了这些软件，还有 常用于三维角色建模的ZBrush；以及为3D分形成像的Mandelbulb 3D等等。

Mandelbulb 3D操作界面

可能有些人会问，这么多3D建模软件，哪一款才是我的菜？腿毛君建议你理清自己的需求后，向3D届的老前辈咨询，或者仔细阅读下这篇文章《从百度、谷歌搜索指数看三维软件的趋势》

http://www.bgteach.com/article/29

最后，对分形艺术感兴趣，又懒得下Mandelbulb 3D去体验的同学，可以直接在App store上下载“分形的奥秘”这个应用，体验分形之美~

在完成了作品的大纲，建好了原始模型后，接下来就是为模型贴图，并细致调整折射，反光等参数，让你的模型显示你想要的材质。

而不同的材质在不同的光源下，呈现的效果也并不相同。所以 一般对模型进行贴图时，需要先设定好光源，以便观察效果。但此时的模型仍然十分粗糙，你只能简单的看到一些几何、纹理、照明和阴影等信息。所以你必须对每一段场景的进行单独的渲染，来观察它最终效果，再回到原始的模型上去调整参数，直到完美。

这里或许有人有疑问，为何软件不能开俩窗口，一边是实时渲染后的影像，一边是原始模型，这样我不就可以即时修改了？这个问题我们先挖个坑，下面详细说明。

如果你的作品中还包含运动角色（人，动物），那你需要在贴好材质的模型上建造骨骼和控制器，这样就可以控制他们进行运动了，三维计算机动画本质上是定格动画（stop motion，或称静帧采集）的数字化后代；如果只是拍摄一段简单的3D角色运动的影像，那你只需摆弄好关键帧时角色的形象，之后的动作的绘制过程交给计算机就好了。

至于之后图像的合成，加入动态特效和视觉特效，调整摄影机的位置，难以用一两句话概括，所以不多赘述。

3D视觉元素做好了，接下来就是加入交互的模块了。

 

---

0 3

体感设备和实时渲染

许多人可能还记得有一段时间，许多卖电视的门店为了吸引顾客，放了个手柄，让大家玩耍各种体感游戏，比如体感网球，体感排球等等。

2006 年，任天堂发布了新一代游戏主机Wii，Wii配套的新款游戏手柄第一次将体感动作引入了电视游戏主机。之后微软在在2010正式发布Kinect，Kinect是微软为Xbox开发的体感识别摄像头， 在其开发的目的是用于游戏，但因为其价格低廉，受到了交互领域的极大追捧。

这或许是体感交互第一次大规模的出现在大众的视野。在销售前60天内，Kinect就卖出八百万部，成为那时全世界销售最快的消费性电子产品.

落红不是无情物，化作春泥更护花。虽然因为体感游戏的热度退却等原因，导致 Kinect最终停产，但它留下的相关技术却在交互等领域继续发光发热。其中应用最为广泛的，应该就是如今iPhone上的面部识别功能，当年为Kinect的技术支持公司PrimeSense，早在2013年就被苹果所收购。

《马里奥网球》

这些3D体感交互游戏， 正是“3D实时影像互动游戏”，而玩家用动作控制游戏中的3D角色，产生图像的过程，也正是一个实时渲染过程。

而特效CG公司，在渲染一段影视级别的视频时，需要处理的数据量和渲染一个3D游戏完全不在一个量级。这也是许多3D图形软件并不支持实时渲染的原因，原因无他：硬件带不动。因为哪怕1s的特效场景，都需要数台电脑渲染 很长时间。但也有人说，我只想做一段简单的3D视频，处理数据量少了，不就可以进行实时渲染，一边渲染一边改模型？

可视化编程正是以“所见即所得”这种思想为原则的编程技术。它们力图实现编程工作的可视化，即随时可以看到结果，程序与结果的调整同步。可视化编程的语言也不少，我们这里就以Touch designer为例。

放张4V的创作图，嘻嘻

Touch designer是一款基于python语言的可视化编程软件（这里指软件），由多伦多的Derivative公司开发。关于Touch designer的用途，在这里我想引用Touch designer中文社区对这款软件的解释，同时也向大家安利他们的网站：http://www.touchdesigner.co/（他们的免费Touch designer教程已经出到中级了哦！）

从项目类型的角度来看，Touch designer可以用来制作交互装置，演出视觉装置投影，建筑外观投影；也可以控制机械臂，制作VR体验，还可以制作电影工业级别的界面设计。

“天真 · 自得 2.0” 古琴昆曲电子演出的视觉部分，新媒体艺术团队分号C进行了Processing视觉至TouchDesigner视觉滤镜处理

Unity3D实时渲染视觉

同时，不管什么类型的新媒体项目，在制作过程中，把TD当做一个整合统一的平台，是非常事半功倍的。它可以把你所想要的软硬件粘合起来，利用它们的特性创造出更为强大的新媒体怪兽。

对于艺术家和设计师来说，Touch designer非常容易上手；对于程序员来说使用TD能轻松桥接艺术家们制作完成的视觉部分和后台程序部分。这样的软件能轻松结合不同能力的人员完美的完成项目。

而需要特别介绍的，则是Touch designer的实时3D渲染功能和编程方式，传统的编程流程是，先编写抽象的代码，当所有的步骤都凑齐了，再运行生成结果；而Touch designer则是采用图形的方式，用更直观的视觉化的方式去思考，让你设计的每一段程序都能直观的显示结果，并且直接进行调整，同时它支持许多主流的软硬件接口，比如用于手部动作识别的设备Leapmontion，体感识别的Kinect，而现场表演中常用的的MIDI，TouchOSC自然也是来者不拒。

在Touch designer中调整程序

马老师视频 演示效果，左边屏幕是Touch designer的界面，右边是unreal4，平板上则是TouchOSC编辑器，你可以一边看渲染效果一边调整你的程序

而随着硬件性能的不断提升，游戏的画面越来越爆炸，一些游戏引擎也开始打影视行业的主意，不断进化自己的实时渲染功能。比如Unity这款3D游戏引擎，而不少视觉演出的舞台也使用Unity3D进行实时渲染。

这里安利一部2016年Oats Studio使用Unity实时渲染出的动画《ADAM》幕后制作访谈，你可以亲自感受下实时渲染出大片的快感。

Unity在国内火起来，有一部份原因是因为手游的兴起，因为手游对画质要求不需要太高，而且手游生命周期短，更看重研发效率和兼容性。Unity恰恰符合这些条件，所以很多小团队和个人都选择Unity为主要的开发工具。Unity也提供商城功能，用户可以在里面购买模型，特效和代码。

聊起Unity3D，自然要介绍下unreal.相比于Unity，unreal系列游戏引擎本身架构复杂，上手有一定难度，但它的渲染质量和效率比Unity3D强上不少。一般来说，程序员更喜欢调试方便的Unity，而美术建模人员更喜欢unreal，因为unreal和touch designer一样，也采用的顺序性编程，方便制作3D内容各个阶段的美术人员进行合作。

unreal界面

以上，就是制作一个3D实时交互影像作品，大致涉及的技术和软硬件，最后腿毛君来理一理逻辑。首先，你需要一个完整的创意执行计划，再通过Touch designer等平台搭建一个交互程序，处理各种交互硬件收集的信息，传输给3D场景并实时渲染出一段影像，最终完成一个3D实时交互影像作品。当然，你也可以选择由unity，unreal等游戏引擎来完成 实更高质量的实时渲染的工作。

当然，想要完成一个高水平的交互作品，在上面的许多技术环节都有太多可以发挥的地方 ，比如这么多跨平台的软硬件凑在一起工作，如何能保证他们都运行的流畅？等等一系列问题。

正如吴宽老师在《艺术与生产力》一文中所说，“另很多艺术家感到沮丧的一个事实是：每一次推进艺术历史前进的核心动力并不是来自于艺术家，而是来自于生产力技术的革新。从岩画到油彩，从石雕到3D打印，从照相机到新媒体技术。。。每次生产力的革新，都会引发一场艺术历时的革命，促生新的艺术品种与流派诞生，催生一大批功成名就的艺术家。‘’

可以预见的是，艺术将越来越科技化，科技也将越来越艺术，两者在山麓分手，却终究会在山顶相逢。未来的艺术家会有越来越多的身份，而艺术的形式也会多种多样，更加丰富有趣。

 

---

---

我们邀请了来自伦敦的新媒体艺术家Matteo Zamagni在想当然平台，进行主题为“实时互动影像艺术”的线上直播讲座， 和他将结合自己的经历，向大家介绍这一领域的优秀作品和创作工具，以及对这一艺术形式的思考。

讲座详情

Lecture introduction

主题：可见和不可见的界线——实时互动影像艺术揭秘

直播内容：

什么是实时互动影像艺术？

实时互动影像作品介绍

实时互动影像工具介绍

导师个人经验分享

在线问答

时间：12月5日 7PM

直播平台：想当然学习中心

报名方式：

【嘉宾介绍】

马特奥·扎马尼

Matteo Zamagni

（http://www.alt-o.com/）

新媒体艺术家

伦敦艺术大学数字媒体设计学士

现工作和生活于伦敦

新媒体艺术家马特奥·扎马尼（Matteo Zamagni）在伦敦工作和生活。他通过多媒体平台表达他的理念，专注于视频、实时和线下图形、视觉特效和互动装置。

他的创作的灵感来自于他对实体和非实体、可见和不可见之间的界线与科学和宗教之间的联系的分析。他观察宏观和微观的自然，通过他的作品表达其中不可见的流动。他的作品还通过冥想、感知以及观察意识和无意识之间的张力探索不同的心理状态。

扎马尼为格约拉（Quayola）、FIELD和伊托·斯蒂尔（Hito Steyerl）等艺术家创作作品。他还为微软非凡、迪塞尔和伦敦时尚周创作作品。他的作品在世界各地都有展出，包括2017，纽约时代广场“午夜时刻”；2017，纽约动态影像艺术节；2016，伦敦加齐利艺术之家；2015，伦敦巴比肯艺术中心；2016-17年多个城市的流明大赛。

【作品介绍】

Thödgal

作品使用Mandelbulb 3D，Cinema 4D和After Effects等软件进行制作，本次作品是对分形艺术的一次探索;

 

"Leaping Over the Skull"

Music: Zora Jones - Too many tears

(not the official music video)

Terms & Conditions Apply

该项目由三个实时交互式环境组成，每个环境都由观众与投影艺术品的接近度进行修改; 人们越接近它，它们对自然的影响就越大。

这个概念是“Anthropocene（人类造成的新世界）”一词的字面隐喻; 这个术语标志着人类物种在生态系统，自然界及其进化过程中引发永久性转变的新时代。核废料，海洋中的塑料斑块，充满毒素的土地......

地球以如此之快的速度陶醉，无法自我恢复。

 

最后，马提奥老师的线上课程《实时交互 影像与装置》已经在想当然平台开启报名。

视频链接：《实时交互 影像与装置》

课程宣传片