专访瑞声科技应用软件开发总监陆其明：当一名老兵决定重新上路
编者按：从互联网公司到智能终端解决方案公司，陆其明的这次转变可能难以被人理解。但经济大环境的影响和个人的技术困境还是让他义无反顾地走向一个未知的世界。正如黄仁勋日前所言，“撤退”对聪明人来说并不容易。然而，战略性的撤退、牺牲、决定放弃什么是成功非常关键的核心。如今的陆其明，正在探索一个如《头号玩家》般绚丽的沉浸世界。以下是陆其明的讲述——
01 一个老兵的职业生涯往事
我是一名从PC互联网时代走过来的老兵。2000年开始工作，所以工龄超级好算。至今工作过5家公司，从第一个做数字视频监控系统的公司开始，就与音视频结下不解之缘，之后每家公司都没离开过多媒体领域。
我的整个职业生涯可以分为三段：第一个10年在外企，写代码、学技术、带团队，体验国际文化，积累各种项目经验，写博客，出书，与技术社区紧密互动；第二个10年在国内互联网公司一路“小步快跑”，见证了PC互联网的衰落、以及移动互联网的蓬勃发展，经历公司合并、上市……工作有压力，同时也有满满的成就感，因为我们的每一次功能迭代或优化影响的是几千万日活用户；现在在一家智能终端解决方案公司，企业在转型过程中，我也正开启自己的第三个10年奋斗。
2000年，我从南京大学毕业来到上海，加入了一家做视频监控系统的初创公司。在那家公司里，我第一次接触到了DirectShow，写了很多有关多媒体开发技术的文章，也是在那个时候，我出了第一本书《DirectShow开发指南》。
DirectShow是微软公司提供的一套在Windows平台上进行流媒体处理的应用框架和开发包，用它可以实现音视频数据的采集、转码、多媒体文件播放等功能。 因为用的都是微软技术，我在技术社区起到的推动作用获得了微软的认可。那几年在技术社区还是很活跃的，有比较多的输出，因此也连任了几届微软MVP。
我对微软MVP计划一直是心存感激的，因为这个计划，我生平第一次出国（去了新加坡），还结识了至今都有联系的其他MVP朋友们。
有些朋友告诉我，他们是看了我的书，才入这一行的。作为技术人，我觉得个人能力成长是非常重要的：项目再忙，别忘了个人成长！除此之外，建立个人品牌同样重要。
写博客、出书、授课、发起开源项目等等，都是极好的个人品牌建设途径。当你有一天小有名气的时候，来到一个新的环境，你不必过多地介绍自己，或者费力地证明自己，大家知道你是谁（以及你的公开成果），起步就多几分尊重，更便于你融入团队、推进工作。这在我职业生涯的第二个10年里感受比较深。也算是意外之喜吧。因为我最早开始写博客时，纯粹是个人技术总结和分享，后面发生的事情谁也想不到。
陆其明CSDN的博客主页，他有个可爱的名字：happydeer
在第一个10年里，我的技术成长最快，基本上都是跟着直属领导学，或者向CTO看齐。我很幸运，碰到了很多好领导，他们的为人处事、对于技术纯粹的热爱、对极致性能体验的孜孜以求，时时都在鼓舞着我。如果你正在走上领导岗位，请务必以身作则，做一位对团队成长有帮助的好领导。
02 “有时候，解决困难的办法不是坚持，而是跳出来”
在我职业生涯遭遇瓶颈的那段时间里，内心其实是非常煎熬和痛苦的。在大厂里，各部门比较独立，分工不同，很容易固化。我是做PC客户端的，专注的是Windows技术，做了很多年。但随着PC时代的终结、移动互联网大行其道，移动端App技术日新月异，但与我无关；AI再炙手可热，跟我关系也不大。倍感失落！
自己擅长的平台和技术日渐过时，而团队负责的业务又在每况愈下，作为一名二线管理者，上不上下不下，身处在一个“不进则退”的环境里，那种焦虑和彷徨是非常难熬的。
有时候，解决困难的办法不是坚持，而是跳出来。
后来，我选择来到瑞声科技，从互联网公司到智能终端解决方案公司，这个跨度是一般人难以理解的。坦率地说，这个变化背后一方面是受经济大环境的影响，另一方面是我个人技术困境的破局。
瑞声科技虽然起家的时候是在做硬件方面的产品，但现在已经转型成为一家可以为智能终端提供软硬件一体化解决方案的科技公司，我在这里仍然负责软件开发，平台覆盖Windows、macOS、Android和iOS，涉及的技术面很广，包括原生开发、跨平台框架、H5、小程序和游戏引擎等等，一下子束缚全无，有了“海阔凭鱼跃”的感觉！
瑞声科技RichTap官网：https://www.richtap-haptics.com/
之前我的工作经历都在软件领域，对音视频技术的理解有些狭隘，来到一家很“硬科技”的公司之后才意识到，其实基础的元器件也很重要。硬件是经济基础，软件是上层建筑。硬件提供能力，软件把硬件能力充分发挥出来，才能给用户带来极致体验。
03 在瑞声，挑战下一个自己
目前，我的目标分为两方面：一方面要提升大家对触感/振动的认知，另一方面要让设计触感和应用集成的难度降到最低。简单来说就是回答两个问题：触感是什么？怎么做？
我们现在开发的一款叫RichTap Creator的触感设计工具套件，能够让设计师创作出各种富有表现力的振动效果。我们还有强大的算法为音视频自动适配。我们还提供多平台SDK，让开发者轻轻松松就能在自己的App里集成丰富的触感。
RichTap Creator触感设计工具套件
这样做的好处是：真正做到了一次设计，多端落地。目前这套工具链是完备的。我们下一阶段的目标是要支持双马达甚至多马达的场景。我们一个品牌客户有一款平板是搭载双马达的，如果把它们发挥好，振感可以更加立体、丰富，在这台平板上玩游戏不要太爽哦！
在过去的一年里，我意识到音视频技术比较孤单，是时候给它俩介绍一位新伙伴了——我们把绚丽的视频献给眼睛，我们把美妙的音频献给耳朵，那我们的双手或身体的其他部位呢？我们可以给它们带来触感体验。触感是由一颗小小的马达产生的，近两年来，每年上市的中高端手机里60%以上都搭载了瑞声科技的高品质X轴线性马达。别让它们沉睡太久！
搭载了双 X 轴线性马达的《王牌竞速》
除了手机和平板之外，AR/VR/游戏手柄/新能源车都是我们密切关注的落地场景。我们会提供全套的设计工具和集成SDK。从研发的角度，我还会持续关注触感相关的国际标准，让我们的工具和SDK能够紧跟国际大趋势，在全世界范围内做到最好！
04 触感，以及沉浸式的未来
关于多媒体生态的未来，我觉得元宇宙是一个很有希望的方向，这里面会涉及到很多技术，只是谁也不知道相关的软硬件技术和基础设施会在什么时候成熟，元宇宙会在什么时候真正到来。
所以，技术人始终不要忘了创新和优化，使用新技术，探索新的用户场景，努力去创造新价值。创新不是在指定时间、地点发生的事情，所以需要多一点耐心。
在前面我已经提到，市场上已经有越来越多的手机搭载高品质的X轴线性马达，可以表达丰富的振动效果。怎么把这块能力用起来？需要应用开发者们一起努力！目前，IEEE针对手游场景下的触感控制接口标准正在紧锣密鼓地制定中。
除了手机，AR/VR设备更是触感体验大展拳脚的地方。我看过各家VR一体机的SDK，大家提供的振动接口功能还比较初级。同时看了OpenXR 1.0规范，感觉也不尽如人意。我们公司正在与一个触感行业协会合作，一起推动OpenXR标准进化，让更多的VR可穿戴外设如背心、手套等能够协同工作，为用户带来更加沉浸的体验。
Meta在2021年发布的采用“气体制动器”的触觉原型手套
我还注意到MPEG标准工作组在这个方向上的努力，关于沉浸体验的标准叫MPEG-I，以后，一个MP4文件包含的可能不仅是音频或视频数据，还有触感数据，甚至可能只有触感数据，因为在2022年1月 ISO/IEC 14496-12 (ISOBMFF) 标准-第7版已经把haptics定为一级媒体类型，与audio和video平起平坐。这个动向非常值得大家关注。
所以，音视频体验还是应该往更高清、更沉浸的方向发展。只是可能很多人还没意识到，沉浸体验未必非得在音视频上继续“挖呀挖”，我们还可以通过触感来让体验更加沉浸。答案在问题之外……
经过在瑞声一年多的学习和研究，我意识到触感的软硬件技术正在逐渐成熟，而大家对触感的认知还比较浅，应用生态的发展还远远不够。
从应用的角度，爱奇艺可以说是走在前面的，几部热剧比如《天才基本法》《狂飙》，还有综艺节目《中国说唱巅峰对决》，都开启了振动功能，起到了很好的渲染剧情气氛、加强现场感的作用。还有几款游戏，比如《和平精英》《黎明觉醒》《王者竞速》等，在一些场景中，赛车漂移、开枪、撞击和脚步声等，融入振动后让玩家体验更逼真、更沉浸。然而，仅有这些头部应用还是不够的，我希望通过我在本次大会上的分享，提升大家对于触感的认知，进而共同来繁荣触感生态。触感不仅可以用在手机上，在AR/VR乃至元宇宙里有更大的发挥空间，那种场景下更加追求沉浸式的体验。
2018年有部电影叫《头号玩家》，它讲的故事比较符合我对元宇宙的想象。只不过现在的VR设备在佩戴的舒适度上还有很大的提升空间，感知体验还有局限，还有比较长的路要走。
1个彩蛋
LVS：剧透一下你在LiveVideoStackCon的独家内容吧！
陆其明：在LiveVideoStack大会上，应该还从来没人讲过触感吧。这次大会我会给大家科普触觉的生理基础知识，以及触感在现实中的实现技术（包括硬件和软件），从应用开发的角度给大家展示在各个平台怎么去做触感，以及如何才能做到更好的体验。我还会介绍触感相关的国际标准及其最新进展，希望帮助大家拓展视野，为未来的工作找到一些方向。
▲扫描图中二维码或点击“阅读原文” ▲
查看更多LiveVideoStackCon 2023上海站精彩话题