百度AR开发系列(1) -- 关于DuMix AR SDK

DuMix AR SDK是百度AR提供给开发者的AR应用开发集成方案，具有效果领先、快速接入、超轻量、灵活易用、跨平台等特性，提供多种触发方式、感知跟踪、虚实融合、人机交互等AR核心技术。AR技术的主要应用场景包括营销广告、教育培训、娱乐互动、商品展示、特效拍摄、美妆美颜、游戏互动、导航导览等。

核心技术

一体化人机交互

1、人脸特效：基于百度飞桨（PaddlePaddle）高性能深度学习框架，人脸关键点检测在大姿态、极端表情、遮挡等复杂场景下表现出可靠的鲁棒性和准确性，可用于实现人脸美型、美妆、道具以及3D动画表情等丰富人脸特效。

2、肢体特效：移动端实时肢体骨骼点/轮廓点检测，支持16点3D骨骼点、18点/59点2D关键点不同输出方式，跨平台兼容iOS/Android/Windows等主流终端设备，适用于肢体游戏或实时美体瘦身、全身特效等特效场景。

3、手势特效：超轻量级手部交互算法能力矩阵，涵盖手势识别、指尖点检测和手势关键点检测，精准度业内领先。全平台实时高速运行，可实现手势控制、手部特效、空间作画等多种创意玩法。

4、环境特效：完备的环境特效能力矩阵，包括人像分割、天空分割、头发分割、物体检测等多项算法能力，打造人像与虚拟环境的自然融合，支持人像背景替换、染发、天空特效、动画叠加及更多视频创意特效的组合。

大场景物理世界交互
基于厘米级视觉地图构建VPAS（视觉定位与增强服务），对大场景物理世界进行实时6Dof位姿跟踪，实现实时动态交互

1、离线高精地图构建：百度已实现了一套完整的地图构建方案，支持对用户通过移动设备采集的数据进行处理分析，打通常见三维重建数据导入接口，并且兼容相同格式下的第三方数据。具备数据批量化生产能力和易集成特性。

2、实时定位与跟踪：采用最具前瞻性的视觉技术方案，提供厘米级高精度实时定位与跟踪服务，将融合百度视觉语义化能力，持续提升在线定位稳定性与精准度；拥有兼容Google、Apple平台的持续跟踪能力与独有自研跟踪能力共同构成的融合跟踪方案，可满足市场高中低端机型的全场景体验需求。

其他核心技术

1、3D 识别与跟踪：国内领先的3D识别、跟踪能力，支持实物的跟踪识别。在创新性引入纹理特性与边缘轮廓联合优化的基础上，可对日常生活及工业场景中丰富纹理或弱纹理的3D物体进行实时跟踪。

2、3D互动和特效渲染：超轻量、跨平台的移动端AR互动和渲染引擎。游戏级AR 3D场景虚实互动效果，支持3D动画表情、手势、肢体等互动需求；基于PBR的逼真场景渲染实力，支持大规模场景渲染，支持实时物理特效，同时为开发者提供完善的脚本系统和灵活的API接口。

3、SLAM：跨平台兼容iOS与Android系统，支持主流高中低端机型，支持设备总量超十亿。具备初始化快捷、交互简单优势。

SDK版本

1、AR SDK Pro版（免费版）

• 内置轻量引擎、可选私有化部署

• 高灵活相机增强框架，可友好集成至各类相机应用

• 内置自研跨平台渲染引擎，支持游戏级内容和交互

• 内容管理方式灵活，任选官方内容服务或私有化部署

2、AR SDK Unity版

• 集成AI识图、实例丰富

• 接口简单易用，可快速集成发布至多平台

• 快速集成百度AI图像识别云服务

• 丰富应用实例在Asset Store免费开放下载

使用流程

内容开放平台

DuMix AR内容平台是百度AR推出的AR内容制作和发布管理的一站式开放平台，帮助开发者高效制作并分发AR内容。

仅需4步，快速创建AR内容：面向生态合作伙伴和加入平台的应用开发者全面免费开放满足不同用户的AR内容制作需求

1、工具选择：我们提供个性化的代码脚本传包器，丰富便利的内容制作模板、灵活全面的网页版编辑器以及高效的云端内容存储及管理平台，以满足不同用户对AR内容创建的需求。

2、内容编辑与上传：根据提示填写详细的项目内容信息，将有助于提高用户分享与转化率。

3、预览发布：创建AR内容后，我们将为您提供DuMix View工具APP，通过手机端扫描左侧二维码，快速预览体验你的AR创意。

4、审核上线：上传的AR内容经审核通过后，即可成功上线百度系大流量渠道或自有APP渠道。提交申请成为我们的合作伙伴，与我们共创、共建AR生态，共享更多福利！

SDK优势

 

开发资源

下载SDK：

http://ai.baidu.com/sdk#ar

开发文档：

http://ai.baidu.com/docs#/DuMixAR-Android-SDK/top

教程视频：

https://ai.baidu.com/support/video

未经作者授权请勿进行转载搬运～

公众号[三次方AIRX]：三次方•数字化人才在线教育平台。帮助Z时代大学生和0-5年职场人获得混合现实、人工智能、游戏开发、大数据等能力。