商汤AR开发之旅（1）-- 关于SenseAR SDK

SenseAR 开发平台以商汤科技为核心，联合若干战略合作伙伴，提供一整套 AR 解决方案，包括 AR 底层驱动引擎、AR 内容创作工具链和 AR 硬件装置推荐，为各行各业的商家和用户提供 AR 服务，形成一个 AR 生态。商汤SenseAR提供平面检测、运动追踪、云锚点、手势识别等多种AI+AR基础能力，通过赋能移动端开发，构建增强现实体验平台。

简介
为了给AR开发者和内容创作提供一站式服务，商汤科技推出中国原创AR开发者平台——SenseAR开发者平台，以原创领先的SLAM 能力、环境感知、光照估计等AI技术，为AR发展提供强大助力。相较于其他AR平台，商汤科技SenseAR开发者平台在平台适配性、硬件需求、应用开发、沟通维护、开发成本等各个方面，均有显著优势。

 

功能特性

SenseAR开发者平台，提供C、Java、Unity3D等版本SDK；能够提供实时跟踪与建图、尺度估计、多平面检测、光照估计、手势检测、稠密重建功能，后续还会继续增加更多AR基础功能。

（1）实时跟踪与建图：能够实现6DOF跟踪，融合视觉和IMU信息，实时定位手机的位姿信息和输出周围环境的地图信息。

（2）尺度估计：尺度估计把虚拟物体模型以真实的大小准确的放在真实场景中。

（3）多平面检测：快速检测水平面和竖直平面（如地面和墙面）的大小和位置。

（4）光照估计：估计当前环境的光照情况 。

（5）手势检测：包括手势的2D／3D关键点、手势姿态类型等信息的检测、以及手势在RGB图和深度图上分割结果输出，支持基于手的AR互动交互。

（6）稠密重建：融合深度与RGB信息，建立稠密环境网格，实现实时环境稠密重建。

（7）图像识别与跟踪：借助增强图像功能，帮助识别并标记环境中的一系列2D目标图像，并在摄像头移到图像外时仍可标记该图像位置。

（8）云锚点：利用云端技术使位于同一现实场景中的多台设备可加载同一个锚点，并渲染到各自的场景中，在该锚点上进行AR体验和交互。

（9）人脸识别与跟踪：基于RGB信息，获取增强现实中的人脸模型，实现人脸的实时识别与跟踪。

（10）三维物体识别与跟踪：基于RGB信息，在线建立三维物体模型，并实现三维物体模型的实时识别与跟踪。

SDK概述

SenseAR SDK以SenseAR API的形式提供给开发者，包含c/java/c# for unity三种语言形式，其中java/c# for unity会依赖c版本的接口实现。形式如下图所示：

SenseAR SDK包含功能包括：

• SLAM：6DOF跟踪、重定位与回路闭合、水平面、竖直面检测

• 光照估计、单亮度值环境光感知、环境图

• 手势识别：14种预定义手势识别

• 图像识别与跟踪：多图像快速识别与跟踪

• 人脸跟踪与重建：人脸的快速检测、跟踪和重建

• 云锚点：多台AR设备共享同一坐标系

• 三维物体识别与跟踪：三维物体快速识别与跟踪

• 实时三维重建

开发配置

为了能正常运行SDK内的sample，对硬件和软件环境都有一定的要求。商汤SenseAR和OPPO ARUnit采用相同的标准，相互兼容，在部分小米机型和OPPO机型，分别预安装了SenseAR和OPPO ARUnit。商汤SenseAR分成两个部分：

• SDK：集成到app里面；

• SenseAR：开发者网站下载，是一个apk文件，运行集成SDK的app时需要确保SenseAR已经安装到手机里面。

 

硬件环境

 

软件环境

为了能正常运行SDK内的sample，需先安装SenseAR作为运行环境（预装或者手动安装）。如果想体验最新的效果和功能，推荐使用或升级到最新的SenseAR，具体可参考如下注意事项：

• 小米预装版本SenseAR在应用设置里面名称为ARServer，OPPO预装版本SenseAR的名字为ARUnit，预装版本比较老，只包含SLAM功能。

• 最新的效果和功能，推荐使用或升级到最新的SenseAR，新版SenseAR安装后应用列表名字为SenseAR，使用新版SenseAR需要先卸载预装版本，两者无法共存。

• 同时需要安装相应的开发环境，如下表所示：

 

相关教程：

SDK下载链接：https://openar.sensetime.com/sdks

商汤SenseAR开发系列教程（1）-- 用手势发射爱心

商汤SenseAR开发系列教程（2）-- SenseAR常见问题总结【建议收藏】

商汤SenseAR开发系列教程（3）-- 用手势发射爱心并加入发射方向【源码】

商汤SenseAR开发系列教程（3）-- 人脸检测之放置脸部挂饰

商汤SenseAR开发系列教程（5）-- 人脸追踪2之探索挂点位置