Azure Kinect 之 Note（一）

Azure Kinect

Azure Kinect DK 是一款开发人员工具包，配有先进的AI 传感器，提供复杂的计算机视觉和语音模型。

Kinect 将深度传感器、空间麦克风阵列与视频摄像头和方向传感器整合成一体式的小型设备，提供多种模式、选项和软件开发工具包(SDK)。

https://learn.microsoft.com/zh-tw/azure/kinect-dk/hardware-specification

Introduction

Azure Kinect DK Hardware Specifications

Dimensions & Weight

Operation Modes Supported by Depth Camera

Operation Modes Supported by Color Cameras

RGB camera exposure time value

Depth sensor raw timing

Camera FOV (field of view)

Microphone Array

command

• 进行环境 目录配置

python
conda activate detectron2
conda env list
conda create -n kinect python=3.6
conda activate kinect
conda install opencv

• 测试一下opencv 是否ok：

python
import cv2
exit()

• 若需要重装 or Collapse

conda deactivate
conda remove -n kinect --all
conda env list
conda create -n kinect python=3.9
conda activate kinect
pip install opencv-python
pip install pykinect_azure

• 安装python lib for the Azure Kinect DK sensor-SDK

pip install pykinect_azure

• 测试

cd pyKinectAzure/examples
python exampleDepthImageOpenCV.py

https://github.com/etiennedub/pyk4a
https://github.com/ibaiGorordo/pyKinectAzure

Supplementary

nuget:

NuGet作为Visual Studio扩展，能够简化在Visual Studio项目中添加、更新和删除库（部署为程序包）的操作。
NuGet包是打包成单个ZIP 文件，文件扩展名是.nupack或.nupkg，使用开放打包约定(OPC) 格式，包含编译代码(Dll)、与该代码相关的其他文件以及描述性清单（包含包版本号等信息）。

MSI:

MSI文件是Windows Installer的数据包，它实际上是一个数据库，包含安装一种产品所需要的信息和在很多安装情形下安装（和卸载）程序所需的指令和数据。
MSI文件将程序的组成文件与功能关联起来。
此外，它还包含有关安装过程本身的信息,如:目标文件夹路径、系统依赖项、安装选项和控制安装过程的属性。

NFOV

narrow depth of field mode)
窄视场深度模式）:正六边形镜头，适用于窄视角

WFOV

Wide Depth of Field Mode)
宽视场深度模式）:圆形镜头，适用于宽视角

FOV

field of view)（视场）

binned & unbinned

UNBINNED是将采集图像的每个像素作为一个用于分析的数据
2X2BINNED是将采集得到的图像每2x2的方格做平均后作为一个用于分析的数据，相当于2X2BINNED模式在x轴和y轴上对UNBINNED模式进行了下采样。like pooling

FPS

frames per second)（每秒帧数）

IMU

Inertial Measurement Unit)（惯性测量单元）

FoI

Field of Interest)（专业范围）

UV & IR

紫外(UV) 红外(IR)

RGBA:

RGBA是一种色彩空间的模型，由RGB色彩空间和Alpha通道组成。
RGBA代表红（R ed）、绿（G reen）、蓝（B lue）和Alpha通道（A lpha）。
Alpha通道为图像的不透明度参数，其数值可以用百分比、整数或者像RGB参数那样用0到1的实数表示。
例如，若一个像素的Alpha通道数值为0%，那它就是完全透明的，无法被看见；而数值为100%则意味着像素完全不透明，即传统的数位图像。
在0%与100%之间的Alpha通道值使得像素可以透过背景，就像透过玻璃一般显示出来（半透明性），这种效果是简单的二元透明性（透明或不透明）做不到的，它使得数码合成变得容易。

MJPG:

Motion JPEG（M-JPEG或MJPEG，Motion Joint Photographic Experts Group，FourCC:MJPG）是一种影像压缩格式，其中每一帧图像都分别使用JPEG编码。
M-JPEG常用在数字相机和摄像头之类的图像采集设备上，非线性剪辑系统也常用这种格式。

YUV2:

YUV是编译true-color颜色空间（color space）的种类，Y’UV, YUV, YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。
“Y”表示明亮度（Luminance、Luma），“U”和“V”则是色度与浓度（Chrominance、Chroma）

NV12:

NV12是英特尔定义的视频格式，它在英特尔硬件平台上是原生态支持

Motion Sensor动作感应器(IMU):

内嵌的惯性测量单位inertial measurement unit (IMU) 为LSM6DSMUS，同时包含加速计和陀螺仪。加速计和陀螺仪会同时在1.6 kHz 取样。系统会向208 Hz 的主机回报这些范例。

Examples

Transform Point 2D To 3D

Smooth Depth Image

Body Tracking

Body Track Lite Model

segmentation depth image

未完待续 ……