【OpenCV&OpenGL&Marker-based AR】原理部分-骨骼动画

文章目录

  • 说在前面
  • 说明
  • 原理
    • Assimp结构
    • 骨骼(Bone)
    • 骨骼动画

说在前面

  • opencv版本:4.0.1
  • opencv aruco版本:4.0.1
  • opengl:使用glad、glfw
  • 模型导入:Assimp
  • ar实现:基于标记(marker)
  • visual studio版本:2017
  • 原理部分:【OpenCV&OpenGL&AR】原理部分

说明

主要还是OpenGL的知识点,参考Tutorial 38:Skeletal Animation With Assimp;

原理

Assimp结构

  • 首先在导入模型时会返回一个aiScene对象,这个对象管理了模型的所有信息;

    当使用Assimp导入一个模型的时候,它通常会将整个模型加载进一个场景(Scene)对象,它会包含导入的模型/场景中的所有数据。Assimp会将场景载入为一系列的节点(Node),每个节点包含了场景对象中所储存数据的索引,每个节点都可以有任意数量的子节点

    而aiScene则管理着这些节点的根节点;
    【OpenCV&OpenGL&Marker-based AR】原理部分-骨骼动画_第1张图片

    • 每个节点中有mChildren[](包含的所有子节点)以及mMeshes[](aiScene包含所有Mesh对象,而Node对象中的mMeshes是aiScene中Mesh的索引,并没有直接包含Mesh对象
    • Mesh(网格)对象本身包含了渲染所需要的所有相关数据,如顶点位置、法向量、纹理坐标、面(Face)、物体材质(Material)以及骨骼(Bone)等信息。(在骨骼对象中还有一个mOffsetMatrix属性,它描述了这块骨骼在Mesh中的位置,即偏移量;通过这个属性,我们可以直接将它从骨骼空间中转换到Mesh空间,注意不是Mesh到骨骼,见here)
    • 一个网格包含了多个面。Face代表的是物体的渲染图元(Primitive)(三角形、方形、点)。一个面包含了组成图元的顶点的索引。由于顶点和索引是分开的,使用一个索引缓冲来渲染是非常简单的。
    • aiScene中还有mAnimation[]对象,记录了所有的动画信息;事实上,每一个mAnimation对象可以渲染出动画中的一个帧序列。
      所以,我们需要做的第一件事是将一个物体加载到Scene对象中,遍历节点,获取对应的Mesh对象(我们需要递归搜索每个节点的子节点),并处理每个Mesh对象来获取顶点数据、索引、材质属性以及骨骼信息
      (以上大部分来自LearnOpenGL教程)

骨骼(Bone)

  • 我们知道在OpenGL世界中各种物体都是通过点连结而成的,例如经典的壶模型:
    【OpenCV&OpenGL&Marker-based AR】原理部分-骨骼动画_第2张图片
    顶点的位置变动会改变模型的形状,骨骼动画差不多就是这样,只不过多了一个骨骼的概念。

  • 一个骨骼附近有多个顶点,当骨骼运动时会影响顶点的运动;而影响顶点运动多少空间距离取决于这块骨头对顶点影响的权重;(例如某块骨头移动0.4,假设这块骨头对顶点A的权重为1,对顶点B的权重为0.5,那么可能顶点A也会移动0.4,而顶点B只移动0.2,这个栗子不是很严谨)
    同时,一个顶点可能会受到多个骨骼的影响,但是所有骨骼对其的权重和为1。

    When a vertex is assigned to a bone a weight is defined that determines the amount of influence that bone has on the vertex when it moves. The common practice is to make the sum of all weights 1 (per vertex). For example, if a vertex is located exactly between two bones we would probably want to assign each bone a weight of 0.5 because we expect the bones to be equal in their influence on the vertex. However, if a vertex is entirely within the influence of a single bone then the weight would be 1 (which means that bone autonomously controls the movement of the vertex).

    想象一下我们的手指,假设我们的皮肤是顶点构成的,那么在手指弯曲与伸直的时候,不同位置的顶点的移动范围是不同的。
    【OpenCV&OpenGL&Marker-based AR】原理部分-骨骼动画_第3张图片
    【OpenCV&OpenGL&Marker-based AR】原理部分-骨骼动画_第4张图片

  • 因此,我们的顶点可以这样设计:

    glm::vec3 position;//顶点位置3d
    glm::vec2 tex_coord;//纹理位置
    glm::vec3 normal;//法线方向
    int bone_ids[kMaxBonesPerVertex];		//骨骼ID,存放的是影响该顶点的所有骨骼的ID
    float bone_weights[kMaxBonesPerVertex];	//不同骨骼对该顶点的影响权重,与bone_ids一一对应
    //kMaxBonesPerVertex为一个固定值,假设为5,那么表示一个顶点最多只能受到5块骨头的影响
    

骨骼动画

  • 这个概念更加复杂一点,说实话,代码难看,而且那篇教程涉及的也不多,难受≧ ﹏ ≦!
    【OpenCV&OpenGL&Marker-based AR】原理部分-骨骼动画_第5张图片

    • 一段连续的动画包含多个帧,而一个mAnimation对象包含了所有帧序列的信息。
    • 一个mAnimation中包含多个mChannel对象,每个mChannel对象代表着一帧;但是一个mChannel只影响一个aiNode(两者是一对一的关系),那么一个aiNode是怎么产生一个很大的动作呢?(推想:骨头之间会形成一棵骨头树,影响某棵子树的根节点导致其所有子节点跟着变化)
    • 一个mChannel对象又包含着该节点三个方面的变换:mPositionKeys(位置)、mRotationKeys(旋转)、mScalingKeys(缩放)
  • 由于骨骼信息在Mesh中,而Mesh需要节点Node来获取;节点Node构成了一棵树;
    【OpenCV&OpenGL&Marker-based AR】原理部分-骨骼动画_第6张图片
    我们需要收集一帧中所有涉及到的骨骼的mOffsetMatrix,这样就可以交给着色器程序来处理。
    这里可能有点乱,咱们来理一下这个过程:

    1. 记录所有的mAnimation、mChannel
    2. 访问rootNode,将rootNode记为Node
    3. 判断Node是否在mAnimation中;若是,则找到对应的mChannel,并计算变换信息(用于骨骼的变换); 这里用到了帧插值的方法,我们的mAnimation中相当于只记录了关键帧序列,关键帧之间需要插入一些填充帧。这个过程相当于将变换过程等分(例如两关键帧之间某个骨骼移动了1,那么我们在这两关键帧中按照移动方向插入一些帧,让两两帧间的移动距离变为0.2)
      这里还要注意,由于我们是遍历节点树,那么我们可能会出现误判的情况,这是通过ticks来解决的(例如第一帧对应的节点为Node1,第二帧对应的节点为Node1的某个子节点Node2,那么在第处理第一帧的时候会访问到Node2,那么我们是不是也要计算变换信息呢?显然我们不需要,于是我们可以使用当前ticks与Node2对应的Channel中的时间戳进行对比,从而跳过计算)
    4. 判断Node是否包含骨骼信息(Name是否一致);若是,则计算并记录骨骼的变换信息;
    5. 访问子节点,记为Node,返回第4步
  • 然后我们就可以交给着色器程序进行处理;我们会将上面找到的骨骼变换信息传入到着色器程序
    着色器程序处理的是模型的所有顶点,我们记录的是某一帧中所有涉及到变换的骨骼的信息,那么我们怎么区分变换和不变的骨骼呢?还记得我们在定义Vertex时bone_ids属性吗?它会传入到着色器程序中。
    着色器在处理一个顶点时,通过boneid找到对应的骨骼,若骨骼存在变换,对应的变换矩阵“存在”(存在这个词不太准确,大概是这个意思)
    这样,我们就实现了一帧.

    #version 410 core
    const int MAX_BONES = 100;
    layout (location = 0) in vec3 aPosition;
    layout (location = 1) in vec2 aTexCoord;
    layout (location = 2) in vec3 aNormal;
    layout (location = 3) in ivec4 aBoneIDs0;//八个骨骼ID
    layout (location = 4) in ivec4 aBoneIDs1;
    layout (location = 5) in vec4 aBoneWeights0;//八个对应的权重
    layout (location = 6) in vec4 aBoneWeights1;
    
    out vec3 vPosition;
    out vec2 vTexCoord;
    out vec3 vNormal;
    
    uniform mat4 uModelMatrix;
    uniform mat4 uViewMatrix;
    uniform mat4 uProjectionMatrix;
    uniform mat4 uBoneMatrices[MAX_BONES];//所有骨骼的变换信息
    
    mat4 CalcBoneMatrix() {
        mat4 boneMatrix = mat4(0);
        for (int i = 0; i < 4; i++) {
            // 通过骨骼ID找到对应的变换矩阵,并乘以对应的权重
            // 加和
            boneMatrix += uBoneMatrices[aBoneIDs0[i]] * aBoneWeights0[i];
            boneMatrix += uBoneMatrices[aBoneIDs1[i]] * aBoneWeights1[i];
        }
        return boneMatrix;
    }
    void main() {
        mat4 boneMatrix = CalcBoneMatrix();
        gl_Position = uProjectionMatrix * uViewMatrix * uModelMatrix * boneMatrix * vec4(aPosition, 1);
        vPosition = vec3(uModelMatrix * boneMatrix * vec4(aPosition, 1));
        vTexCoord = aTexCoord;
        vNormal = vec3(uModelMatrix * boneMatrix * vec4(aPosition, 0));
    }
    

代码下一节讲。。。

你可能感兴趣的:(AR)