张量分解（Cp、Tuker、Block-Term）

张量

张量是向量或矩阵在维度空间上的高阶扩展。
一个$(p,q)$型的张量$T$被定义为一个多重线性映射。$$T:V^{\ast }\times \cdots \times V^{\ast }\times V\times \cdots \times V\mapsto \mathbb{R},$$
其中 $V$ 是向量空间，$V^{\ast }$ 是其对偶空间。

有两种定义张量的方法：

• 通常定义张量的物理学或传统数学方法，是把张量看成一个多维数组，当变换坐标或变换基底时，其分量会按照一定变换的规则，这些规则有两种：即协变或逆变转换。
• 通常现代数学中的方法，是把张量定义成某个向量空间或其对偶空间上的多重线性映射，这向量空间在需要引入基底之前不固定任何坐标系统。
  

1.一阶张量（向量）
$T_j=[T_1{T}_2......T_n]$
一阶张量（向量）可以用一个行矩阵表示。

2.二阶张量
$T_j=[[T_1{T}_2{T}_3][T_4{T}_5{T}_6]......[T_{n-2}{T}_{n-1}{T}_n]]$
一个二阶张量可以用一个矩阵表示。

import numpy as np
x = np.array([[5, 78, 2, 34, 0],
              [6, 79, 3, 35, 1],
              [7, 80, 4, 36, 2]])
print(x.ndim)

3.三阶张量
“n张平面”构成一个“立方体”

import numpy as np
x = np.array([[[5, 78, 2, 34, 0],
               [6, 79, 3, 35, 1],
               [7, 80, 4, 36, 2]],
              
              [[5, 78, 2, 34, 0],
               [6, 79, 3, 35, 1],
               [7, 80, 4, 36, 2]],
        
              [[5, 78, 2, 34, 0],
               [6, 79, 3, 35, 1],
               [7, 80, 4, 36, 2]]])
print(x.ndim)

4.高阶张量
将多个 3D 张量组合成一个数组，可以创建一个 4D 张量，以此类推。

实例：

• 向量数据：2D 张量，形状为 (samples, features) 。
• 时间序列数据或序列数据：3D 张量，形状为 (samples,
  timesteps, features) 。
• 图像：4D张量，形状为 (samples, height, width, channels)
  或 (samples, channels, height, width) 。
• 视频：5D张量，形状为 (samples, frames,
  height, width, channels) 或 (samples,frames, channels, height, width)。

张量操作

纤维（Fibre）

纤维是指从张量中抽取向量的操作。在矩阵中固定其中一个维度，可以得到行或者列。类似于矩阵操作，固定其它维度，只保留一个维度变化，可以得到有纤维的概念。
假设存在三阶张量 $\mathcal{A}\in {\mathbb{R}}^{i\times j\times k}$，其列纤维、行纤维和管纤维分别为 $\mathcal{A}(:,j,k)、\mathcal{A}(i,:,k)$ 和 $\mathcal{A}(i,j,:)。$

切片（Slice）

切片操作是指在张量中抽取矩阵的操作。将其中一维固定，变化的维度成为两个维度，可以得到三种张量切片。其中 $\mathcal{A}(i,:,:)、\mathcal{A}(:,j,:)$ 和 $\mathcal{A}(:,:,k)$分别表示三维张量的水平切片、侧面切片和前向切片。

张量分解

cp分解

CP分解就是将一个张量分解成多个单秩张量的和。

给定一个三阶张量 $\mathcal{X}\in {\mathbb{R}}^{I\times J\times K}$ 将一个张量表示成有限个秩一张量之和：$$\mathcal{X}\approx a_1\circ b_1\circ c_1+a_2\circ b_2\circ c_2+\cdots +a_R\circ b_R\circ c_R=\sum _{r=1}^R{a}_r\circ b_r\circ c_r$$,
如果记$$A=[a_1{a}_2...a_R]B=[b_1{b}_2...b_R]C=[c_1{c}_2...c_R]$$称 $A,B,C$为因子矩阵，则张量可以表示为：$$\mathcal{X}\approx [[A,B,C]]=\sum _{r=1}^R{a}_r\circ b_r\circ c_r$$即为 cp 分解。

CP分解的目标是通过使用低秩矩阵的乘积来近似原始张量，以达到降低维度和提取张量中的潜在结构的目的。

Tuker 分解

HOSVD分解又称作Tucker分解。HOSVD全名为high order SVD，即高阶的SVD。
Tucker分解可以看作是主成分分析(PCA)的一种高阶版本，其将张量分解为一个核张量与每一维度上对应矩阵的乘积。
以三阶张量 $\mathcal{X}\in {\mathbb{R}}^{I\times J\times K}$为例，其 Tuker 分解为：$$\mathcal{X}\approx \mathcal{G}{\times }_{1}A{\times }_{2}B{\times }_{3}C=\sum _{p=1}^P\sum _{q=1}^Q\sum _{r=1}^R=g_{pqr}{a}_p\circ b_q\circ c_r=⟮\mathcal{G};A,B,C⟯$$其中，$A\in {\mathbb{R}}^{I\times P},B\in {\mathbb{R}}^{J\times Q},C\in {\mathbb{R}}^{K\times R}$是不同维度上的因子矩阵，这些矩阵通常被认为是不同维度上的主成分。$\mathcal{G}\in {\mathbb{R}}^{P\times Q\times R}$ 称为核张量，其中每个元素代表了不同成分之间的交互程度。

从元素的角度看，Tuker 分解可以写为 $$x_{ijk}=\sum _{p=1}^P\sum _{q=1}^Q\sum _{r=1}^R{g}_{pqr}{a}_{ip}{b}_{jq}{c}_{kr},i=1,2,...,I,j=1,2,...,J,k=1,2,...,K$$P，Q 和 R 是因子矩阵 $\text{A,B,C}$的成分数(例如因子矩阵的列数)。如果 P,Q 和 R 小于 I,J,K，那么张量$\mathcal{G}$ 可以被认为是张量 $\mathcal{X}$ 的压缩版本。

Tucker分解的目标是通过使用核张量和模式矩阵的乘积来近似原始张量，以达到降低维度、提取潜在特征和压缩数据的目的。

BTD 分解

BTD分解是一种将高阶张量分解为块张量乘积的方法。
定义一个张量 $\mathcal{T}\in {\mathbb{R}}^{I\times J\times K}$，在CP分解中，张量 $\mathcal{T}$ 分解为 R 个秩一张量的形式。低秩往往是一些局部的特征，但是在一些应用中，我们想要得到多尺度的特征，这个时候CP分解就无法直观地做到了。

如果CP分解中的一个秩一张量与另一个秩一张量的转置的乘积不是一个秩一的矩阵，而是一个秩为 K 的矩阵，那么这两个向量则应该是秩为 $L_r$ 的矩阵。

数学表达式为$$\mathcal{T}=\sum _{r=1}^R{\mathcal{D}}_r{\times }_1{A}_r{\times }_2{B}_r{\times }_3{C}_r$$其中， ${\mathcal{D}}_r\in {\mathbb{K}}^{K\times M\times N}$ 是 满秩 $\text{Rank}-(L_r,M_r,N_r)$ 张量，而 $A_r\in {\mathbb{K}}^{I\times L}(I\ge L),$$B_r\in {\mathbb{K}}^{J\times M}(J\ge M),$$C_r\in {\mathbb{K}}^{K\times N}(K\ge N)$都是全列秩，且$1\le r\le R.$

BTD 分解可以看作是 CP 分解和 Tucker 分解的组合形式：
当 R = 1 的时候，成员张量只有一个，此时这个分解就是 $\text{Rank}-(L,M,N)$ 的 Tucker 分解；
当每一个成员张量是一个秩一分解的时候，该分解退化为一个CP分解 (CP分解是将一个张量 $\mathcal{T}$ 分解为 R 个秩为1的张量形式)

BTD分解的目标是通过使用块张量的乘积来近似原始张量，以实现降低维度、提取潜在特征和压缩数据的目的。BTD分解可以看作是对高阶张量进行多维矩阵分解（Multilinear Matrix Decomposition）的推广。

维基百科：张量
博客：什么是张量（Tensor）
博客：张量分解算法