张量学习（7）：张量乘积

1.向量的外积

1.1 实例一

存在三个向量：

将三个向量相乘：

作用：大大地降低了参数的维度。（将原本需要存储的12个数降低为7个数）

1.2 实例二

有三个向量：

第一种：

第二种：

第三种：

2.张量内积

已知两个张量：

和

则两个张量的内积可以表示为：

3.张量积（直积）

1. 张量积（积张量）：有两个任意阶张量，第一个张量的每一个分量乘以第二个张量中的每一个分量，它们组合的集合仍然是一个张量，称为第一个张量乘以第二个张量的乘积。
2. 张量积的阶数等于因子张量阶数之和

例如：$a_i{b}_{jk}=c_{ijk}$

则：

4.Kronecker乘积（Kronecker Product）

Kronecker乘积定义在两个矩阵$A\in R^{I\times J}$,$B\in R^{K\times L}$的运算：



例如：

5.Hadamard乘积（Hadamard Product）

Hadamard乘积定义在两个相同大小的矩阵$A\in R^{I\times J}$,$B\in R^{I\times J}$的运算：

6.Khatri-Rao乘积（Khatri-Rao Product）

Khatri-Rao乘积定义了两个相同列数的矩阵$A\in R^{I\times K}$,$B\in R^{J\times K}$的运算：

其演示图为：

例如：


即：

7.张量乘法

可以定义三种不同的张量乘法，分别为：

1. 同样大小的张量相乘
2. 张量乘以矩阵
3. 张量乘以向量

7.1 张量内积

7.2 张量乘以矩阵

张量乘以矩阵步骤如下：

1. 将张量矩阵化
2. 再将张量和矩阵相乘

注意：这部分需要先了解 张量学习（10） 中的张量展开

例如：
有一个张量和矩阵：


对张量进行$mode-1Matricization$得到：

再将得到的矩阵和矩阵$A$相乘：

其过程可以用一个图演示：

8.个人思考

张量的乘积与矩阵的乘积还是部分相对应的，其具体的物理意义可能再后面运用中才慢慢展现。