辨析matmul product（一般矩阵乘积），hadamard product（哈达玛积）、kronecker product（克罗内克积）

矩阵乘法

1. matmul product（一般矩阵乘积）

m x p矩阵A与p x n矩阵B，那么称 m x n 矩阵C为矩阵A与矩阵B的一般乘积，记作C = AB ，其中矩阵C元素$ [cij]为矩阵A、B对应两两元素之和，表示为：

例子：

2. Hadamard product（哈达玛积）

m x n矩阵A = [aij]与矩阵$B = [bij]的Hadamard积，记为A * B 。新矩阵元素定义为矩阵A、B对应元素的乘积(A * B)ij = aij.bij。

例子：

3. Kronecker product（克罗内克积）

Kronecker积是两个任意大小矩阵间的运算，表示为 A x B。如果A是一个 m x n 的矩阵，而B是一个 p x q 的矩阵，克罗内克积则是一个 mp x nq 的矩阵。克罗内克积也称为直积或张量积，以德国数学家利奥波德·克罗内克命名。

例子：

计算过程：

matmul product（一般矩阵乘积），hadamard product（哈达玛积）、kronecker product（克罗内克积）

我们知道，图片中粉红色的乘法表示的是Hadamard product，但是我在阅读源码的时候，发现使用的是∗∗, 而我对∗∗的理解一直是matrix product. 陷入泥潭，后来通过阅读python官方文档才发现是怎么回事。

先简单说一下Hadamard product：

(参照维基百科：https://en.wikipedia.org/wiki/Hadamard_product_(matrices))

而matrix product为：

（参照维基百科：matrix product）

这两者是完全不一样的，但为什么python都是用∗∗表示呢？通过查阅官方文档(PEP465)，我们可以得到如下解释：

For numpy.ndarray objects, * performs elementwise multiplication, and matrix multiplication must use a function call (numpy.dot). For numpy.matrix objects, * performs matrix multiplication, and elementwise multiplication requires function syntax.

也就是说，当变量类型为 numpy.ndarray 时，∗∗表示的是Hadamard product;当变量类型为 numpy.matrix 时，∗∗表示的是matrix product。而LSTM源码中变量类型为 numpy.ndarray ，所以使用∗∗操作自然是表示Hadamard product，问题解决。

下面，举个简单例子对这两种操作进行区分：

## Hadamard product

import numpy as np

a = np.array([[1,2],[3,4]])

b = np.array([[5,6],[7,8]])

a * b

Out[5]:

array([[ 5, 12],

      [21, 32]])

## matrix product

c = np.matrix(a)

d = np.matrix(b)

c * d

Out[8]:

matrix([[19, 22],

        [43, 50]])

可以看到，相同的∗∗操作得到的结果是不同的，原因就是变量类型不同。

当然，变量类型为numpy.array的变量也可以通过numpy.dot()函数实现矩阵乘法的操作：

np.dot(a,b)

Out[9]:

array([[19, 22],

      [43, 50]])