张量网络基础算法（四、TT分解和矩阵乘积态）

我是一只正在不断学习、希望早日成为小白的小小白，有什么错误欢迎大家批评指正，喜欢的请点个赞哦！

一、Tensor-train分解（TT分解）

1. 定义

给定N阶张量，将其分解成N个二阶或三阶张量的缩并形式:

$$T_{S_1{S}_2\dots S_N}=\sum _{a_1{a}_2\dots a_{N-1}}{A}_{S_1{a}_1}^{(1)}{A}_{S_2{a}_1{a}_2}^{(2)}\dots A_{S_{N-1}{a}_{N-2}{a}_{N-1}}^{(N-1)}{A}_{S_N}^{(N)}=A_{S_1:}^{(1)}{A}_{S_2:\cdots }^{(2)}\dots A_{S_{N-1}::}^{(N-1)}{A}_{S_N:}^{(N)\mathrm{T}}$$

其中，$\left\{a_n\right\}$被称为几何或辅助指标，$\left\{s_n\right\}$被称为开放或物理指标。

tensor-train直译过来就是张量火车，正如下图我们所看到的那样，一个大的张量被分解成了一个个小张量缩并的形式，就像我们平时所看到的一节节火车的车厢，所以不得不说前人还是很富有想象力的。为了方便，在后面的学习中我们会把Tensor-train分解简称为TT分解。

TT分解可以通过N-1次奇异值分解实现。先把第一个指标看成一个指标，后面三个指标看成一个大指标，这样子就得到一个二阶张量（矩阵），将其进行奇异值分解，左边就是奇异值分解后得到的$U$，右边就是$\Lambda V^{†}$。同理对右边的张量按照上述方法继续进行奇异值分解……例如四阶张量的TT分解，如下图：

经过N-1次奇异值分解，一个N阶的张量就被分解成了N个小张量。但是严格的TT分解不能解决指数墙的问题，辅助指标会随着奇异值分解的次数呈指数增长。那么这个时候怎么解决这个问题呢？可以先思考下，答案后面揭晓。

2. TT低秩近似

TT秩的定义
每一次进行奇异值分解所得到的非0奇异值的个数（辅助指标的维数），因为N阶张量要进行N-1次奇异值分解，所以一个N阶张量的TT秩包含N-1个数。

TT低秩近似
令辅助指标有一个上限，辅助指标的上限 $\chi$ 称为截断维数或裁剪维数:
$$\underset{\left\{\dim \left(a_n\right)\le \chi \right\}}{\min }\mid T_{s_1{s}_2\dots s_N}-\sum _{a_1{a}_1\dots a_{N-1}}{A}_{s_1{a}_1}^{(1)}{A}_{s_2}^{(2)}{a}_1{a}_2\cdots A_{s_{N-1}{a}_{N-2}{a}_{N-1}}^{(N-1)}{A}_{S_N{a}_{N-1}}^{(N)}$$
获得TT秩近似最简单的算法之一就是每次进行奇异值分解后将多于截断维数的奇异值和对应的奇异向量进行裁剪，将辅助指标的维数裁剪为 $\chi$ ，简而言之就是在进行TT分解时不断利用奇异值分解的低秩近似，是不是超级容易就解决了一个问题。

随机生成10×10×10×10的张量进行不同截断维数的TT低秩近似的误差（下图为 $\chi$ 取30到60）
附上代码，没事可以自己去试试，感觉有点神奇呢！（看我这没见过世面的样子U•ェ•U）：

import numpy as np
import BasicFun as bf
import matplotlib.pyplot as plt

# 考虑(2, 2, 2, 2, 2, 2, 2, 2, 2, 2)的8阶张量，进行无裁剪TT分解，查看分解后辅助指标的维数
x = np.random.randn(2, 2, 2, 2, 2, 2, 2, 2, 2, 2)
tensors = bf.ttd(x)[0]
# 读取辅助指标维数
a_dims = list()
for x in tensors[:-1]:
    a_dims.append(x.shape[-1])
print('The ancillary dimensions of the TT form = ')
print(a_dims)

# 考虑(10, 10, 10, 10)的张量，计算不同截断维数下的误差
y = np.random.randn(10, 10, 10,10)
err = list()
z0 = np.linalg.norm(y)
for chi in range(30, 61,1):
    tensors = bf.ttd(y, chi)[0]
    y1 = bf.tt_product(tensors)
    err.append(np.linalg.norm(y - y1) / z0)
print('\nThe error with different dimension cut-off = ')
print(err)
plt.plot(np.arange(30, 61,1), err, marker='x')
plt.xlabel(r'dimension cut-off $\chi$')
plt.ylabel('relative error')
plt.show()

二、矩阵乘积态（MPS）

1. 定义

一般而言，矩阵乘积态（MPS）定义为系数矩阵满足TT形式的量子态:
$$|\phi ⟩=\sum _{s_1{s}_2\dots s_N}{\phi }_{s_1{s}_2\dots s_N}\prod _{\otimes n=1}^N|s_n⟩$$
在不引起误解的情况下矩阵乘积态也可以直接理解为系数矩阵:
$${\phi }_{s_1{s}_2\dots s_N}=\sum _{a_1{a}_1\dots a_{N-1}}{A}_{s_1{a}_1}^{(1)}{A}_{s_2{a}_1{a}_2}^{(2)}\dots A_{s_{N-1}{a}_{N-2}{a}_{N-1}}^{(N-1)}{A}_{S_N{a}_{N-1}}^{(N)}=A_{s_1:}^{(1)}{A}_{S_2:\cdots }^{(2)}\dots A_{S_{N-1}:}^{(N-1)}{A}_{S_N:}^{(N)\mathrm{T}}$$

矩阵乘积态的两种边界条件分别为开发边界条件（OBC）和周期边界条件（PBC），如下图：

在TT分解中，量子态参数个数随N指数增加，满足:
$$\#\left(|\phi ⟩\right)\sim O\left(d^N\right)$$
在MPS中，给定辅助指标截断维数为 ，则MPS包含参数的个数随N线性增加，满足：
$$\#\left(MPS\right)\sim O\left(Nd{\chi }^2\right)$$
对于MPS分解，我们并不需要知道指数复杂的量子系数是什么，也不需要进行TT分解，而是直接假设基态具备MPS的形式，直接处理MPS中的局部张量，从而绕开指数墙的问题，但是这样子会引入误差。并且，在求基态时我们是在并不知道基态是什么的情况下直接假设基态是具有给定截断维数的MPS态，因此我们并不能确定这样的MPS态可以有效的描述基态。我们可以从奇异谱入手定义刻画MPS的有效性，而MPS态对应的奇异谱刚好就是量子态的量子纠缠谱，由此引入量子纠缠。有没有很懵，don’t worry，继续往下看！

2. 矩阵乘积态与量子纠缠

斯密特分解与纠缠谱：给定N自旋的量子态
$$|\phi ⟩={\sum }_{s_1{s}_2\cdots s_N}{\phi }_{s_1{s}_2\cdots s_N}\prod _{\otimes n=1}^N|s_n⟩$$

将自旋分成两部分:
$$\left\{s_n\right\}=\left(s_1,s_2,\cdots ,s_K\right)\cup (s_{K+1},\cdots ,s_N)$$

两部分不能为空，将前面一部分看成一个指标，后面一部分看成一个指标，这样就得到一个二阶张量（矩阵），对矩阵的系数进行奇异值分解：
$${\phi }_{s_1{s}_2\cdots s_N}=\sum _{a=0}^{D-1}{U}_{s_1{s}_2\cdots s_K,a}{\Lambda }_a{V}_{s_{K+1}\cdots s_N,a}^{\ast }$$

对系数进行奇异值分解对应于对量子态做分解：
$$|\phi ⟩=\sum _{a=0}^{D-1}{\Lambda }_a|U^a⟩|V^a⟩$$

$|U^a⟩|V^a⟩$之间进行直积，${\Lambda }_a$可看成权重系数。该分解被称为量子态的斯密特分解，量子态的斯密特分解对应于系数矩阵的奇异值分解，$\Lambda$称为量子态的纠缠谱。其中$|U^a⟩|V^a⟩$为D个量子态，满足：
$$|U^a⟩=\sum _{s_1{s}_2\cdots s_K}^{D-1}{U}_{s_1{s}_2\cdots s_K,a}\prod _{\otimes n=1}^K|s_n⟩$$

$$|V^a⟩=\sum _{s_1{s}_2\cdots s_K}^{D-1}{V^{\ast }}_{s_{K+1}\cdots s_N,a}\prod _{\otimes n=1}^K|s_n⟩$$

由于
$$⟨\phi |\phi ⟩\text{=1}，|\phi ⟩\text{=}\sum _{a=0}^{D-1}{\Lambda }_a|U^a⟩|V^a⟩$$

所以
$$⟨\phi |\phi ⟩\text{=}\sum _{a=0}^{D-1}{{\Lambda }_a}^{\text{2}}⟨V^a|⟨U^a|U^a⟩|V^a⟩\text{=}\sum _{a=0}^{D-1}{{\Lambda }_a}^{\text{2}}\text{=1}$$

定义$|\phi ⟩$被投影到$|U^a⟩|V^a⟩$态的概率满足$P_a={\Lambda }_a^2$（量子力学的基本假设），显然概率满足归一化条件
$${\sum }_a{P}_a=1$$

根据概率论香农熵的定义：

$$E^S=-P_a{\sum }_a\ln P_a$$

根据该公式定义量子态的纠缠熵：

$$S=-\sum _{a=0}^{D-1}{\Lambda }_a^2\ln {\Lambda }_a^2$$

因为香农熵是刻画信息量的大小，类推到量子态，那么量子态的纠缠熵就是刻画量子信息量的大小。把量子态二分为A体系和B体系，A、B体系在进行给定基底下的概率测量得到的信息熵就是这两个体系在该二分下的纠缠熵。

奇异值分解中
$${\phi }_{s_1{s}_2\cdots s_N}=\sum _{a=0}^{D-1}{U}_{s_1{s}_2\cdots s_K,a}{\Lambda }_a{V}_{s_{K+1}\cdots s_N,a}^{\ast }$$

$UV$满足正交性：
$$U^{†}U=\sum _{s_1\dots S_K}{U}_{s_1\dots S_K,\alpha }^{\ast }{U}_{S_1\dots S_K,{\alpha }^{\prime }}=I$$

$$V^{†}V=\sum _{s_1\dots S_K}{V}_{s_1\dots S_K,\alpha }^{\ast }{V}_{S_1\dots S_K{\alpha }^{\prime }}=I$$

由上述性质可计算开放边界MPS的纠缠，设MPS态满足：
$${\phi }_{s_1{s}_2\dots s_N}=\sum _{a_1{a}_1\dots a_{N-1}}{A}_{s_1{a}_1}^{(1)}\dots A_{s_K{a}_{K-1}{a}_K}^{(K)}{\Lambda }_{a_K}^{(K)}{A}_{s_{K+1}{a}_K{a}_{K+1}}^{(K+1)}\dots A_{S_N{a}_{N-1}}^{(N)}$$

当如下左/右正交条件满足时，${\Lambda }^K$为MPS给出的前K个自旋与其余自旋之间的纠缠：

a. ${\sum }_{s_1}{A}_{s_1{a}_1}^{(1)}{A}_{s_1{a}_1}^{(1)\ast }=I_{a_1{a}_1}$
b. ${\sum }_{s_n{a}_{n-1}}{A}_{s_n{a}_{n-1}{a}_n}^{(n)}{A}_{s_n{a}_{n-1}{a}_n}^{(n)\ast }=I_{a_n{a}_n}(1<n<K)$
$\mathrm{c}.{\sum }_{s_N}{A}_{s_N{a}_{N-1}}^{(N)}{A}_{S_N{a}_{N-1}}^{(N)\ast }=I_{a_{N-1}{a}_{N-1}}$
$\mathrm{d}.{\sum }_{s_n{a}_{n+1}}{A}_{s_n{a}_{n-1}{a}_n}^{(n)}{A}_{s_n{a}_{n-1}{a}_n}^{(n)\ast }=I_{a_{n-1}{a}_{n-1}}(K<n<N)$
e. ${\Lambda }_0^{(K)}\ge {\Lambda }_1^{(K)}\ge \cdots \ge 0$

前面K个tensor收缩构成SVD分解中的U，后面的tensor收缩构成SVD分解中的V，称为MPS的中心正交形式，也称为SVD形式。例如长度为4的MPS，箭头表示正交条件的方向：

MPS的中心正交形式在后面的学习中会经常涉及，且与SVD分解紧密联系在一起，所以这个要好好进行理解消化(　o=^•ェ•)o！

3. 矩阵乘积态的规范自由度与正交形式

计算MPS的斯密特分解可将MPS变成SVD形式，但是其所表示的量子态不能改变。改变MPS中的tensor但不改变其所表示的量子态，被称为规范变换也就是物理量不改变、数学形式改变的变化。进一步定义MPS的规范自由度：对于同一个量子态，可由多组由不同张量组成的MPS态来表示其系数。

已知MPS满足：
$${\phi }_{S_1{S}_2\dots S_N}=A_{S_1:}^{(1)}\dots A_{S_n:}^{(n)}{A}_{S_{n+1}:\cdots }^{(n+1)}\dots A_{S_N:}^{(N)\mathrm{T}}$$

引入任意可逆矩阵$U$及其逆矩阵$U^{-1}$，定义:
$$B_{s_n}^{(n)}=A_{s_n::}^{(n)}U,B_{s_n}^{(n+1)}=U^{-1}{A}_{s_n::}^{(n+1)}$$

得到同一个量子态的两种MPS表示:
$${\phi }_{s_1{s}_2\dots s_N}=A_{s_1}^{(1)}\dots A_{s_n::}^{(n)}{A}_{s_{n+1}:\cdots }^{(n+1)}\dots A_{s_N:}^{(N)\mathrm{T}}=A_{s_1:}^{(1)}\dots B_{s_n:}^{(n)}{B}_{s_{n+1}!}^{(n+1)}\dots A_{S_N:}^{(N)\mathrm{T}}$$

公式总是没有图来得直观，下面我们用下图来进行进一步理解。MPS规范变换可以在任何一个或多个辅助指标上插入一个单位阵，也就是任何可逆矩阵及其逆矩阵的乘积。我们都知道任何矩阵乘单位阵都等于自己本身，所以在任何一个或多个辅助指标上插入一个单位阵都不会改变量子态。将变换矩阵作用到各张量{$A^{(n)}$}上，就能得到新张量{$B^{(n)}$}

在这种情况下，我们插入不同维数的单位矩阵就会得到不同的新张量{$B^{(n)}$}，这个时候，我们可以通过引入新的约束条件，固定MPS的规范自由度，使得给定量子态具备唯一的MPS表示。

例如MPS的中心正交形式，如下图所示。当张量{$A^{(n)}$}（n$A^{(n)}$}（n>k）满足右正交条件，中间的tensor满足归一条件，此时MPS被称为具有$K$-中心正交形式。可通过多次的SVD分解进行规范变换从$K$-中心正交形式变换成K‘-中心正交形式（$K\ne K^{\prime }$），这个过程值得细细思考品味。

给定任意一个矩阵乘积态，求量子纠缠谱（${\Lambda }^{(K)}$）：
（1） 把该矩阵乘积态变成K-中心正交形式；
（2） 对K-中心正交形式的中心tensor做奇异值分解。

基于K-中心正交形式，可对MPS辅助指标维数进行最优裁剪，裁剪方法为：
（1） 进行中心正交化，将正交中心放置于第K个张量；
（2） 对中心张量进行奇异值分解
$$A_{s_K{a}_{K-1}{a}_K}^{(K)}={\sum }_{\beta =0}^{\chi -1}{U}_{s_K{a}_{K-1}\beta }{\Lambda }_{\beta }^{(K)}{V}_{a_K\beta }$$

仅保留前$\chi$个奇异值及对应的奇异值向量，其中$\chi$为截断维数；
（3） 将第K个张量更新为$U\to A^{(K)}$;
（4） 将第（K+1）个张量更新为
$${\sum }_{a_K}{\Lambda }_{\beta }^{(K)}{V}_{a_K\beta }{A}_{s_{K+1}{a}_K{a}_{K+1}}^{(K+1)}\to A_{s_{K+1}\beta a_{K+1}}^{(K+1)}$$

通过不断移动正交中心的位置来实现MPS辅助指标的最优裁剪。

MPS的正则形式：给定量子态
$$|\phi ⟩={\sum }_{s_1{s}_2\cdots s_N}{\phi }_{s_1{s}_2\cdots s_N}\prod _{\otimes n=1}^N|s_n⟩$$

其系数满足：
$${\phi }_{S_1{S}_2\dots S_N}=A_{S_1:}^{(1)}{\Lambda }^{(1)}{A}_{S_2:\Lambda }^{(2)}{\Lambda }^{(2)}\dots {\Lambda }^{(N-2)}{A}_{S_{N-1}:\Lambda }^{(N-1)}{\Lambda }^{(N-1)}{A}_{S_N:}^{(N)\mathrm{T}}$$

${\Lambda }^{(n)}$是当前位置下进行二分得到的纠缠谱，满足:

a. ${\sum }_{s_1}{A}_{s_1{a}_1}^{(1)}{A}_{s_1{a}_1}^{(1)\ast }=I_{a_1{a}_1}$
b. ${\sum }_{s_n{a}_{n-1}}{\Lambda }_{a_{n-1}{a}_{n-1}}^{(n-1)}{A}_{s_n{a}_{n-1}{a}_n}^{(n)}{\Lambda }_{a_{n-1}{a}_{n-1}}^{(n-1)}{A}_{s_n{a}_{n-1}{a}_n}^{(n)\ast }=I_{a_n{a}_n}$
c. ${\sum }_{s_n{a}_n}{A}_{s_n{a}_{n-1}{a}_n}^{(n)}{\Lambda }_{a_n{a}_n}^{(n)}{A}_{s_n{a}_{n-1}{a}_n}^{(n)\ast }{\Lambda }_{a_n{a}_n}^{(n)}=I_{a_{n-1}{a}_{n-1}}(1<n<K)$
d. ${\sum }_{S_N}{A}_{S_N}^{(N)}{a}_{N-1}{A}_{S_N{a}^{\prime }N-1}^{(N)\ast }=I_{a_{N-1}{a}_{P-1}}$

有没有觉很很神奇，神奇的事情还在后面，我们下期见！
我是一只正在不断学习、希望早日成为小白的小小白，有什么错误欢迎大家批评指正，喜欢的请点个赞哦！