熵
很多时候都不会想当我们谈论熵的时候究竟在指什么？或者说为什么我们对于熵这么感兴趣呢？如果我们的计算熵这个量，我们得到了那些信息呢？这些信息能帮助我们理解什么呢？
其实同样的问题也适用于其他的物理学量。一个同事经常和我说，这些量到最后就是一个数。如果关注于数本身，确实很多时候是没什么意义的。这也导致好像很多关于算数的工作也都是没什么意义的。这些工作当然是有意义的，但是我也不知道怎么反驳同事的观点。不过总是可以反过来从实用的角度来想，即如果我能算出一个数来，总是可以尝试去说明一些事情的。就比如当我有一碟醋的时候，我可以包一顿饺子，进而炒俩菜，打一壶酒。
在热力学里面，熵的概念的引入是很自然也很重要的。比如上帝创造人类的时候，单单提供合成人类的能量是不够的，还需要额外的提供一些熵。也就是不能把全部的功转换为能量。从统计力学的角度可以这样看。能量可以写成
这里是具有微观态能量的概率。考虑总能量的变化
也可以用标准的符号这样来写
等式右边的第一项对应了做功，即通过改变体积或者压强等参数来对微观态能量的改变，第二项就是热，也可以为熵()的贡献。除了能量我们也可以看其他热力学量的改变，和能量类似，总是有一部分贡献是来自于概率分布的变化。从这个角度来看，熵是概率分布有关系的。如果我们想把单独看概率分布的影响，可以想象更直观的量应该是 , 是某个方便的measure。如果我们期待这个量类似于其他热力学量具有可加性，那么一个方便的选择即是, the Shannon entropy。这时我们可以抛开物理内容，从概率论，或者信息论的角度来理解这个量了。在此之前，我们还是总结一些在统计力学熵的作用。根据统计力学的思想，我们是用一个概率分布来描述一个系统。给定概率分布，其他的宏观量可以由来得到，但是当我们考虑宏观量的改变的时候，除了可控物理参数改变引起的贡献还要考虑概率分布变化引起的贡献，这部分贡献可以用熵来描述。
在信息论理，熵与信息压缩直接相关：如果我们有一个信号源，他可以发生N种信号，可以认为每个信号对应一种符号，不同信号的概率不同，我们可以计算这个信号源的Shannon entropy S. 如果我们想用这个信号源来发送一条n个长度符号的信息时，我们只需要这么长的信号。
relative entropy
V. Vedral, "The Role of Relative Entropy in Quantum Information Theory"
如果我们认为概率是描述了某种belief，那么熵可以理解为是概率分布的一个intrinsic的measure，描述了belief的某种uncertainty。比如我们可以说：我估计π的小数点后第190位出现数字8的概率是90%。但是π是一个确定的数，并没有任何的uncertainty。我还是可以用概率的概念是因为，我总是可以用一个概率分布来描述我的belief （所以用频率来理解概率是由局限性的）。比如对于π这个问题，实际的概率是 , 而我的belief的概率分布是 。我的belief与实际的情况差距多少就可以用下面这个量来衡量
类似的我们可以定义两个概率分布直接的距离
称为relative entropy。那么接下来的问题如何做实验来验证我们belief是否正确呢？对于π这个极端的例子，只需要做一次实验就够了。因为如果你算
因为这个距离是无穷大。根据这个例子，还有我们的直觉可以想象，这个距离越大，我们需要做的实验次数也就越小。一个定量的估计是当我们做了n次实验后还会混淆两个概率分布的概率是 。从这例子里我们发现relative entropy作为一种长度的弊端是他不是对称的。如果要衡量两个概率分布的距离，更好的一个量是mutual information
是adjoint probability。这个measure是对称的
其中
从这个式子可以看出，mutual information是正定的且衡量了两个概率之间的关联，即如果,那么我们马上可以知道. 对于3个概率分布我们也可以定义相应的mutual information，但是不好的地方这个mutual information并不是正定的。但是如果我们把mutual information想象成某种距离的话，似乎只需要定义两点直接的距离就够了。有了距离，自然可以问面积，体积都代表了什么？这也就有了information geometry的概念，可以想象不同的概率分布构成了一个空间，他们之间的距离是由mutual information（或者relative entropy）来描述。有了几何，下面我们可以考虑类似广义相对论的问题，能不能引入dynamics，考虑flow，轨迹。概率的变化对应了信息的更新，可以用一个transition amplitude来描述。我们可以用更新的次数来代表离散化后的时间。如过我们假设transition amplitude是global的，即所有的点都按照同样的amplitude演化，那么可以证明
也就是说，flow趋向于相互汇聚。或者说 Distinguishability never increases。在经典力学里这个amplitude一般是一个随机过程（stochastic ）, 所以随机过程会磨平概率分布直接的区别。
如果我们没有额外的信息，那么对于比较rational的人来说的belief应该没有偏见的即 the uniform distribution , 那么
那么Distinguishability never increase直接导致了热力学第二定律：熵增原理。
Quantum entropy or Von Neumann entropy
量子系统的概率信息是由density matrix 密度矩阵来描述。我们总是可以考虑一些可观测量，然后对其做谱分解, 是本征值，是投影算符，然后通过来得到所满足的概率分布，从而计算他的Shannon entropy。对于不同的可观测量，得到的Shannon entropy也不一样。如果我们要衡量系统的不确定度，那么我们应该选最小的那个Shannon entropy。这个最小的Shannon entropy对应的就是von Neumann entropy
很明显，所有和对易的算符的Shannon entropy都等于von Neumann entropy。我们也可以把也当做一个可观测量，称为modular hamiltonian。利用modular hamiltonian我们定义一个modular flow
这里我们假设这些量都依赖一个参数，比如普朗克常量,或者其他的参数。然后考虑按照这个参量展开。通过match等式两边的pole我们可以得到很多信息。
当描述一个纯态的时候，von Neumann entropy 为0，比较trivial。我们可以考虑子系统，比如把这个系统分成A B 2份，然后考虑reduced density matrix，可以得到更多的一些信息。首先我们有Araki-Lieb 不等式
这个不等式告诉了我们说，当我们把系统分成很多小份，单独研究每一份的时候，我们似乎丢失了一部分信息，因为不确定性增加了。换句话来说，如果只有些local 的观察者的话，即使我们可以把收集所有观察者的观测，然后进行比较，但是我们还是会丢失一些信息？这个丢失量可以用quantum mutual information来衡量
我们也可以反过来想，如果我想了解一个量子系统 , 然后我们用测量工具和他couple起来，然后考察这个, 我们就会得到比单纯研究更多的信息，这个信息就是来自于与直接的关联。当我们尝试用系统A来传递信息的时候，即用不同的density matrix来代表不同的符号，且每个符号可能出现的概率是。根据之前信息压缩分析，系统A可以传送信息的效率也是与相关的，但这个效率不可能无穷大，是有一个bound的，称为Holevo bound，：
这个bound即代表了density matrix 与符号直接的quantum mutual information的最大值。如果每个代表了一个qubit，那么可以发现，这个最大值是2 bits。也就是通过发射一个qubit，最多可以传送2个bit的信息。但是前提是接受者这里也有一个qubit，且这个发送者的qubit与接受者的qubit是最大entangle一起的。
也可以反过来看，通过发送一个2bits是经典信息，我们可以传送一个qubit！：quantum teleportation。
我们先假设 Alice 和Bob 共同拥有一对entangle的qubit
然后Alice 想传送一个qubit , Alice并没有做任何观测，所以她对这个qubit的信息也是未知的，但是她想把这个态传给Bob。
她首先把这个qubit与放到一块
注意这时候Alice手里有个qubit，她可以把他们放一起，然后按照4个Bell state展开：
然后在Bell 基下做一个实验，这个波函数就会塌缩到某一个Bell 态,这时候她只需要把结果告诉Bob，那么Bob就知道自己手上的qubit处于什么状态，然后再做一个local 的unitary的操作就能得到Alice想传送的qubit。
quantum relative entropy
对于量子系统我们还是可以定义quantum relative entropy
满足
- Unitary operation leave invariant:
- The less information, the harder to distinguish
- Additivity
- Quantum distinguishability never increases: given and , 这里对应了经典情况下的随机过程，代表了所有可能的从density matrix 到 density matrix 的map (CP-map, completely positive or trace preserving map)
Holographic Entanglement Entropy
Mukund Rangamani, Tadashi Takayanagi, "Holographic Entanglement Entropy"
这里写一些想到的问题，还有在书里找到的答案。
在场论里，我们为什么关心entanglement entropy？
对于一些拓扑场论，纠缠熵可以作为phase parameter。
更主要的动机还是因为AdS/CFT，纠缠熵与引力有某种直接的关系，ER=EPR？在AdS/CFT的图像里，边界上的CFT的一个态，对应了bulk里面的一个解。并且我们关心的一类态，被称为code subspace，都具有具体bulk里面的几何描述。bulk里的物质场，也可以被认同为gauge invariant local operator。比如一个bulk 里的一个scalar field
但是在做这个认同之前，我们要确定场论里面的一个态，也就是要先确定bulk里面的几何。所以我们期待的是，bulk里面的几何信息等同于一个density matrix的信息。问题是他们究竟是怎样等同起来的？可能更重要的是，可能在场论这边很难计算的量可以很简单的由几何得到。如何计算场论的entropy
路径积分+replica trick。当然我们不能直接计算von Neumann entropy，我们能算的是Renyi entropy
还有modular entropy
对于时间依赖的density matrix，我们需要用Schwinger-Keldysh path integral。我们可以引入两个系统的两个copy，然后一个一个copy从选定的Cauchy slick向前演化，另外一个copy向后演化。
How to define a state in QFT? and how to define density matrix in general? and how to define measurement? how to define CP-map?
A pure state is given by a wavefunctional, period,
which is defined on a Cauchy slice. Given a state in some spatial domain, there is a unitary operator which allows us to evolve this state within the corresponding domain of dependence:
Causality requirements on entropies:
1). wedge observable；的spectrum只依赖.
2). is not sensitive to any local deformation of the Hamiltonian in , the key point is that to modify entanglement entropy, somehow we have to perturb both and .场论的entropy的一些性质
1）in d-dimensional free field theory, the leading divergent terms in the UV limit obey the area law
- (strong)subadditivity, Araki-Lieb inequality
- relative entropy is positive and monotonic
- relative entropy is positive, so it is at quadratic in the small deviation of the density matrix , therefore
known as the first law of entanglement.
6)subleading terms depend on the entangling surface
Screen Shot 2021-06-15 at 5.03.07 PM.png
the coefficients 依赖于正规化方案，没有特殊的意义。而最后一项的系数是universal的，与理论的conformal anomalies 相关。
2维CFT中的entropy计算
在2维CFT中的计算会有一定的简化。一般我们考虑在真空的情况，那么在用replica trick 做路径积分的时候，我们的积分曲面就是一个我们比较熟悉的黎曼面。假设CFT是定义在一个genus为的曲面上，那么replica的黎曼的曲面的genus为,是replica的重数，是disajoint interval的个数。所以当的时候，，也就是说无论为多少，总是可以等效为一个球面，这个积分很很容易做的。我们还可以用orbifold CFT技巧，把这个积分转化为twisted operator的两点函数。如果interval 的长度为,对应的entropy即为我们熟悉的
虽然这个量很容易得到，但是结果只依赖与CFT的central charge，所以我们并不能得到很多关于自由度的信息。
稍微复杂一些的，我们也可以考虑CFT定义在一个圆柱面上，即有一个方向是compact的，可以认为空间方向，也可以认为是个thermal circle，因为这时，计算还是很容易，只不过结果与之前差了一个conformal transformation。
当,或者考虑多个interval的时候，计算也会变得困难起来。要不我们要处理在一个高genus黎曼面上的积分，要不就是要计算一个多点关联函数。
这个时候RT formula就变得十分的有效。我们很容易的就可以得到一个多个interval的纠缠熵，只需要算一些minimal surface的面积。当然这不是免费的午餐。如果可以使用RT formula，那么就说明我们的CFT是一个holographic CFT，至少是large c的，在这样的极限下，我们也应该可以期待不管是路径积分还是多点关联函数都可能是可以做的了。如何推导RT formula
一般我们会直接refer Lewkowycz 和 Maldacena的工作，但是之前的两个工作很很有启发性。
1）在边界上，在计算Renyi entropy的时候，是在一个branched manifold上积分，我们也可以把这些branch point看做是一些conical singularity。如果我们假设这些conical singularity可以延伸到bulk里，那么bulk的对应的action的计算就会得到RT 公式。但是问题是，这样带有conical singularity的几何并不是bulk里引力理论的解，所以从bulk来看，这样的几何是没有意义的。
2）考虑一种特殊的情况，真空态里的一个球形区域。球形区域可以通过坐标变换变为Rindler space，而Rindler space 对应的density matrix就是thermal density matrix。然后我们利用AdS/CFT，可知thermal density matrix 对应了黑洞，黑洞的熵可以用Bekenstein-Hawking公式，
3）最后 Lewkowycz 和 Maldacena 给出了他们local 的推导。推导的关键有两个：Kinematics：同样假设边界的replica symmetry，可以延伸到bulk 里面，然后再bulk里寻找带有replica symmetry的解。因为这个解带有replica symmetry，所以在计算action的时候，可以先做一个quotient，然后计算单独一个小块的action，最后再乘以replica的重数。但是因为整个bulk是smooth的，做quotient的时候如果有fix point，那么在一个小块里就会有一个conical singularity。这就回到了1）所假设的情况。这里另外一个假设是，这个fix point是一个codimension-2的曲面。因为我们是认为的做了quotient，所以这个小块不满足引力方程也没什么问题，我们可以再人为地认为，在fix point处我们放入了一个cosmic brane，这个cosmic brane具有特定的tension，支撑了这个conical singularity。Dynamics：最后要说明RT surface 是一个极小曲面。因为RT surface 是codimension-2的，所以他又两个方向上的extrinsic curvature。如果假设time reflection symmetry，那么时间方向的curvature 为0. 场方向要求另外一个空间方向的curvature为0. 因为两个curvature都为0，所以RT surface 是一个极小曲面。如何计算1-loop 修正
在bulk里做计算的时候，我们可以牛顿常量做展开，然后就可以在一个rigid background考虑一个量子场论。在第一阶的贡献里，有限的部分即使对bulk entanglement entropy的修正。发射的部分可以理解为对牛顿常量的修正。几何化entanglement entropy
RT 公式建议我们可以把bulk 的modular hamiltonian 与boundary modular hamiltonian等同起来
其中 对应了面积operator。
- Holographic Entropy Inequalities
1). Positivity of Entanglement Entropy
2). Subadditivity
3). Strong Subadditivity
4). Araki-Lieb Inequality
It can be saturated in these theories.
Since the entanglement wedge has to contain the causal wedge, the presence of holes in the latter forces the extremal surfaces to become disjoint.
5). other Entropy Inequalities: certain features of entanglement that are specific to them：
Tripartite information inequality
monogamy of mutual information
holographic entropy cone
6). Open questions
Holographic entropy cone is a polyhedral cone, while the quantum entropy cone is in general not expected to be so.
It would be interesting to understand the particularities of the entanglement structure in states that statify the hologrphic inequalities
- Quantum Quenches and Entanglement
We start with a ground state of of gapped Hamiltonian and we instantly turn off the mass gap at , leading to a new Hamiltonian of a CFT. The excitation modes, with energy less than are then freely propagating, while those with higher energy fail to see a difference between before and after the quench. Therefore we can regard the quench at as a boundary
the state is referred to as a boundary state. It is defined as the state realized when we impose rigid boundary conditions on the fields of our CFT.
Boundary states which preserve half of the original Virasoro symmetry. CFTs with such boundary states are called BCFT Ishibashi state, which is a maximally entangled states of the left and right-moving sectors of the CFT.
The physical boundary conditions are not Ishibashi states but so-called Cardy state which requires them to respect open-closed duality for partition functions on cylinders. In particular, the Cardy state contains the information about the spectrum of the CFt in question. Boundary states are singular as their norm diverge. A simple way to regularize the norms is to perform a Euclidean time evolution by
简单来说global quench可以被理解为一个boundary state，这个boundary state需要用一个Schwinger-Keldysh path integral 来制备。也就是说在做路径积分的时候要额外多引入一个条形区域。我们可以做一个conformal 变换，把这个条形区域变成一条线，这就回到了我们之前熟悉的情形，但是代价是这个conformal 变化把复平面映射成了上半平面，在计算twisted operator的关联函数的时候，也是要在这个上半平面来做，如果用镜像法的话，2点函数就变成了一个4点函数。
The holographic dual of quantum quench scenario corresponds to the process of black hole creation. For example, using the collapse of null dust. This is well described by the Vaidya solution, which is the simplest analytic metric for the dynamical process of the black hole formation. During the quench, the metric near the boundary also gets abruptly modified. This can be attributed to a sudden injection of energy densith into our boundary theory. (So the inverse process is like the process of "Hawking radiation")
The expectation value of boundary energy momentum tensor instantaneously switches from its vacuum value to the thermal answer. However, other observables take longer to equilibrate: one can see a slower equilibration in correlation functions and also in entanglement entropy.