量子计算：信息论

啊呀呀呀！真的学不明白了 o(TωT)o

量子力学基础知识

在 上一篇 博客里整理了一些量子计算的常识性内容。

基本概念

标量积 $⟨B|A⟩$ 的物理含义：对于态矢 $|A⟩$ 描述的物理系统进行测量，使得它坍缩到状态 $|B⟩$ 的几率幅。假设 $|i⟩$ 是一组基矢，那么有
$$|A⟩=\sum _i⟨i|A⟩\cdot |i⟩$$

并且满足 ${\sum }_i|⟨i|A⟩{|}^2=1$。波函数为 ${\Psi }_A(B)=⟨B|A⟩$。标量积是厄米的，$⟨B|A⟩=⟨A|B{⟩}^{†}$

对易式 $[A,B]:=AB-BA$，反对易式 $\{A,B\}:=AB+BA$

正交归一条件：对于分立谱 $⟨{\xi }_i|{\xi }_j⟩={\delta }_{ij}$，对于连续谱 $⟨{\xi }^{\prime }|{\xi }^{\prime \prime }⟩=\delta ({\xi }^{\prime }-{\xi }^{\prime \prime })$，其中的 $\delta (\cdot )$ 是指示函数。

完备条件：${\sum }_i|{\xi }_i⟩⟨{\xi }_i|+\int |{\xi }^{\prime }⟩d{\xi }^{\prime }⟨{\xi }^{\prime }|=I$，如果全是离散的则 ${\sum }_i|{\xi }_i⟩⟨{\xi }_i|=I$

量子测量

测量算子是一个集合 $\{M_m\}$，对于系统量子态 $|\psi ⟩$，测量这个系统以概率（注意 $M_m|\psi ⟩$ 是态矢不是几率幅）
$$p(m)=(M_m|\psi ⟩{)}^{†}(M_m|\psi ⟩)=⟨\psi |M_m^{†}{M}_m|\psi ⟩$$

测得结果 $m$，并且系统的测后状态为（除以 $\sqrt{p(m)}$ 归一化）：
$$|{\psi }^{\prime }⟩=\frac{M_m|\psi ⟩}{\sqrt{p(m)}}$$

由于 ${\sum }_{m}p(m)=1$，因此 ${\sum }_m{M}_m^{†}{M}_m=I$，这就是测量算子的完备性条件。

可观测力学量 $M$ 是厄米算子，它有谱分解 $M={\sum }_{m}m{P}_m$（酉对角化，本征矢是标准正交的），其中 $m$ 是本征值，对应的本征态是 $|m⟩$（满足 $⟨m|m⟩=1$），那么 $P_m=|m⟩⟨m|$ 就是到本征子空间的投影算子。

我们以 $\{P_m\}$ 作为正交测量算子（即 $P_m{P}_n={\delta }_{mn}{M}_m$）进行正交投影测量，系统 $|\psi ⟩$ 以概率 $p(m)=⟨\psi |P_m|\psi ⟩$ 测量出 $m$，测后状态为 $\frac{P_m|\psi ⟩}{\sqrt{p(m)}}$，在系统 $|\psi ⟩$ 下力学量 $M$ 的观测平均值为：
$$⟨M⟩:=\sum _{m}p(m)\cdot m=⟨\psi |\left(\sum _{m}m{P}_m\right)|\psi ⟩=⟨\psi |M|\psi ⟩$$

广义测量：在大系统上执行正交投影测量时，在子系统上观察到的测量。

对于任意测量 $\{M_m\}$，我们记 $E_m=M_m^{†}{M}_m$，它们是正定的厄米算子，并且 $\{E_m\}$ 是完备的，即 ${\sum }_m{E}_m=I$。我们将 $E_m$ 叫做 POVM 元，集合 $\{E_m\}$ 叫做一个 POVM（Positive Operator-Valued Measure）。更一般地，POVM 指的是任意一组完备的正定算符。易知，对于系统 $|\psi ⟩$ 的 POVM 的概率分布为：
$$p(m)=⟨\psi |E_m|\psi ⟩$$

Neumark 定理：给定任意的 POVM，都可以将态空间扩展到更大态空间，然后在大系统上执行正交投影测量，来实现原始态空间的 POVM。

也就是，在大系统上做正交投影测量，那么在子系统上看来就是 POVM 了。注意，POVM 元并不是测量算子，但它足够确定不同测量结果的概率，此时人们不关心系统的测后状态。

密度算符

给定归一化量子态 $|\psi ⟩$（满足 $⟨\psi |\psi ⟩=1$），定义（纯态）密度算符为
$$\rho =|\psi ⟩⟨\psi |$$

容易验证 $\rho$ 是厄米的（${\rho }^{†}=\rho$），也是幂等的（${\rho }^2=\rho$）

它的矩阵元为（注意 $n$ 量子比特的态矢是 $2^n$ 维复向量，密度矩阵大小是 $2^n\times 2^n$ 而非 $n\times n$）
$${\rho }_{ij}=⟨i|\rho |j⟩=⟨i|\psi ⟩⟨\psi |j⟩=⟨i|\psi ⟩\cdot (⟨\psi |j⟩{)}^{†}$$

对角线元素 ${\rho }_{ii}=|⟨i|\psi ⟩{|}^2$ 就是测量值为 $|i⟩$ 的概率。因此，它的迹为
$$tr(\rho )=\sum _i{\rho }_{ii}=1$$

给定力学量 $M$，它在量子态 $|\psi ⟩$ 下的测量平均值为：
$$⟨M⟩:=⟨\psi |M|\psi ⟩=tr(\rho M)=tr(M\rho )$$

以 $\{M_m\}$ 作为测量算子，测得结果 $m$ 的概率为：
$$p(m)=⟨\psi |M_m^{†}{M}_m|\psi ⟩=tr(M_m^{†}{M}_m\rho )$$

测后状态的密度算符为：
$${\rho }_m=\frac{M_m|\psi ⟩⟨\psi |M_m^{†}}{tr(M_m^{†}{M}_m\rho )}=\frac{M_m\rho M_m^{†}}{tr(M_m^{†}{M}_m\rho )}$$

混合态：不能用单个波函数描述的状态。一系列的纯态 $|{\psi }_k⟩$，满足完备性条件 ${\sum }_k|{\psi }_k⟩⟨{\psi }_k|=I$，且系统处于状态 $|{\psi }_k⟩$ 的概率为 $p_k$，满足 ${\sum }_k{p}_k=1$，那么系统处于纯态系综 $\{p_k,|{\psi }_k⟩\}$ 的统计混合。此时的密度算符为：
$$\rho =\sum _k{p}_k|{\psi }_k⟩⟨{\psi }_k|=\sum _k{p}_k{\rho }_k$$

可以证明，混合态的密度算符也是厄米的。但要注意，混合态的密度算符不再幂等，
$$\begin{gathered} {\rho }^2=\sum _k{p}_k^2|{\psi }_k⟩⟨{\psi }_k|\ne \rho , \\ tr({\rho }^2)\le tr(\rho )=\sum _k{p}_k\cdot tr({\rho }_k)=1 \end{gathered}$$

由于密度算子是半正定的厄米阵，因此可以谱分解，
$$\begin{gathered} \rho =\sum _i{\lambda }_i|i⟩⟨i|,{\rho }^2=\sum _i{\lambda }_i^2|i⟩⟨i|, \\ {\lambda }_i\ge 0,tr(\rho )=\sum _i{\lambda }_i,tr({\rho }^2)=\sum _i{\lambda }_i^2 \end{gathered}$$

注意区分 “纯态 & 混合态”（是否可用单个波函数描述）与 “直积态 & 纠缠态”（都是纯态，是否可以写成各个 qubit 的直积形式）。

给定力学量 $M$，它在密度算符为 $\rho$ 的混合态下，由于迹是线性的，因此它的测量平均值为：
$$⟨M⟩:=\sum _k{p}_k\cdot ⟨{\psi }_k|M|{\psi }_k⟩=\sum _k{p}_k\cdot tr({\rho }_{k}M)=tr(M\rho )$$

以 $\{M_m\}$ 作为测量算子，测得结果 $m$ 的概率为：
$$p(m)=\sum _k{p}_k\cdot ⟨{\psi }_k|M_m^{†}{M}_m|{\psi }_k⟩=tr(M_m^{†}{M}_m\rho )$$

测后状态的密度算符为：
$${\rho }_m=\sum _k{p}_k\frac{M_m|{\psi }_k⟩⟨{\psi }_k|M_m^{†}}{tr(M_m^{†}{M}_m\rho )}=\frac{M_m\rho M_m^{†}}{tr(M_m^{†}{M}_m\rho )}$$

当不知道 $m$ 的值，则测后状态只能描述为：${\rho }^{\prime }={\sum }_{m}p(m){\rho }_m={\sum }_m{M}_m\rho M_m^{†}$

酉变换 $U$ 作用在纯态/混合态 $\rho$ 上，那么得到
$${\rho }^{\prime }=\sum _k{p}_k(U|{\psi }_k⟩)(U|{\psi }_k⟩{)}^{†}=U\rho U^{†}$$

一个算子 $\rho$ 是某系综的密度算子，当仅当它满足迹条件（$tr(\rho )=1$）和正定性条件（${\lambda }_i\ge 0$）。

同一个密度算子可以对应不同的系综。密度算子的酉自由度：两组非归一化的态矢 $|{\psi }_i⟩,|{\varphi }_j⟩$，填充零向量使之有相同大小。那么 $\rho ={\sum }_i|{\psi }_i⟩⟨{\psi }_i|={\sum }_j|{\varphi }_i⟩⟨{\varphi }_i|$，当仅当存在酉阵 $U$ 使得 $|{\psi }_i⟩={\sum }_j{u}_{ij}|{\varphi }_j⟩$

复合体系

两个系统 $A,B$ 的基矢为 $|i{⟩}_A,|j{⟩}_B$，则复合系统 $A+B$ 的一组完备基是 $|i{⟩}_A\otimes |j{⟩}_B$，其中的纯态可表示为：
$$|\psi {⟩}_{AB}=\sum _{ij}{a}_{ij}|i{⟩}_A|j{⟩}_B,\sum _{ij}|a_{ij}{|}^2=1$$

如果 $A+B$ 的状态为 ${\rho }^{AB}$，子系统 $B$ 的一组基矢 $|j⟩$，那么子系统 $A$ 的约化密度算子为：
$${\rho }^A:=t{r}_B({\rho }^{AB})=\sum _j⟨j|{\rho }^{AB}|j⟩$$

如果 ${\rho }^{AB}=|a_1⟩⟨a_2|\otimes |b_1⟩⟨b_2|$，其中 $a_1,a_2$ 是子系统 $A$ 中态矢，$b_1,b_2$ 是子系统 $B$ 中态矢，那么
$$t{r}_B({\rho }^{AB})=|a_1⟩⟨a_2|\cdot tr(|b_1⟩⟨b_2|)=|a_1⟩⟨a_2|\cdot ⟨b_2|b_1⟩$$

约化密度矩阵 ${\rho }_A$ 的性质：

1. 是厄米的，它的迹为 $1$
2. 可以酉对角化，本征值是非负实数
3. 仅当 $|\psi ⟩=|i{⟩}_A|j{⟩}_B$ 是直积态（两个子系统间非纠缠），才会有 ${\rho }_A^2={\rho }_A$（纯态）。也就是说，即使复合系统处于纯态，其子系统依然可能处于混合态。

Schmidt 分解：假设 $|\psi ⟩$ 是复合系统 $AB$ 上的纯态，则存在 $A,B$ 的标准正交基 $|i_A⟩,|i_B⟩$，使得：
$$|\psi ⟩=\sum _i{p}_i|i_A⟩|i_B⟩$$

其中的 $|i⟩$ 是复合系统的基矢，它的直积分量 $|i_A⟩,|i_B⟩$ 叫做子系统的 Schmidt 基。其中几率幅 $p_i\ge 0$ 叫做 Schmidt 系数，满足归一化条件 ${\sum }_i{p}_i^2=1$，非零 $p_i$ 的个数叫做 Schmidt 数。态矢 $|\psi ⟩$ 是直积态（不纠缠），当仅当 Schmidt 数为 $1$，当仅当 ${\rho }^A,{\rho }^B$ 都是纯态。

系统 $A$ 的任意一个状态为 ${\rho }^A$（纯态/混合态），可以引入另一个系统 $R$（非物理的数学技巧），在复合系统 $A+R$ 中定义某一个纯态 $|\psi ⟩$ 使得 ${\rho }^A=t{r}_R(|\psi ⟩⟨\psi |)$，这个过程称为纯化。此过程中定义的 $|\psi ⟩$ 做 Schimdt 分解后子系统 $A$ 的 Schmidt 基，就是 ${\rho }^A$ 的酉对角化中的基矢，即：
$$\begin{array}{rl}{\rho }^A& =\sum _i{\lambda }_i|i_A⟩⟨i_A|\\ |\psi ⟩& =\sum _i\sqrt{{\lambda }_i}|i_A⟩|i_R⟩\\ t{r}_R(|\psi ⟩⟨\psi |)& =\sum _i{\lambda }_i|i_A⟩⟨i_A|\cdot tr(|i_R⟩⟨i_R|)\end{array}$$

Bell 不等式

类空间隔：无连接的两个事件。类时间隔：由光束连接的两个事件（物理性影响的传播速度无法超光速）。

E·P·R 在论文中提出了一个思想实验，EPR 佯谬，

1. 定域因果观点：类空间隔的两个事件之间无因果关系
2. 物理实在要素观点：任意可观测物理量是一个物理实在的要素，在客观上有具体数值，与测量无关（这个在微观世界中不成立）

量子力学的观点：未被观测的粒子并不具有独立于测量的物理性质（物理性质是在系统上执行测量而造成的结果）

著名的 Bell 不等式，
$$E(QS)+E(RS)+E(RT)-E(QT)\le 2$$

使得可以用实验来检验：到底是爱因斯坦的隐变量是对的，还是量子力学是对的。最终人们发现实验的结果违背了 Bell 不等式，因此实在性假设和定域性假设至少有一个是错的（虽然在直观上它们是那么的合理）。

量子信息论

量子操作

一个闭系统的演化，由酉算子来刻画。而一个开系统，它与外界环境有相互作用，其演化用更加一般化的量子操作来刻画。

主系统 $Q$ 的状态 $\rho$，环境 $R$ 的状态 ${\rho }_{env}$，它们的复合状态是直积态 $\rho \otimes {\rho }_{env}$。这个复合系统经过酉演化，对环境取偏迹，得到主系统的约化密度算子，其量子操作为：
$$\mathcal{E}(\rho )=t{r}_{env}\left(U(\rho \otimes {\rho }_{env})U^{†}\right)$$

假设环境 $R$ 有一组标准正交基 $|e_k⟩$，不失一般性地我们假设 ${\rho }_{env}=|e_0⟩⟨e_0|$，那么有算子和表示，
$$\mathcal{E}(\rho )=\sum _k⟨e_k|U(\rho \otimes {\rho }_{env})U^{†}|e_k⟩=\sum _k{E}_k\rho E_k^{†}$$

其中 $E_k=⟨e_k|U|e_0⟩$ 是主系统 $Q$ 上的算子，集合 $\{E_k\}$ 叫做操作元。对于输入态 $\rho$，做量子操作后，以概率 $tr(E_k\rho E_k^{†})$ 变为状态 $\frac{E_k\rho E_k^{†}}{tr(E_k\rho E_k^{†})}$

通常要求量子操作是保迹的，即：
$$\begin{gathered} \forall \rho ,tr(\mathcal{E}(\rho ))=tr(\sum _k{E}_k^{†}{E}_k\rho )=1, \\ \sum _k{E}_k^{†}{E}_k=I \end{gathered}$$

这便是量子操作元的完备性关系。

同一个量子操作的操作元不是唯一的。算子和表示的酉自由度：假设操作元 $\{E_i\}$ 和 $\{F_j\}$ 分别对应量子操作 $\mathcal{E},\mathcal{F}$，添加零算子使得算子元个数相同。那么 $\mathcal{E}=\mathcal{F}$，当仅当存在酉阵 $U$，使得 $E_i={\sum }_j{u}_i{F}_j$

迹距离 & 保真度

如何刻画两个量子态的接近程度呢？在经典信息论中，迹距离定义为 $D(p(x),q(x)):=\frac{1}{2}{\sum }_x|p(x)-q(x)|$（就是分布的统计距离，L1 距离），保真度定义为 $F(p(x),q(x)):={\sum }_x\sqrt{p(x)q(x)}$（几率幅的内积，这不是距离）。

类比着定义量子态的迹距离和保真度，但是使用密度算符替代概率分布。

迹距离

量子态 $\rho ,\sigma$ 的迹距离定义为
$$D(\rho ,\sigma ):=\frac{1}{2}tr|\rho -\sigma |=\frac{1}{2}tr|\sigma -\rho |\ge 0$$

这里的 $|A|:=\sqrt{A^{†}A}$ 是奇异值矩阵。对于任意半正定算子 $\rho$ 和酉算子 $U$，都有 $\sqrt{U\rho U^{†}}=U\sqrt{\rho }{U}^{†}$，于是可以证明迹距离是酉作用不变的，
$$D(U\rho U^{†},U\sigma U^{†})=D(\rho ,\sigma )$$

当 $[\rho ,\sigma ]=0$ 对易时，它们可以同时酉对角化 $\rho ={\sum }_i{r}_i|i⟩⟨i|,\sigma ={\sum }_i{s}_i|i⟩⟨i|$，其中 $|i⟩$ 是同一组标准正交基。此时，量子迹距离退化为经典：
D ( ρ , σ ) = 1 2 t r ∣ ∑ i ( r i − s i ) ∣ i ⟩ ⟨ i ∣ ∣ = 1 2 ∑ i ∣ r i − s i ∣ = D ( r ( i ) , s ( i ) ) D(\rho,\sigma) = \dfrac{1}{2} tr\left|\sum_i (r_i-s_i)|i\rangle\langle i|\right| = \dfrac{1}{2} \sum_i |r_i-s_i| = D(r(i),s(i)) D(ρ,σ)=21​tr ​i∑​(ri​−si​)∣i⟩⟨i∣ ​=21​i∑​∣ri​−si​∣=D(r(i),s(i))

令 $\sigma =({\sigma }_x,{\sigma }_y,{\sigma }_z)$ 是泡利矩阵组成的向量，那么存在坐标 $r,s$ 使得 $\rho =\frac{I+r\cdot \sigma }{2}$，$\sigma =\frac{I+s\cdot \sigma }{2}$，此时有
$$D(\rho ,\sigma )=\frac{tr|(r-s)\cdot \sigma |}{4}$$

直接按照迹距离定义，有时由于 $|\rho -\sigma |$ 并不太好用。下面给出两个等价的定义，一个使用投影算子，另一个使用 POVM 元。

注意，半正定矩阵的差，不一定还是半正定的，厄米阵的谱分解中本征值可能会小于零。我们令 $\rho -\sigma ={\sum }_i{d}_i|i⟩⟨i|=Q-S$，其中 $Q$ 对应非负本征值，$S$ 对应负数本征值，且 $tr(Q)=tr(S)$，那么：
$$D(\rho ,\sigma )=\frac{1}{2}tr(Q+S)=tr(Q)=\underset{P}{\max }tr(P(\rho -\sigma ))$$

这里的 $P$ 是任意投影算子，当它是到子空间 $Q$ 的投影时取到最大值。

令 $\{E_m\}$ 是一个 POVM，测得 $m$ 的几率为 $p_m=tr(\rho E_m),q_m=tr(\sigma E_m)$，那么：
$$D(\rho ,\sigma )=\underset{\{E_m\}}{\max }D(p_m,q_m)$$

这里的极大是对于所有的 POVM 取的（确切地说，当选取的 POVM 元包含到子系统 $Q$ 和 $S$ 的投影时，取到最大）。因此，量子迹距离是经典迹距离的上界，量子下的区分性更大。

假设 $\mathcal{E}$ 是保迹量子操作，那么迹距离不增（区分器的输出分布统计距离不会变大），
$$D(\mathcal{E}(\rho ),\mathcal{E}(\sigma ))\le D(\rho ,\sigma )$$
特别的，偏迹也是量子操作，因此有 $D(t{r}_B({\rho }^{AB}),t{r}_B({\sigma }^{AB}))\le D({\rho }^{AB},{\sigma }^{AB})$

迹距离的强凸性：两个混合态的概率有相同指标集，则
$$D(\sum _i{p}_i{\rho }_i,\sum _i{q}_i{\sigma }_i)\le D(p(i),q(i))+\sum _i{p}_{i}D({\rho }_i,{\sigma }_i)$$

保真度

量子态 $\rho ,\sigma$ 的保真度定义为
$$F(\rho ,\sigma ):=tr(\sqrt{{\rho }^{1/2}\sigma {\rho }^{1/2}})=tr(\sqrt{{\sigma }^{1/2}\rho {\sigma }^{1/2}})\ge 0$$

同样地，保真度在酉变换下不变，
$$F(U\rho U^{†},U\sigma U^{†})=F(\rho ,\sigma )$$

当 $[\rho ,\sigma ]=0$ 对易时，量子保真度也退化为经典：
$$F(\rho ,\sigma )=tr(\sqrt{\sum _i{r}_i{s}_i|i⟩⟨i|})=\sum _i\sqrt{r_i{s}_i}=F(r(i),s(i))$$

另外，当其中一个量子态是纯态 $|\psi ⟩$，那么 $\sigma =|\psi ⟩⟨\psi |$ 满足 $\sqrt{\sigma }=\sigma$（一个本征值为$1$，其他的皆为 $0$），于是
$$F(|\psi ⟩,\rho )=F(\rho ,|\psi ⟩)=tr(\sqrt{⟨\psi |\rho |\psi ⟩\cdot |\psi ⟩⟨\psi |})=\sqrt{⟨\psi |\rho |\psi ⟩}=\sqrt{⟨\rho ⟩}$$

也就是说保真度就是算子 $\rho$ 在纯态 $|\psi ⟩$ 下的测量均值的平方根。

Uhlmann 定理：系统 $Q$ 的密度算子 $\rho ,\sigma$，我们引入一个系统 $R$ 使它与 $Q$ 的维数相同，那么
$$F(\rho ,\sigma )=\underset{|\psi ⟩,|\varphi ⟩}{\max }|⟨\psi |\varphi ⟩|$$

这里的极大是对 $\rho ,\sigma$ 在复合系统 $Q+R$ 上的所有纯化态取的（纯态 $|\psi ⟩={\sum }_i\sqrt{{\lambda }_i}|i_Q⟩|i_R⟩$ 是混合态 $\rho ={\sum }_i{\lambda }_i|i_Q⟩⟨i_Q|$ 的纯化，类似的 $|\varphi ⟩$ 是 $\sigma$ 的纯化）。

保真度的强凹性：两个混合态的概率有相同指标集，则
$$F(\sum _i{p}_i{\rho }_i,\sum _i{q}_i{\sigma }_i)\ge \sum _i\sqrt{p_i{q}_i}F({\rho }_i,{\sigma }_i)$$

两者关系

第一个关系，
$$D(\rho ,\sigma )+F(\rho ,\sigma )\ge 1$$

第二个关系，
$$D(\rho ,\sigma {)}^2+F(\rho ,\sigma {)}^2\le 1$$

冯诺依曼熵

经典信息论中，使用 Shannon 熵 $H(X):=-{\sum }_{x}p(x)\log p(x)$。而在量子情况下，量子态就是随机变量，因此用密度算子替换概率分布。量子态 $\rho$ 的 Von Neumann 熵定义为：

$$S(\rho ):=-tr(\rho \log \rho )\ge 0$$

它与热力学的玻尔兹曼熵 $S=tr(-k_B\rho \ln \rho )=k_B\ln \Omega$ 几乎只相差个常数。

如果 $d$ 维空间量子态 $\rho$ 的本征值为 ${\lambda }_x$，那么就有如下更便于计算的式子，
$$S(\rho )=-\sum _x{\lambda }_x\log {\lambda }_x\le \log d$$

类比经典相对熵 $KL(p\Vert q)={\sum }_{x}p(x)\log \frac{p(x)}{q(x)}$，但是厄米阵 $\sigma$ 不一定有逆。量子相对熵定义为：
$$S(\rho \Vert \sigma ):=tr(\rho \log \rho )-tr(\rho \log \sigma )\ge 0$$

它取等号当仅当 $\rho =\sigma$（Klein 不等式）。

Fannes 不等式（量子熵的连续性）：定义 $T(\rho ,\sigma ):=2D(\rho ,\sigma )$ 以及 $\eta (x):=-x\log x$，如果 $d$ 维 Hilbert 空间中密度算子 $\rho ,\sigma$ 的迹距离满足 $T(\rho ,\sigma )\le 1/e$，那么
$$|S(\rho )-S(\sigma )|\le T(\rho ,\sigma )\log d+\eta (T(\rho ,\sigma ))$$

仿照 Shannon 熵的样子，定义

• 量子联合熵 $S(A,B):=-tr({\rho }^{AB}\log {\rho }^{AB})$
• 量子条件熵 $S(A|B):=S(A,B)-S(B)$
• 量子互信息 $S(A:B):=S(A)+S(B)-S(A,B)$

量子熵的基本性质：

1. $S(\rho )\ge 0$，当仅当 $\rho$ 是纯态时熵等于零。
2. $d$ 维 Hilbert 空间的熵至多为 $\log d$，完全混合态 $I/d$ 时取等。
3. 复合系统 $A+B$ 如果处于纯态 $|\psi ⟩={\sum }_i\sqrt{{\lambda }_i}|i_A⟩|i_B⟩$（Schmidt 分解，子系统有相同本征值），那么有联合熵 $S(A,B)=0$ 并且 $S(A)=S(B)=-{\sum }_i{\lambda }_i\log {\lambda }_i$，即纯态系统任意切分后的熵相等。
4. 混合态的熵：$S({\sum }_i{p}_i{\rho }_i)=H(p)+{\sum }_i{p}_{i}S({\rho }_i)$，包括混合态概率分布的香农熵以及纯态系综的冯诺依曼熵均值
5. 熵的可加性：$S(\rho \otimes \sigma )=S(\rho )+S(\sigma )$，直积态的熵等于子系统熵的加和。
6. 联合熵定理：$S({\sum }_i{p}_i|i⟩⟨i|\otimes {\rho }_i)=H(p)+{\sum }_i{p}_{i}S({\rho }_i)$，其中 $|i⟩$ 是子系统 $A$ 的正交态，${\rho }_i$ 是子系统 $B$ 的密度算子集合。
7. 量子条件熵可能是负数（香农条件熵 $H(Y|X)\ge 0$），量子联合熵可能比子系统的量子熵更小（例如复合系统是纯态，它的子系统非纯态）。

给定一组完备的正交投影算子 $\{P_i\}$，测后态 ${\rho }^{\prime }={\sum }_i{P}_i\rho P_i$ 的熵不会更小，
$$S({\rho }^{\prime })=-tr(\rho \log {\rho }^{\prime })\ge S(\rho )$$

等号成立当仅当 ${\rho }^{\prime }=\rho$。

量子熵的联合凹性：混合态 $\{p_i,{\rho }_i\}$，有
$$S(\sum _i{p}_i{\rho }_i)\ge \sum _i{p}_{i}S({\rho }_i)$$

等号成立当仅当对于 $p_i>0$ 的那些 ${\rho }_i$ 都相同。

量子熵的次可加性：复合系统 $A+B$ 处于联合态 ${\rho }^{AB}$，
$$|S(A)-S(B)|\le S(A,B)\le S(A)+S(B)$$

量子熵的强次可加性：扩展到任意的三个量子系统 $A,B,C$，
$$\begin{gathered} S(A)+S(B)\le S(A,C)+S(B,C) \\ S(A,B,C)+S(B)\le S(A,B)+S(B,C) \end{gathered}$$

那么可以证明，

1. 条件会减小熵：复合系统 $ABC$，$S(A|B,C)\le S(A|B)$
2. 去掉系统不会增加互信息：复合系统 $ABC$，$S(A:B)\le S(A:B,C)$
3. 量子操作不会增加互信息：复合系统 $AB$，子系统 $B$ 上的保迹量子操作 $\mathcal{E}$ 作用在复合系统上，$S(A^{\prime }:B^{\prime })\le S(A,B)$

Holevo 界：如果 Alice 以概率 $\{p_x\}$ 制备状态 $\{{\rho }_x\}$，Bob 进行 POVM 元 $\{E_y\}$ 的测量，测量结果是 $Y$，那么总有
$$H(X:Y)\le \chi :=S(\rho )-\sum _x{p}_{x}S({\rho }_x)$$

其中 $\rho ={\sum }_x{p}_x{\rho }_x$ 是它们的混合。Holevo 界给出了执行测量所能获得的信息上界，是量子信息论的基石。

信源编码

信源编码：压缩技术，去除冗余信息。信道编码：容错技术，添加冗余信息。

经典

对于经典信息论，经典信源以概率 $\{p(x)\}$ 独立地产生随机比特 $X$。字符串 $x_1{x}_2\cdots x_n$ 叫做 $ϵ$-典型序列，满足
$$2^{-n(H(X)+ϵ)}\le p(x_1,x_2,\cdots ,x_n)\le 2^{-n(H(X)-ϵ)}$$

将它们收集到集合 $T(n,ϵ)$ 中，称为 $ϵ$-典型序列集合。

典型序列定理：

1. 固定 $ϵ>0$，任意的 $\delta >0$ 和充分大的 $n\in {\mathbb{Z}}^{+}$，随机一个序列是 $ϵ$-典型序列的概率至少为 $1-\delta$（几乎都是典型的）
2. 固定 $ϵ>0$，任意的 $\delta >0$ 和充分大的 $n\in {\mathbb{Z}}^{+}$，那么 $ϵ$-典型序列的数目为 $(1-\delta )2^{n(H(X)-ϵ)}\le |T(n,ϵ)|\le 2^{n(H(X)+ϵ)}$
3. 固定 $R<H(X)$，令 $S(n)$ 是大小 $2^{nR}$ 的 $n$ 长序列的收集，对于任意的 $\delta >0$ 和充分大的 $n\in {\mathbb{Z}}^{+}$，有 ${\sum }_{x\in S(n)}p(x)\le \delta$（占比任意小）

Shannon 无噪声信道的编码定理：令 $\{X_i\}$ 是熵为 $H(X)$ 的独立同分布信源，

• 如果 $R>H(X)$，那么存在码率 $R$ 的可靠压缩方案
• 如果 $R<H(X)$，那么任意码率 $R$ 的压缩方案都不可靠

量子

对于量子信息论，Hildert 空间 $H$ 上的量子信源的密度算子为 $\rho ={\sum }_x{p}_x|x⟩⟨x|$（满足 $S(\rho )=H(p)$），它独立地产生随机量子态 $|X⟩$。量子态 $|x_1{x}_2\cdots x_n⟩$ 叫做 $ϵ$-典型状态，满足
$$2^{-n(H(X)+ϵ)}\le p(x_1,x_2,\cdots ,x_n)\le 2^{-n(H(X)-ϵ)}$$

将这些典型状态张成的子空间叫做 $ϵ$-典型子空间，记为 $T(n,ϵ)$。到 $T(n,ϵ)$ 的投影算子记为 $P(n,ϵ)$，
$$P(n,ϵ)=\sum _{x\in T(n,ϵ)}|x_1⟩⟨x_1|\otimes \cdots \otimes |x_n⟩⟨x_n|$$

典型子空间定理：

1. 固定 $ϵ>0$，任意的 $\delta >0$ 和充分大的 $n\in {\mathbb{Z}}^{+}$，随机一个序列是 ${\rho }^{\otimes n}$ 满足
   $$tr(P(n,ϵ){\rho }^{\otimes n})\ge 1-\delta$$
   即 ${\rho }^{\otimes n}$ 几乎总是落入 $ϵ$-典型子空间。

2. 固定 $ϵ>0$，任意的 $\delta >0$ 和充分大的 $n\in {\mathbb{Z}}^{+}$，那么 $ϵ$-典型子空间的维数 $|T(n,ϵ)|=tr(P(n,ϵ))$ 满足
   $$(1-\delta )2^{n(S(\rho )-ϵ)}\le |T(n,ϵ)|\le 2^{n(S(\rho )+ϵ)}$$

3. 固定 $R<S(\rho )$，令 $S(n)$ 是到 Hilbert 空间 $H^{\otimes n}$ 的任意至多 $2^{nR}$ 维子空间到的一个投影算子，对于任意的 $\delta >0$ 和充分大的 $n\in {\mathbb{Z}}^{+}$，有
   $$tr(S(n){\rho }^{\otimes n})\le \delta$$

   即 ${\rho }^{\otimes n}$ 几乎不落入这个至多 $2^{nR}$ 维子空间。

纠缠保真度：一个 i.i.d 量子信源由 Hilbert 空间 $Q$ 和密度算子 $\rho$ 所描述，引入另一个系统 $S$ 使得 $SQ$ 联合状态是纯态（纯化），那么 $\rho$ 中的混合性质被视为由 $Q$ 和 $S$ 的纠缠所造成。保迹量子操作 $\mathcal{E}$ 作用于 $\rho$，它保持纠缠程度的度量为
$$F(\rho ,\mathcal{E}):=F(SQ,S^{\prime }{Q}^{\prime }{)}^2=⟨SQ|{\rho }^{S^{\prime }{Q}^{\prime }}|SQ⟩$$

其中 $S^{\prime }{Q}^{\prime }=\mathcal{E}(SQ)$。如果 $\{E_i\}$ 是 $\mathcal{E}$ 的操作元，那么 $F(\rho ,ϵ)={\sum }_i|tr(E_i\rho ){|}^2$。

码率 $R$ 的压缩方案，它包括两个保迹量子操作 $C^n,D^n$，它们在 $H^{\otimes n}$ 和 $2^{nR}$ 维子空间之间映射。我们说压缩方案可靠，如果对于充分大的 $n$，纠缠保真度 $F({\rho }^{\otimes n},D^n\circ C^n)$ 趋近于 $1$，也就是说 encode/decode 之后纠缠程度基本不变。

Schumacher 无噪声信道的编码定理：令 $\{H,\rho \}$ 是一个 i.i.d 量子信源，

• 如果 $R>S(\rho )$，那么存在码率 $R$ 的可靠压缩方案（纠缠保真度趋近于 $1$）
• 如果 $R<S(\rho )$，那么任意码率 $R$ 的压缩方案都是完全不可靠的（纠缠保真度趋近于 $0$）

HSW 定理：假设信道 $\mathcal{E}$ 是一个保迹量子操作（信道被视为对传输中的量子态执行了操作），定义
$$\chi (\mathcal{E}):=\underset{\{p_i,{\rho }_i\}}{\max }\left[S(\mathcal{E}(\sum _i{p}_i{\rho }_i))-\sum _j{p}_{j}S(\mathcal{E}({\rho }_j))\right]$$

其中的极大是对于所有可能的系综 $\{p_i,{\rho }_i\}$ 取得的（这是信源么），那么信道容量为：
$$C^{(1)}(\mathcal{E})=\chi (\mathcal{E})$$