论文赏析——约翰·科斯塔斯：线性系统编码

© 1952 J. P. Costas
© 2023 Conmajia

作者简介 约翰·彼得·科斯塔斯（1923-2008），美国电气工程师，曾发明科斯塔斯环和科斯塔斯数组。科斯塔斯参加过第二次世界大战，并在战后进入麻省理工学院攻读博士学位，后于通用电气公司工作直至退休。1965 年，科斯塔斯当选为 IEEE 会士（fellow）。

世界线收束 科斯塔斯的这篇《线性系统编码》论文发表于 1952 年，刊印在 IRE¹ 1952 年 9 月会议报告（Proceedings of the I.R.E.）第 1101 页的下半页。有趣的是，本文前面一篇文章——也就是结束于第 1101 页上半页的那篇——题为《一种构建最小冗余码的方法》，作者是戴维·艾伯特·赫夫曼：不错，正是那篇诞生了信息科学中鼎鼎大名的 Huffman² 算法的文章。

考古 本文很多内容，例如脉冲响应等，在如今学过《信号与系统》课程的工程人员看来都已经属于常识。然而在撰写本文的 1950 年代，这些“常识”还需要在行文中专门指出其定义和参考文献。

---

以下为论文。

---

摘要 本文考虑了在噪声信道上的消息传输。设计了两个线性网络：一个在传输前处理信息；第二个用于在接收端对处理后的消息加上信道噪声进行过滤。本文给出的方法可以在给定的允许平均信号功率下，通过适当的网络设计，使传输电路的实际输出与期望输出之间的均方误差最小化。本文还给出并讨论了数值算例的结果。

线性系统编码

I. 简介

笔者在即将发表的文献 4 中讨论了由维纳首创（文献 1、2）并由李（文献 3）发展的统计方法之于滤波器设计的重要性这一概念。简而言之，对于如图 1 所示输入为给定消息和噪声之和的系统，我们希望找到一种滤波器的特性，以提供最佳的性能。所谓“最佳”，我们指的是使得实际输出 $f_o(t)$ 和期望输出 $f_d(t)$ 之间的均方误差最小化这样的滤波器。也就是说，若以 $\epsilon$ 表示滤波的均方误差，即

$$\epsilon =\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^T{\left[f_o(t)-f_d(t)\right]}^2\mathrm{d}t.\text{\hspace{1em}(1)}$$

图 1. 传统滤波器问题

从物理的角度来看，这样的误差标准当然是合理的，但与流行的观念相反，它绝不是唯一用于误差测量的经得住考验的数学处理方法（文献 5）。

期望的滤波器输出通常是消息函数 $f_m(t)$。但是，可能需要消息以外的输出。例如，有人可能要求网络设计能够以秒为单位从噪声中过滤、预测消息，并区分结果。因此，我们可以在一个操作中要求预测、过滤和区分（文献 3）。在这种意义上，一个（滤波器）网络可以被视为一个算子，而不仅仅是一个滤波器（文献 1）。

如果只考虑线性系统，需要设计的统计参数称为相关函数。随机函数 $f_1(t)$、$f_2(t)$ 之间的互相关函数 ${\varphi }_{12}(\tau )$ 定义为

$${\varphi }_{12}(\tau )=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^T{f}_1(t)f_2(t+\tau )\mathrm{d}t.\text{\hspace{1em}(2)}$$

随机函数 $f_1(t)$ 的自相关函数 ${\varphi }_{11}(\tau )$ 定义为

$${\varphi }_{11}(\tau )=\underset{T\to \infty }{\lim }\frac{1}{2T}{\int }_{-T}^T{f}_1(t)f_1(t+\tau )\mathrm{d}t.\text{\hspace{1em}(3)}$$

傅里叶变换对 $g(t)$、$G(\omega )$ 为

$$G(\omega )=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }g(t)e^{-\mathrm{j}\omega t}\mathrm{d}t\text{\hspace{1em}(4)}$$

和

$$g(t)={\int }_{-\infty }^{\infty }G(\omega )e^{+\mathrm{j}\omega t}\mathrm{d}\omega .\text{\hspace{1em}(5)}$$

拉普拉斯变换同样使用 (4)、(5) 二式，$\omega$ 换为

$$\lambda =\omega +\mathrm{j}\sigma .\text{\hspace{1em}(6)}$$

维纳的一个重要定理指出，随机函数 $f_1(t)$ 功率谱密度由其自相关函数的傅里叶变换给出（文献 3、6），即

$${\Phi }_{11}(\omega )=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{\varphi }_{11}(\tau )e^{-\mathrm{j}\omega \tau }\mathrm{d}\tau .\text{\hspace{1em}(7)}$$

类似地，我们可以定义随机函数 $f_1(t)$、$f_2(t)$ 的互功率谱 ${\Phi }_{12}(\omega )$ 为

$${\Phi }_{12}(\omega )=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{\varphi }_{12}(\tau )e^{-\mathrm{j}\omega \tau }\mathrm{d}\tau .\text{\hspace{1em}(8)}$$

我们定义单位脉冲函数 $u(t)$ 为

$$u(t)=\underset{a\to \infty }{\lim }\frac{a}{\sqrt{\pi }}{e}^{-a^2{t}^2}.$$

如此，我们可以利用 (4) 式得到 $u(t)$ 的变换 $\cup (\omega )$ 为

$$\cup (\omega )=\frac{1}{2\pi }.\text{\hspace{1em}(9)}$$

现在，若以 $h(t)$ 为一线性系统对单位脉冲的响应，可以证明该线性系统对一任意输入 $f_i(t)$ 的输出 $f_o(t)$ 由下式给出（文献 3）

$$f_o(t)={\int }_{-\infty }^{\infty }h(\sigma )f_i(t-\sigma )\mathrm{d}\sigma .\text{\hspace{1em}(10)}$$

令 ${ϵ}_o(t)$ 为该线性系统对暂态输入 ${ϵ}_i(t)$ 的暂态输出。定义线性系统的系统函数 $H(\omega )$ 以满足

$$H(\omega )=\frac{E_o(\omega )}{E_i(\omega )}\text{\hspace{1em}(11)}$$

可知 $H(\omega )$ 和 $h(t)$ 具有如下关系

$$H(\omega )={\int }_{-\infty }^{\infty }h(t)e^{-\mathrm{j}\omega t}\mathrm{d}t\text{\hspace{1em}(12)}$$

和

$$h(t)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }H(\omega )e^{+\mathrm{j}\omega t}\mathrm{d}\omega ,\text{\hspace{1em}(13)}$$

除 $2\pi$ 项的位置外，同 (4)、(5) 二式。

II. 传输问题

图 1 所示的滤波器设计问题由维纳（文献 1）和李（文献 3）进行了极为详尽的研究，并在 C. A. 斯塔特（文献 8）的实验中得以验证。因此，在本报告中，我们将考虑如图 2 所示的更一般的情况。大多数通信系统中，在将信息引入传输信道之前，存在着修改或者“编码”待传输信息的机会。因此必须以对消息“预失真”或是“预编码”的方式设计 $H(\omega )$ 网络，使得“解码”或是滤波网络 $G(\omega )$ 产生的输出对于期望输出的均方近似值相比未经处理的消息更佳。

图 2. 传输电路

图 2 中 $f_o(t)$、$f_d(t)$ 之间的均方误差为

ε = lim ⁡ T → ∞ 1 2 T ∫ − T T [ ∫ − ∞ ∞ d σ g ( σ ) f n ( t − σ ) + ∫ − ∞ ∞ d σ g ( σ ) ∫ − ∞ ∞ d v h ( v ) f m ( t − σ − v ) − f d ( t ) ] 2 . (14) \varepsilon=\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^{T}\left[ \begin{aligned} &\int_{-\infty}^\infty\mathrm{d}{\sigma g(\sigma)f_n(t-\sigma)}\\ &+\int_{-\infty}^{\infty}\mathrm{d}\sigma g(\sigma)\int_{-\infty}^{\infty}\mathrm{d}vh(v)f_m(t-\sigma-v)\\ &-f_d(t) \end{aligned} \right]^2.\tag{14} ε=T→∞lim​2T1​∫−TT​ ​​∫−∞∞​dσg(σ)fn​(t−σ)+∫−∞∞​dσg(σ)∫−∞∞​dvh(v)fm​(t−σ−v)−fd​(t)​ ​2.(14)

对 (14) 式进行展开，将其以相关函数式进行重写可得

$$\begin{array}{rl}\epsilon =& {\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\mathrm{d}\sigma \mathrm{d}vg(\sigma )g(v){\varphi }_{nn}(\sigma -v)\\ & +2{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\mathrm{d}\xi \mathrm{d}\sigma \mathrm{d}vg(\xi )g(\sigma )h(v){\varphi }_{nm}(\xi -\sigma -v)\\ & +{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\mathrm{d}\psi \mathrm{d}\xi \mathrm{d}\sigma \mathrm{d}vg(\psi )h(\xi )g(\sigma )h(v){\varphi }_{mm}(\psi +\xi -\sigma -v)\\ & -2{\int }_{-\infty }^{\infty }\mathrm{d}\sigma g(\sigma ){\varphi }_{nd}(\sigma )\\ & -2{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\mathrm{d}\sigma \mathrm{d}vg(\sigma )h(v){\varphi }_{md}(\sigma +v)+{\varphi }_{dd}(0).\end{array}\text{\hspace{1em}(15)}$$

要使 (15) 式中 $\epsilon$ 最小化，需找到可由物理网络实现的特定脉冲响应函数 $g(t)$、$h(t)$，即

$$g(t),h(t)=0\text{对}t<0.\text{\hspace{1em}(16)}$$

此外，还需对编码网络 $H(\omega )$ 施以关于平均传输信号功率的额外限制，但此处暂且按下不提。

首先我们尝试假设 $H(\omega )$ 为固定值，求解其最优值 $G(\omega )$。这可由令 (15) 式中 $g(t)$ 取一可接受的变值 $ϵ\eta (t)$，其中

$$\eta (t)=0\text{对}t<0\text{\hspace{1em}(17)}$$

且参数 $ϵ$ 相对于 $\eta$、$h$ 独立。也就是说，我们用 $g(t)+ϵ\eta (t)$、$\epsilon +\delta \epsilon$ 分别替换了 (15) 式中的 $g(t)$、$\epsilon$。现在，如果某一确定的 $g(t)$ 能够给出最小均方误差，则可确定此最优 $g(t)$ 必同时满足

∂ ( ε + δ ε ) ∂ ϵ ∣ ϵ = 0 = 0. (18) \left.\frac{\partial(\varepsilon+\delta\varepsilon)}{\partial\epsilon}\right|_{\epsilon=0}=0.\tag{18} ∂ϵ∂(ε+δε)​ ​ϵ=0​=0.(18)

利用 (15) 式对 (18) 式进行展开可得

$$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\mathrm{d}vg(v){\varphi }_{nn}(\sigma -v)+{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\mathrm{d}\xi \mathrm{d}vh(v)g(\xi ){\varphi }_{nm}(\xi -\sigma -v)\\ +& {\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\mathrm{d}\xi \mathrm{d}vh(v)g(\xi ){\varphi }_{nm}(\sigma -\xi -v)\\ +& {\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\mathrm{d}\psi \mathrm{d}\xi \mathrm{d}vh(\xi )h(v)g(\psi ){\varphi }_{mm}(\psi +\xi -\sigma -v)\\ -& {\varphi }_{nd}(\sigma )-{\int }_{-\infty }^{\infty }\mathrm{d}vh(v){\varphi }_{md}(\sigma +v)\\ =& q(\sigma )\end{array}\text{\hspace{1em}(19)}$$

其中 $q(\sigma )$ 函数定义为

$$q(\sigma )=0\text{对}\sigma >0.\text{\hspace{1em}(20)}$$

现在对（20）式中 $\sigma$ 进行拉普拉斯变换可得

$$G(\lambda )F(\lambda )-{\Phi }_{nd}(\lambda )-H(-\lambda ){\Phi }_{md}(\lambda )=Q(\lambda )\text{\hspace{1em}(21)}$$

其中 $F(\lambda )$ 函数定义为

$$F(\lambda )=H(\lambda )H(-\lambda ){\Phi }_{mm}(\lambda )+H(\lambda ){\Phi }_{nm}(\lambda )+H(-\lambda ){\Phi }_{mn}(\lambda )+{\Phi }_{nn}(\lambda ).\text{\hspace{1em}(22)}$$

我们假设 $F(\lambda )$ 可以因式分解为

$$F(\lambda )=F^{+}(\lambda )\cdot F^{-}(\lambda )\text{\hspace{1em}(23)}$$

其中 $F^{+}(\lambda )$ 包含 $\lambda$ 平面上半部分其所有极点和零点，而 $F^{-}(\lambda )$ 则包含 $\lambda$ 平面下半部分其所有极点和零点。借助 (4)、(5)、(6) 式，(21) 式可以重写为

$$\begin{array}{rl}& G(\lambda )F^{+}(\lambda )-\frac{1}{2\pi }{\int }_0^{\infty }{e}^{-\mathrm{j}\lambda t}\mathrm{d}t{\int }_{-\infty }^{\infty }\frac{{\Phi }_{nd}(\omega )+H(-\omega ){\Phi }_{md}(\omega )}{F^{-}(\omega )}{e}^{+\mathrm{j}\omega t}\mathrm{d}\omega \\ -& \frac{1}{2\pi }{\int }_{-\infty }^0{e}^{-\mathrm{j}\lambda t}\mathrm{d}t{\int }_{-\infty }^{\infty }\frac{{\Phi }_{nd}(\omega )+H(-\omega ){\Phi }_{md}(\omega )}{F^{-}(\omega )}{e}^{+\mathrm{j}\omega t}\mathrm{d}\omega \\ =& \frac{Q(\lambda )}{F^{-}(\lambda )}.\end{array}\text{\hspace{1em}(24)}$$

(24) 式左侧前两项包括了位于 $\lambda$ 平面上半部分的所有可能的极点，而第三项则包含了位于 $\lambda$ 平面下半部分的所有极点。由于 (24) 式右侧仅有下半平面的极点，因此其左侧的前两项之和必为某一常数。可以证明，该常数是零，从而得到

$$G(\lambda )=\frac{1}{2\pi F^{+}(\lambda )}{\int }_0^{\infty }{e}^{-\mathrm{j}\lambda t}\mathrm{d}t{\int }_{-\infty }^{\infty }\frac{{\Phi }_{nd}(\omega )+H(-\omega ){\Phi }_{md}(\omega )}{F^{-}(\omega )}{e}^{+\mathrm{j}\omega t}\mathrm{d}\omega .\text{\hspace{1em}(25)}$$

对如图 2 所示固定的 $H(\lambda )$ 网络而言，(25) 式给出了解码网络的最优传输函数。由 (25) 式给出的系统函数 $G(\lambda )$ 总是可以实现的。

(25) 式有两个有趣的特例。其一是选定 $H(\lambda )=1$，我们有

$$\begin{array}{rl}F(\lambda )& ={\Phi }_{mm}(\lambda )+{\Phi }_{nm}(\lambda )+{\Phi }_{mn}(\lambda )+{\Phi }_{nn}(\lambda )\\ & ={\Phi }_{ii}(\lambda ).\end{array}\text{\hspace{1em}(26)}$$

这样，$F(\lambda )$ 成了 $G$ 网络输入的自相关函数的傅里叶变换。对 $G(\lambda )$，我们再有

$$G(\lambda )=\frac{1}{2\pi {\Phi }_{ii}^{+}(\lambda )}{\int }_0^{\infty }{e}^{-\mathrm{j}\lambda t}\mathrm{d}t{\int }_{-\infty }^{\infty }\frac{{\Phi }_{id}(\omega )}{{\Phi }_{ii}^{-}(\omega )}{e}^{+\mathrm{j}\omega t}\mathrm{d}\omega \text{\hspace{1em}(27)}$$

其中 ${\Phi }_{id}(\lambda )$ 表示滤波器输入和期望输出之间的互功率谱。(27) 式即为维纳和李所求得的最优滤波器方程，也是图 1 问题的解。

第二个有趣的特例出现在当图 2 中的噪声函数为零时。此时 (25) 式变为

$$G(\lambda )=\frac{1}{2\pi H^{+}(\lambda ){\Phi }_{mm}^{+}(\lambda )}{\int }_0^{\infty }{e}^{-\mathrm{j}\lambda t}\mathrm{d}t{\int }_{-\infty }^{\infty }\frac{H(-\omega ){\Phi }_{md}(\omega )}{H^{-}(\omega ){\Phi }_{mm}^{-}(\omega )}{e}^{+\mathrm{j}\omega t}\mathrm{d}\omega \text{\hspace{1em}(28)}$$

其中

$$H^{+}(\lambda )H^{-}(\lambda )=H(\lambda )H(-\lambda )\text{\hspace{1em}(28a)}$$

也就是所谓的“最佳补偿器公式”。(28) 式是由 Y. W. 李推导的，尽管他此前从未发表过。

如果考虑将图 2 中 $G(\omega )$ 固定，那么利用上面用到的同样方法，我们可以找到最优 $H(\lambda )$ 由下式给出

$$H(\lambda )=\frac{1}{2\pi G^{+}(\lambda ){\Phi }_{mm}^{+}(\lambda )}{\int }_0^{\infty }{e}^{-\mathrm{j}\lambda t}\mathrm{d}t{\int }_{-\infty }^{\infty }\left[\frac{G(-\omega ){\Phi }_{md}(\omega )}{G^{-}(\omega ){\Phi }_{mm}^{-}(\omega )}-\frac{G^{+}(\omega ){\Phi }_{mn}(\omega )}{{\Phi }_{mm}^{-}(\omega )}\right]e^{+\mathrm{j}\omega t}\mathrm{d}\omega \text{\hspace{1em}(29)}$$

其中

$$G^{+}(\lambda )G^{-}(\lambda )=G(\lambda )G(-\lambda ).\text{\hspace{1em}(29a)}$$

如果信道噪声为零，或者消息与噪声之间的互相关为零，那么 (29) 式简化为一个最优补偿器公式。

(25) 式给出了固定 $H(\lambda )$ 下的最优 $G(\lambda )$，而 (29) 式则给出了固定 $G(\lambda )$ 下的最优 $H(\lambda )$。如果对 (25)、(29) 式同时求解，则可得图 2 所示传输电路的最优编码-解码网络对。然而，在尝试进行这项求解之前，便利起见，可先解出固定 $H(\lambda )$ 和优化 $G(\lambda )$ 所得均方误差。将 (19) 式代入 (15) 式得

$${\epsilon }_{\text{min}}^{(\text{固定 H})}={\varphi }_{dd}(0)-{\int }_{-\infty }^{\infty }\mathrm{d}\sigma g(\sigma ){\varphi }_{nd}(\sigma )-{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\mathrm{d}\sigma \mathrm{d}vg(\sigma )h(v){\varphi }_{md}(\sigma +v).\text{\hspace{1em}(30)}$$

这个等式可以傅里叶变换的形式重写之，

$${\epsilon }_{\text{min}}^{(\text{固定 H})}={\int }_{-\infty }^{\infty }\mathrm{d}\omega \left[{\Phi }_{dd}(\omega )-{\Phi }_{nd}(\omega )G(-\omega )-G(-\omega )H(-\omega ){\Phi }_{md}(\omega )\right].\text{\hspace{1em}(31)}$$

一定要记住，(30)、(31) 式中的 $g(\sigma )$、$G(\omega )$ 不是任意取的，而是 (19) 式的解。

III. 长延迟的解

在求解图 2 所示的最优网络对时，我们假设了消息和信道噪声之间互相关为零。我们进一步假设解是长延迟的，即是说期望的输出是延迟之后的消息。于是有

$$f_d(t)=f_m(t-a),a\to \infty \text{\hspace{1em}(32)}$$

和

$${\Phi }_{md}(\omega )={\Phi }_{mm}(\omega )e^{-\mathrm{j}\omega a},a\to \infty .\text{\hspace{1em}(33)}$$

在此条件之下，(25) 式可重写为

$$G(\omega )\to \frac{H(-\omega ){\Phi }_{mm}(\omega )e^{-\mathrm{j}a\omega }}{{\left|H(\omega )\right|}^2{\Phi }_{mm}(\omega )+{\Phi }_{nn}(\omega )},a\to \infty .\text{\hspace{1em}(34)}$$

由于在允许长延迟的情况下可以得到最好的滤波结果（文献 3），故将 (34) 式代入 (31) 式将得到最小的误差，即所谓的不可消误差。因此，我们最终有

$${\epsilon }_{\text{irr}}^{(\text{固定 H})}={\int }_{-\infty }^{\infty }\frac{{\Phi }_{mm}(\omega ){\Phi }_{nn}(\omega )}{{\left|H(\omega )\right|}^2{\Phi }_{mm}(\omega )+{\Phi }_{nn}(\omega )}\mathrm{d}\omega .\text{\hspace{1em}(35)}$$

注意，不可消误差只依赖于传递函数 $H(\omega )$ 的幅度，而非相位。由 (34) 式可知，因固定 $H(\omega )$ 引起的任何相位贡献都将被最优解码网络 $G(\omega )$ 去除。

对于给定的 $H(\omega )$，(35) 式将给出根据 (34) 式设计的网络 $G(\omega )$ 产生的传输误差。因此，我们必须找到使 (35) 式误差最小的 $H(\omega )$，同时保持平均传输信号功率不变。也就是说，鉴于 ${\left|H(\omega )\right|}^2{\Phi }_{mm}(\omega )$ 代表着编码网络输出的功率谱密度，我们必须要令

$${\int }_{-\infty }^{\infty }{\left|H(\omega )\right|}^2{\Phi }_{mm}(\omega )\mathrm{d}\omega =c_1.\text{\hspace{1em}(36)}$$

若令

$${\left[y(\omega )\right]}^2={\left|H(\omega )\right|}^2{\Phi }_{mm}(\omega )\text{\hspace{1em}(37)}$$

则 (35)、(36) 式可重写为

$$\frac{{\epsilon }_{\text{irr}}}{2}={\int }_0^{\infty }\frac{{\Phi }_{mm}(\omega ){\Phi }_{nn}(\omega )}{{\left[y(\omega )\right]}^2+{\Phi }_{nn}(\omega )}\mathrm{d}\omega \text{\hspace{1em}(38)}$$

和

$${\int }_0^{\infty }{\left[y(\omega )\right]}^2\mathrm{d}\omega =\frac{c_1}{2}.\text{\hspace{1em}(39)}$$

我们现在寻找的是使 (38) 式最小并且满足 (39) 式的实函数 $y(\omega )$。这就是所谓变分法的等周条件。通过应用常用的技巧（文献 9）可得

$${\left|H(\omega )\right|}^2{\Phi }_{mm}(\omega )=-{\Phi }_{nn}(\omega )+\frac{1}{\sqrt{\gamma }}\sqrt{{\Phi }_{mm}(\omega ){\Phi }_{nn}(\omega )}\text{\hspace{1em}(40a)}$$

和

$${\left|H(\omega )\right|}^2{\Phi }_{mm}(\omega )=0\text{\hspace{1em}(40b)}$$

其中 $\gamma$ 为一满足 (39) 式的常数。若 (39) 式右侧大于零则用 (40a) 式，否则必须使用 (40b) 式。物理意义上，这意味着 $H(\omega )$ 可能包含截止带。然而由于假设通过 $H(\omega )$ 到 $G(\omega )$ 有无限长的延迟时间，因而此截止带的存在并不违反佩利-维纳定理（文献 1、10、11）。

IV. 结果讨论

作为对第 III 节结果的检查，设有噪声谱

$${\Phi }_{nn}(\omega )=a^2\text{\hspace{1em}(41)}$$

和消息谱

$${\Phi }_{mm}(\omega )=\frac{\beta /\pi }{{\omega }^2+{\beta }^2}.\text{\hspace{1em}(42)}$$

取 $2a^2\beta =1/5\pi$，$c_1=1$ 时，(38) 式给出的均方误差为 $0.285$。在不进行编码且使用相同的平均信号功率情况下，令 ${\left|H(\omega )\right|}^2=1$，由 (35) 式可算得均方误差为 $0.302$。因此，最优编码网络对于提升传输性能有一定的贡献，但是不多。对于所引用的特例，当超过 $\omega =8.45\beta$ 之后，$H(\omega )$ 无法进行传输；当噪声电平提高 5 倍，此上限截止频率下降到 $\omega =3.25\beta$。

可以看出，图 2 可以表示使用幅度调制的通信电路（参见文献 4）。使用频率调制会令问题复杂化，但也有人提出形如

$${\Phi }_{nn}(\omega )=a^2{\omega }^2\text{\hspace{1em}(43)}$$

的噪声谱可能是有意义的。研究发现，利用 (42) 式的消息谱和 (43) 式的噪声谱，对于采用最优编码或者“预强调”的网络只能得到适度的改善。

上述均方误差的适度改善部分原因在于假设了特定的频谱。因此，在某些情况下，使用适当的编码网络可能会实现相当大的改进。

参考文献

1. N. Wiener: The Extrapolation, Interpolation, and Smoothing of Stationary Time Series with Engineering Applications, John Wiley, New York, 1949
2. N. Wiener: Cybernetics, John Wiley, New York, 1948
3. Y. W. Lee: Course 6.563, Statistical Theory of Communication, Class Notes, M.I.T. unpublished
4. J. P. Costas: Interference Filtering, Technical Report No. 185, Research Laboratory of Electronics, M.I.T. March 1951
5. Y. W. Lee: Memorandum on Error Criteria in Filter Design, unpublished
6. N. Wiener: Generalized Harmonic Analysis, Acta Math. 55, 117-258, 1930
7. Y. W. Lee, C. A. Stutt: Statistical Prediction of Noise, Techinical Report No. 129, Research Laboratory of Electronics, M.I.T. July 1949
8. C. A. Stutt: An Experimental Study of Optimum Linear Systems, Doctoral Thesis, Dept. of Electrical Engineering, M.I.T. May 15, 1951
9. H. Margenau, G. M. Murphy: The Mathematics of Physics and Chemistry, Van Nostrand, New York, 1943
10. G. E. Valley, Jr., H. Wallman: Vacuum Tube Amplifiers, McGraw-Hill, New York, 1948
11. R. Paley, N. Wiener: Fourier Transforms in the Complex Domain, Am. Math. Soc. Colloq. Pub. 19, 1934

致谢

笔者希望向麻省理工学院电子研究实验室的 Y. W. Lee 教授、C. A. Stutt 博士和 C. A. Desoer 先生致谢，感谢他们提出的许多有益的意见和建议。

© 1952 J. P. Costas
© 2023 Conmajia

---

1. IRE（无线电工程师学会）是 IEEE（电气电子工程师学会）的前身，于 1912 年成立。1963 年 IRE 与 AIEE（美国电气工程师学会）合并成立了 IEEE。 ↩︎

2. 由于翻译人员水平差异和民间音译习惯，David Huffman 常被译为“大卫·哈夫曼”。根据商务印书馆出版的《（外国）人名翻译手册》系列，正式的译名应为“戴维·赫夫曼”。 ↩︎