国科大2018级信息论考试复习

本次信息论考试本人复习一周左右，考试题目略有难度，不过已足以应对，到目前为止没发现有题目做错，大概将我的复习计划以及考试题目的回忆记录如下：

第二章-熵、相对熵、互信息的认识，此章重点关注互信息的链式法则，本次考题第一题为该内容，题目内容大致是：

给定三个变量X、Y、Z相互之间独立，且服从伯努利二项分布（）求H(X,Y,Z)的最小值；并举出相应的例子；（ps:答案为2）

课后习题有类似的题，复习的时候记得看懂课后习题；当然最基本的熵、互信息的计算是必备技能，后续也会用到；

第三章-渐进均分性，此章内容较少，只需要知道典型集及其性质即可，貌似不会考；

第四章-随机过程的熵率，此章必考一阶马尔科夫模型的平稳分布，出题方式有两种，一种是直接给定状态转移概率矩阵，另一种为给定一加权图，通过计算每个节点的入度与出度来求得状态转移矩阵，我们这次是后者，这章对理解PageRank算法有很大的帮助。求得平稳分布，还需要会求熵率H();

第五章-数据压缩，对于Kraft不等式尽量理解，当然没时间的话可以只看Huffman编码，搞清楚Huffman编码怎么编，编码效率怎么计算，注意是熵/平均码长，还需要注意D进制；算数编码的话13章会再学习，这里不做要求；

第七章-信道容量，掌握信道容量怎么计算，需要手动推出几种常见信道的信道容量，我们的最后一题为计算信道容量，一个信道为串联的两个BSC;另一个信道为两个BSC间加一个编码器；其他内容大概了解；

第八章-微分熵，主要是掌握微分熵的计算，尤其是高斯分布的微分熵，最好手推几遍，最不济也要背的很熟，经常用到；

第九章-高斯信道，很重要，考了关于并联高斯信道的信道容量计算和带宽有限高斯信道容量，比较偏，所以这章内容建议全面掌握。

第十章-率失真函数，每年都差不多，一道大题，计算和,然后计算R(D)，这里需要掌握费诺不等式。还有需要知道试验信道转移概率矩阵。

第十二章-感觉并没有考到，内容的话掌握最大熵的意义，以及连续最大是高斯分布，离散最大是均匀分布即可，会计算一阶Yull-Walker方程即可。

第十三章-也没有考到，内容的话掌握课后六道题就行，会计算最小最大冗余度，编码分布，算数编码，LZ77、78编码自己编一下。

大概就是上面这些内容了，大概掌握了这些内容就可以安心考试了。