天津理工大学信息论与编码实验(2)

2021/11/25 from Xwhite

熵的极值性验证

实验要求

实验代码

import numpy as np
from math import *
import matplotlib.pyplot as plt

x = np.arange(0.0001, 1, 0.0001)  # 这里是我为了图像好看一点设置的，有大佬能指正最好

y = []
for t in x:
    y_1 = -1 * t * log(t, 2) - (1 - t) * log(1 - t, 2)  # 这个公式很简单，离散信源博客，极值性哪里有
    y.append(y_1)

plt.plot(x, y, label="Limiting Entropy")
plt.xlabel("x")
plt.ylabel("y")
plt.ylim(0, 1)
plt.legend()
plt.show()

实验结果

p=0.5的时候，熵最大，符合极限性
图像如下：