数学建模熵权法中信息熵与信息熵冗余度的理解

具体步骤：数学建模——熵权法-腾讯云开发者社区-腾讯云 (tencent.com)

灵感来源：信息熵越大，信息量到底是越大还是越小？ - 骚动的白米饭的回答 - 知乎 https://www.zhihu.com/question/274997106/answer/1055696026

        信息熵在第二篇博文中有比较好的案例解读。我们在做ABCD选择题的时候，注意的就是选择哪个选项的期望，那么如果我们给小明的建议X，使得小明选择A的概率是1/2，BCD都变成了1/6，那么通过信息熵公式结果1.7bit，那么我们原来至少用2bit来概述选择的可能，2 - 1.7也就是建议X的信息量了，或者是信息收益。那么回到第一个博文中的案例，我们想知道六个科目对于评价学生优秀程度的权重，我们对每个属性纵向求的信息熵和信息熵冗余度如何理解呢？结合选择题来看，有十个学生，十个学生就是十个选项，我们通过语文如何选择这十个学生呢？就比如通过他们的语文成绩，那么语文这一栏的信息熵如何理解呢？信息熵就是实际我们存储选择这个十个学生用到的存储量，那么如果我们通过k将信息熵的值域收缩到0-1的话，那么1-ej其实就是语文对本选择问题的信息量。那么以此类推的话，数学，英语，化学，物理，生物对选择的信息量也就都清楚了，现在再用信息量做权重的话，就有了各属性对整体样本选择的最客观的评价标准。