一些奇奇怪怪的知识点
目录
- 一、置信区间
- 二、全概率公式与贝叶斯公式
-
- 1、全概率公式
- 2、贝叶斯公式
- 三、交叉熵损失函数
一、置信区间
转载于知乎高赞回答https://www.zhihu.com/question/26419030?sort=created，此答案和教材中介绍基本一致，更加通俗易懂。
首先，重要的事情说三遍：
置信区间是随机变量！
置信区间是随机变量！
置信区间是随机变量！
最可能出现的对置信区间的错误理解：95%置信区间有95%的概率包括真实参数。
理解置信区间，有几个基础统计概念要搞清楚，抛开这些概念去理解置信区间就是扯淡。置信区间是谁的置信区间？这个问题搞清楚了么，置信区间是来参数的置信区间，参数又是什么的参数？
参数是总体（population）的参数，置信区间是怎么算的？是通过样本（sample）算的，样本和总体又有什么联系？
1）总体，就是全部数据。可以假设总体服从某一分布，比如正太分布。一个正太分布是由两个参数唯一确定的，平均值和方差，这两个参数都是固定的数值，而不是变化的。
2）（随机）样本，样本就是从总体里面得到的数据，比如从一个正太分布，我们可以得到0.54，这个0.54就是一个样本。很重要的一点：一个样本未必只有一个值，我们完全可以得到一个样本(0.1,-5,12),这个样本有3个值，3 就是这个样本的size。
3）参数估计，实际中，总体什么分布往往不知道，但是我们可以做假设，比如假设人的体重是正太分布，做了这个假设，那接下来的问题是这个正太分布参数是多少？也就是平均值和方差怎么算，解决这个问题就是参数估计，统计里有很多方法，不展开说了。但是参数估计是从样本来估计的，这是关键的一点：样本——>总体的参数。
4）不同样本估计的参数一样么？没有理由一样，所以问题来了，不同样本估计的总体不一样，怎么办？区间估计，也就是给定一个区间，让总体参数被包括其中。但是总体参数一定被包括么？显然也不一定，这取决于样本，如果恰好选了某些样本，可能估计的参数和总体相距甚远。
最后一点，也是最重要一点，很多自称搞统计的人也理解错误，就是怎么解释置信区间呢？
5）比如给定一组参数，算出来总体平均值的置信区间[a,b]，是不是说总体平均值有95%的概率在这个区间内？这样理解是逻辑混乱的结果，没搞懂什么是常数，什么是随机变量这些基本问题。
首先，总体参数，是一个常数，只是你不知道，是unknown constant，不知道不代表随机，完全两个概念。然后，一旦估计出区间，这区间也是确定的，参数也是确定的，不存在任何随机问题，那么现在大家应该清楚答案最开始说对置信区间最大的误解”95%置信区间有95%的概率包括真实参数“的问题在哪了。
那么正确的解释是怎样的？可以有很多种，这里直说一个解释：95%置信区间，意味着如果你用同样的步骤，去选样本，计算置信区间，那么100次这样的独立过程，有95%的概率你算出来的区间可以包括真实参数值。
下图就是一个例子，抽样100次，计算总体参数的置信区间100次，多数情况置信区间覆盖了真实值，但是也有没有的情况。
二、全概率公式与贝叶斯公式
1、全概率公式
全概率公式：
P ( A ) = P ( A B 1 ) + P ( A B 2 ) + . . . + P ( A B n ) P(A)=P(AB_{1})+P(AB_{2})+...+P(AB_{n}) P(A)=P(AB1)+P(AB2)+...+P(ABn)
P ( A ) = P ( B 1 ) P ( A ∣ B 1 ) + P ( B 2 ) P ( A ∣ B 2 ) + . . . + P ( B n ) P ( A ∣ B n ) P(A)=P(B_{1})P(A|B_{1})+P(B_{2})P(A|B_{2})+...+P(B_{n})P(A|B_{n}) P(A)=P(B1)P(A∣B1)+P(B2)P(A∣B2)+...+P(Bn)P(A∣Bn)
全概率公式的意义：
事件 A A A的发生有各种可能的原因 B i ( i = 1 , 2 , . . . , n ) B_{i}(i=1,2,...,n) Bi(i=1,2,...,n)，如果 A A A是由原因 B i B_{i} Bi引起，则 A A A发生的概率为 P ( A B i ) = P ( B i ) P ( A ∣ B i ) P(AB_{i})=P(B_{i})P(A|B_{i}) P(ABi)=P(Bi)P(A∣Bi)，每一个原因都可能导致 A A A的发生，则 A A A发生的概率是全部引起 A A A发生的原因的概率总和，即为全概率公式。
2、贝叶斯公式
贝叶斯公式：
P ( B i ∣ A ) = P ( B i ) P ( A ∣ B i ) ∑ i = 1 n P ( B i ) P ( A ∣ B i ) , i = 1 , 2 , . . . , n P(B_{i}|A)=\frac{P(B_{i})P(A|B_{i})}{\sum_{i=1}^{n}P(B_{i})P(A|B_{i})}, i=1,2,...,n P(Bi∣A)=∑i=1nP(Bi)P(A∣Bi)P(Bi)P(A∣Bi),i=1,2,...,n
贝叶斯公式的意义：
在事件 A A A已经发生的条件下，贝叶斯公式可用于计算导致 A A A发生的各种原因 B i B_{i} Bi的概率。
三、交叉熵损失函数
L = − ∑ n = 1 m ∑ i = 1 T y n i l o g s n i L=-\sum_{n=1}^{m}\sum_{i=1}^{T}y_{ni}logs_{ni} L=−∑n=1m∑i=1Tynilogsni
其中：
m：样本总数
T：类别总数
y n i y_{ni} yni：第n条数据，如果真是标签是i，则 y n i y_{ni} yni为1，其余为0
s n i s_{ni} sni：第n条数据，预测标签为i时的softmax值