c语言数组统计结果直方图,信息熵应用随笔2：直方图详解
一、直方图的基本概念
在上文中介绍了，要计算联合熵，可以借助直方图提供的概率密度估计结果。
直方图既是一种精确表示数值型数据分布的统计图。从更一般的数学意义看，直方图也是一种不预先设定概率分布模型，只利用数据本身，进行概率密度估计的算法。属于统计学中非参数估计的基础算法。
直方图也有很多种，用得最多的一维频率直方图。虽然这种直方图看起来跟条形图(bar graph)差不多，但是条形图目的是关联两个数据维度，而直方图只涉及一个数据维度。要构建一维频率直方图，大致分为如下几步：
第一步，是将一维数据的所有n个样本从小到大升序排列，记作{x1, x2, x3, … , xn}，从而确定其样本取值范围[x1, xn]；
第二步是将整个取值范围划分为一系列连续的间隔，这个间隔被称之为箱(bin)或者bucket(桶)，间隔通常(但不是必须)具有相同的尺寸；
第三步是计算每个间隔中落入了多少个样本(频数)，从而计算出每个间隔中落入样本的频率(频数/n)；
第四步是作图，在直角坐标系上，纵坐标是频率，横坐标是一维数据的数值。在每个间隔上方依据其频率画一个矩形。矩形的高度总和等于1。
直方图概念可以参考维基百科hisogram词条或者百度百科频率直方图词条。直方图绘制中，最重要的工作就是间隔的选取。当样本总数n趋近与无穷而间隔趋近于极小时，频率直方图的阶梯形折线将逼近于概率密度曲线。下文中将统一以bin(箱)来代表间隔。
二、直方图的数学意义
在更一般的数学意义上，直方图是计算落入每个不相交类别(bin)的观察数量的函数mi，而直方图的图形仅仅是表示直方图的一种方式。设bin的宽度为h，bin的数量为k，样本总数为n。这直方图函数m满足如下条件：
样本中最大值为max x, 最小值为min x, 则bin的数量k可以计算如下：
每个设第i个bin内落入的样本数量为mi个，对应的频率fi为：
fi = mi / n
题外话：使用数组将每个bin的上下确界(记作Si和Ii)和对应的频率fi以键值对的形式保存，记为(Si, Ii]: fi，即可将整个直方图的计算结果保存，可随时取出绘制成图形。python的pandas类库就是这么做的。
然而bin的宽度如何选取呢？没有“最佳”的bin宽度，不同的bin宽度可以揭示数据的不同特征。这就是分组数据的精妙之处。有一些经验性的规则可以帮我们。比如：
平方根选择：它取样本总数的平方根并舍入到下一个整数。此方法由Excel、python等许多程序使用
Sturges公式，来自二项式分布，并隐含地假设近似正态分布。它隐含地将箱尺寸基于数据范围，并且如果n <30 则可能表现不佳 ，因为箱的数量将小 – 小于7 – 并且不太可能在数据中显示趋势。如果数据不是正态分布，它也可能表现不佳。
更多的bin宽度/个数 的经验选择法请参考维基百科hisogram词条。
三、使用Python计算直方图
使用python的pandas类库可以非常轻松地计算一维频率直方图。pandas有两个主要数据结构Series(一维)和DataFrame(二维)。使用Series.value_counts()方法，可以很容易地把某一维数据series的分组频率结果，也保存成series的结构。series结构其实就是个一维数组，只不过其数组下标不一定是递增的自然数列，也可以是指定的索引。关于该函数的详细介绍请参考pandas官方文档pandas.Series.value_counts
PowerShell
In [121]: data = np.random.randint(0, 7, size=50)
In [122]: data
Out[122]:
array([6, 4, 1, 3, 4, 4, 4, 6, 5, 2, 6, 1, 0, 4, 3, 2, 5, 3, 4, 0, 5, 3, 0,
1, 5, 0, 1, 5, 3, 4, 1, 2, 3, 2, 4, 6, 1, 4, 3, 5, 2, 1, 2, 4, 1, 6,
3, 6, 3, 3])
In [123]: s = pd.Series(data)
In [124]: s.value_counts()
Out[124]:
4 10
3 10
1 8
6 6
5 6
2 6
0 4
dtype: int64
//注意，value_counts只统计了频数，没算频率
//要算频率需要归一化，s.value_counts(normalize=True)
//另外bin数量这里取的默认值，如果想指定bin数量，可以写成s.value_counts(bins=10)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
In[121]:data=np.random.randint(0,7,size=50)
In[122]:data
Out[122]:
array([6,4,1,3,4,4,4,6,5,2,6,1,0,4,3,2,5,3,4,0,5,3,0,
1,5,0,1,5,3,4,1,2,3,2,4,6,1,4,3,5,2,1,2,4,1,6,
3,6,3,3])
In[123]:s=pd.Series(data)
In[124]:s.value_counts()
Out[124]:
410
310
18
66
56
26
04
dtype:int64
//注意，value_counts只统计了频数，没算频率
//要算频率需要归一化，s.value_counts(normalize=True)
//另外bin数量这里取的默认值，如果想指定bin数量，可以写成s.value_counts(bins=10)
另外python的numpy类库也有numpy.histogram函数也可以计算直方图统计结果，只是更为底层，它会将频率和bin用两个数组返回。
四、二维联合直方图( 2D Joint Histograms )
之前主要以一维频率直方图为例简单介绍什么是直方图。事实上多个维度也可以计算直方图。先从最简单的二维联合直方图开始介绍。
设有两个样本集X和Y，各有n和m个样本。如果这X与Y各自绘制一维频率直方图，bin的尺寸分别为hx和hy，bin的个数分别是kx, ky。则X与Y构成的二维联合直方图，是一个三维图形：纵轴代表X，横轴代表Y，则二维直方图的bin是一个矩形，面积h = hx * hy。bin的总数k = kx *ky 个。落入每个bin中的样本数或者频率，则以颜色或者Z轴高度表示。
上图是使用python的numpy类库中的numpy.histogram2d 方法来计算二维联合直方图后的结果。这里使用了颜色来表示每个bin中的样本频率。三个小图的不同显示效果是由bin边缘的不同设置造成的。详见numpy官方文档numpy.histogram2d
上图是同时使用颜色和Z轴高度来表示每个bin中的样本频率的二维联合直方图。在这个图中，还在X轴和Y轴处还将各自的一维频率直方图展示了出来，更为容易理解。
存储二维联合直方图的重点，是使用标号保存每个bin的位置信息，及bin所对应的频率。故可以用二维数组来存储。简单记作bin[x][y] = f(x,y)， 其中x和y是数组下标， f(x,y)是下标为x,y的bin对应的频率。
五、多维联合直方图( Multivariate Joint Histogram )
我们可以将直方图这一概率密度估计的算法推广到3维或者更高维度，但3维或者更高维度的联合直方图就不好用图形表示了，更多的时候是作为一种记录统计数据的数据结构而存在，可直接帮助我们计算多个数据维度的联合概率分布，稍作变换就可以计算联合熵和条件熵。
站在计算机科学的角度，多维联合直方图的一个重要问题是，如何表示和存储其计算结果。
一个简单的方法是将多变量联合直方图直接存储为多维数组。一维数据的直方图可以存储成一维数组bin[x]=f(x),二维数据的二维联合直方图可以存储为二维数组bin[x][y] = f(x,y)， 以此类推，n维数据可以存储为n维数组bin[x1][x2]…[xn]=f(x1, x2, …, xn)。
有一些C语言类库可以直接计算多维联合直方图，并且可以与python绑定： https://github.com/boostorg/histogram
然而，使用多维数组的内存需求会随着数据维度和bin数量的增加而显著增加。假设有N个数据维度，我们对所有维度都使用B个bin，如果频率也以浮点数进行存储，那么我们就需要B^N个浮点数才能表示这个多维联合直方图。这对存储空间的消耗也指数型增长的。这给我们处理多维联合直方图造成了很大的麻烦。在下一节中将详细介绍存储多维联合直方图的新数据结构。