随机变量变换后的互信息量（Mutual Information）不大于变换前的证明

已知2组随机变量X，Y有分布函数P(X,Y)，
做变换将X-》K，Y-》L，其中
P(K|X,Y)=P(K|X)
P(L|X,Y)=P(L|Y)=S(L,Y)
也就是说K只是X的变换，L只是Y的变换，

求证互信息量：
I(X,Y) >= I(K,L)

证明如下：

设
P(X,Y)=P
P(K|X)=R(K,X)
P(L|Y)=S(L,Y)
联合分布P(X,Y,K,L)=R*S*P
D=I(X,Y) - I(K,L) = 

根据引理：

因为

所以

D>=0得证。