神经网络 习题(推广的LVQ).

习题(推广的LVQ).

设竞争网络的底层为输入源节点，竞争层的神经元y和底层源节点j的连接权值为wyj。对于C类分类问题，每个竞争神经元属于类别c的概率为

P(yÎc)=exp(acy)/(åcexp(acy)),c=1,2,…C.

那么输入向量x,它的属于类别c的概率为

P(xÎc)=åyP(yÎc)P(y|x),c=1,2,…C.

其中使用最简单的假设

P(y|x)=exp(-g||wy-x||2)/(åyexp(-g||wy-x||2)).

对于给定的标定数据集

(x1,c1),….,(xM,cM)

和未标定的数据集

xM+1,…,xN,

我们分别假设它们的期望的类别分布为：

1)对于标定数据，期望类别分布Q(xiÎci)=a;当c¹ci,Q(xiÎc)=(1-a)/(C-1)，显然a>1/C;

2)对于未标定数据，期望的类别分布为Q(xiÎc)=1/C,c=1,2,…C。

那么，我们优化的目标就是关于权值wy和acy对每个数据x的网络输出类别概率和期望类别分布概率的KL差最小化，即

MinåiåcQ(xiÎc)log[Q(xiÎc)/P(xiÎc)]

试推导上述推广的LVQ的学习算法，并实现推导的算法。

在MNIST(http://yann.lecun.com/exdb/mnist/)数据集中选择几类手写体数字进行模式分类的问题。讨论超参数g和a的取值对分类能力影响。

上面部分符号丢失，正确文档如下：

http://docs.google.com/View?id=dg6v52pq_509g5jbx2fv