负采样的理解

我对负采样理解来自于word2vec算法;

比如说  love 和me两个单词;

使用特殊思维模式;假设整个词汇表只有100个单词;love 表示成one-hot向量; me表示成one-hot向量;

模型输入为love的one-hot向量;模型输出为me的one-hot向量;

假设模型的神经网络结构为100*10*100;输出层100个;

输出层中除了me对应位置的1外,其他全是0;称这为负样本;参数数量为10*100

采样就是从这样负样本中抽样;比如说抽取5个;那么在此次梯度更新中就只更新10*5;更新数量为原来的1/20

 

负采样的本质:每次让一个训练样本只更新部分权重,其他权重全部固定;减少计算量;(一定程度上还可以增加随机性)

你可能感兴趣的:(deep,learning)