DATAWHALE-动手学深度学习PyTorch skip gram -- 训练数据的形式+负采样实践trick
对Skipgram模型一直都只是知道思想,就是由中心词预测窗口内的背景词,但是从来没有动手实现过。这次有机会从头开始实现,发现了许多实践上的问题。重点一:训练样本的形式一开始非常纠结的一个问题是:每个训练样本的形式是什么样的?例如,{w1,w2,w3,w4,w5},以w3为中心词,window_size为2,得到context为{w1,w2,w4,w5}。那么此时的训练样本到底是input=w3,