pytorch-LSTM 报错:THTensorEvenMoreMath.cpp:191

第一次半写半download一个LSTM-CRF模型,用小数据测试时,(100行train,100行test)发现一个问题,可能很简单,但我实在是新手。。。弄了好久,最后还是debug出结果!!!

问题出错在:

embeds = self.word_embeds(sentence).view(len(sentence), 1, -1)

报错在test阶段:

RuntimeError: index out of range: Tried to access index 59 out of table with 58 rows. at C:\w\1\s\windows\pytorch\aten\src\TH/generic/THTensorEvenMoreMath.cpp:418

起初一直认为是因为test中出现了train中没有的字符,一直朝这个方向学习,后来debug发现,根本不是,对于train中没有的字符同样能预测,原因是词汇表的维度太小了,换句话说,train中只出现到58的单词,但是test中出现了更多,无关是否一致

解决:很简单,让train的量够大就OK了,改成了1000行train+100行test就完全ok了。

(其实如果我用小数据测试,可能根本不会发现这个问题,毕竟最后实际用的数据,train也是test的10倍,量是足够足够的)

 

总结:不要为了省事,觉得找到问题原因了就不debug,想象的原因不一定是真的原因,能debug的时候,这一定是最直接的解决方式。

你可能感兴趣的:(pytorch-LSTM 报错:THTensorEvenMoreMath.cpp:191)