OverflowError: Python int too large to convert to C报错

最近使用torchtext一直碰到这个问题

原始代码为:

train, dev, test = data.TabularDataset.splits(path='./data/SST2/', train='train.tsv',
                                              validation='dev.tsv', test='test.tsv',
                                              format='tsv',
                                    fields=[('text', text_field), ('label',label_field)])

跟进代码中发现句子映射的数字是:92233720.6854775807

确实是超过了c的最大限制(-2147483648,2147483647)

我换了一个数据集还是报这个错

我觉得可能是torchtext坏了

我卸载后,重新安装了一个旧版本的

命令为

pip install torchtext == 0.2.3

不报错了

你可能感兴趣的:(工具)