PyTorch torchtext中带有的自然语言处理数据集
目录
一.文本分类数据集
1.AG_News
2.SogouNews
3.DBpedia
4.YelpReviewPolarity
5.YelpReviewFull
6.YahooAnswers
7.AmazonReviewPolarity
8.AmazonReviewFull
9.IMDB
二，语言模型
1.WikiText-2
2.WikiTest103
3.PennTreebank
三，机器翻译
1.Multi30k
2.IWSLT2016
3.IWSLT2017
四，序列标注
1.UDPOS
2.CoNLL2000Chunking
五，问答
1.SQuAD 1.0
2.SQuAD 2.0
六，无监督学习
1.EnWik9
torchtext中带有常用的NLP数据处理工具和常用的数据集.
一.文本分类数据集
1.AG_News
torchtext.datasets.AG_NEWS(root='.data', split=('train', 'test'))
其中:
root:指定数据集存放的位置（默认.data）
split：指定想要获取数据集的哪部分(默认('train','test')就是同时获取训练集和测试集)
AG_News包含超过1百万的新闻文章，四分类数据集，数据集的每一行为'新闻类别 新闻标题 新闻文本'的格式，训练集包含120000条样本，测试集包含7600条样本。
（亲测在代码中无法直接下载，会出现网络连接问题）
2.SogouNews
torchtext.datasets.SogouNews(root='.data', split=('train', 'test'))
5分类数据集，训练集450000条样本，测试集60000条样本。搜狗新闻数据集，其中的汉语已经转换为拼音
（亲测在代码中无法直接下载，会出现网络连接问题）
3.DBpedia
torchtext.datasets.DBpedia(root='.data', split=('train', 'test'))
14分类数据集，训练集560000，测试集70000.描述了458万个事物，5.83亿个事实
（亲测在代码中无法直接下载，会出现网络连接问题）
4.YelpReviewPolarity
torchtext.datasets.YelpReviewPolarity(root='.data', split=('train', 'test'))
2分类，训练集560000，测试集38000。用户评论
（亲测在代码中无法直接下载，会出现网络连接问题）
5.YelpReviewFull
torchtext.datasets.YelpReviewFull(root='.data', split=('train', 'test'))
5分类，训练集650000，测试集50000
（亲测在代码中无法直接下载，会出现网络连接问题）
6.YahooAnswers
torchtext.datasets.YahooAnswers(root='.data', split=('train', 'test'))
10分类，训练集1400000，测试集60000，问题和答案
（亲测在代码中无法直接下载，会出现网络连接问题）
7.AmazonReviewPolarity
torchtext.datasets.AmazonReviewPolarity(root='.data', split=('train', 'test'))
2分类，训练集3600000，测试集400000
（亲测在代码中无法直接下载，会出现网络连接问题）
8.AmazonReviewFull
torchtext.datasets.AmazonReviewFull(root='.data', split=('train', 'test'))
5分类，训练集3000000，测试集650000
（亲测在代码中无法直接下载，会出现网络连接问题）
9.IMDB
torchtext.datasets.IMDB(root='.data', split=('train', 'test'))
2分类，训练集25000，测试集25000，每一行是情绪分类以及后面的评论文本
（亲测可以在代码中直接下载）
二，语言模型
1.WikiText-2
torchtext.datasets.WikiText2(root='.data', split=('train', 'valid', 'test'))
训练集36718，验证集3760，测试集4358，数据集中的每一行是一个词语
（亲测可以在代码中直接下载）
2.WikiTest103
torchtext.datasets.WikiText103(root='.data', split=('train', 'valid', 'test'))
训练集1801350，验证集3760，测试集4358
（亲测可以在代码中直接下载）
3.PennTreebank
torchtext.datasets.PennTreebank(root='.data', split=('train', 'valid', 'test'))
训练集42068，验证集3370，测试集3761
（亲测在代码中无法直接下载，会出现网络连接问题）
三，机器翻译
1.Multi30k
torchtext.datasets.Multi30k(root='.data', split=('train', 'valid', 'test'), language_pair=('de', 'en'))
language_pair:指定使用的翻译句子对的语言，默认是从德语（de）翻译到英语(en)，数据集中的每一行是一对儿指定语言的句子对
（亲测可以在代码中直接下载）
2.IWSLT2016
torchtext.datasets.IWSLT2016(root='.data', split=('train', 'valid', 'test'), language_pair=('de', 'en'), valid_set='tst2013', test_set='tst2014')
（亲测在代码中无法直接下载，会出现网络连接问题）
3.IWSLT2017
torchtext.datasets.IWSLT2017(root='.data', split=('train', 'valid', 'test'), language_pair=('de', 'en'))
（亲测在代码中无法直接下载，会出现网络连接问题）
四，序列标注
1.UDPOS
torchtext.datasets.UDPOS(root='.data', split=('train', 'valid', 'test'))
训练集12543，验证集2002，测试集2077，每一行是一句话中的每个词，以及每个词的词性标注信息
（亲测可以在代码中直接下载）
2.CoNLL2000Chunking
torchtext.datasets.CoNLL2000Chunking(root='.data', split=('train', 'test'))
训练集8936，测试集2012
（亲测可以在代码中直接下载）
五，问答
1.SQuAD 1.0
torchtext.datasets.SQuAD1(root='.data', split=('train', 'dev'))
训练集87599，测试集10570，每一行是一段短文，一个问题，问题的答案
（亲测可以在代码中直接下载）
2.SQuAD 2.0
torchtext.datasets.SQuAD2(root='.data', split=('train', 'dev'))
训练集130319，测试集11873
（亲测可以在代码中直接下载）
六，无监督学习
1.EnWik9
torchtext.datasets.EnWik9(root='.data', split=('train', ))
训练集13147026
（亲测可以在代码中直接下载）