本文基于AllenNLP英文tutorial翻译，其中不少错误，仅作为个人学习记录
有一篇帖子总结了一下学习处理NLP问题中间的坑。NLP数据预处理要比CV的麻烦很多。
- 去除停用词，建立词典，加载各种预训练词向量，Sentence -> Word ID -> Word Embedding的过程(Tobias Lee：文本预处理方法小记)，其中不仅需要学习pytorch，可能还要学习spacy，NLTK，numpy，pandas，tensorboardX等常用python包。
- 用到RNN时，还要经过pad,pack,pad的过程，像这样的很多函数在使用时需要有数学基础加上简单的实践，感觉对一个新人来说，高维数据的流动有点抽象，不容易理解。
- 数据集的读取，tensorboardX的使用。。。。各种东西要学习。在运行别人的代码后打印出信息，不仅看着上档次，而且可以看到很多实用的信息。。。
AllenNLP是在pytorch基础上的封装，它的目标是处理NLP任务，可以减少很多额外的学习。
- 分词，帮你用spacy，NLTK，或者简单的按空格分词处理。
- 数据集的读取，它内置了很多数据集的读取，你可以在通过学习它的读取方式，在它的基础上对自己需要的数据集进行读取。 、
- 在Sentence -> Word ID -> Word Embedding的过程中，Glove，ELMo，BERT等常用的都可以直接使用，需要word，char粒度的都可以。
- log打印输出，在内置的输出项之外，你可以很方便地加入想要输出的信息。模型的各个组件中的参数都可以存在一个json/jsonnet文件中，修改参数进行实验很方便。
2. A Walk Through AllenNLP
第二部分 实验参数设定
上一节中对训练和评估一个模型有了了解（就是调用JSON、存储模型、评估），这节做的是深入了解实验设定文件，其实就是那个JSON文档。
教程中会解读配置文件的每一节内容，解释所有参数的含义。
初步：Registrable 和 from_params
AllenNLP中大多类继承自Registrable基类，为子类提供了一个命名注册表，这意味着如果有Model，可以这样处理
数据集、实例和域
我们在数据集上训练、评估模型，一个数据集应包含有实例。
在之前标记实验中，每一个数据集是一个包括标记的句子的集合，每一个实例也是标记句子之一。
在标记设置中，每一个实例将包含表示句子的单词/tokens的文本域（textfield）和表示相应词性标记的sequencelabelfield。
如何将句子文本转为数据集？可以使用配置文件指定的DatasetReader。
DatasetReader
第一个需要配置的部分是定义 dataset_reader
"dataset_reader": {
"type": "sequence_tagging",
"word_tag_delimiter": "/",
"token_indexers": {
"tokens": {
"type": "single_id",
"lowercase_tokens": true
},
"token_characters": {
"type": "characters"
}
}
},
这里我们已经指定我们想要使用DatasetReader的子类“sequence_tagging”。这是SequenceTaggingDatasetReader子类。
这个reader假设一个新行分隔句子的文本文件，其中每个句子看起来像下面的一些“单词标记分隔符”{wtd}和一些“标记分隔符”{td}。
word1{wtd}tag1{td} word2{wtd}tag2{td} ...{td} wordn{wtd}tagn
而我们的数据文件是这样的
The/at detectives/nns placed/vbd Barco/np under/in arrest/nn
就是说，需要指定“/”，回看json中的第二个参数“word_tag_delimiter”
"word_tag_delimiter": "/",
因为源文件中已经进行了分词，这里就不需要指定“token_delimiter”。
如果查看SequenceTaggingDatasetReader.read（）的代码，它会将每个句子转换为标记的TextField和标记的SequenceLabelField。
后者不是真正可配置的，但前者需要一个TokenIndexers字典，指示如何将标记转换为数组。
在配置中指定两个token indexers。第一个tokens是一个SingledIdTokenIndexer，只是将每个标记的单词表示为单个整数，下面的lowercase为True，表示忽略大小写。
注意，这里为每个token提供了两种不同的编码。每个编码都有一个名称，在本例中为“tokens”和“token_characters”，这些名称稍后将由模型引用。
"token_indexers": {
"tokens": {
"type": "single_id",
"lowercase_tokens": true
},
"token_characters": {
"type": "characters"
}
}
训练和验证数据
下一个部分是指定用于训练和验证的数据。可以是在本地的，也可以是在网上的地址。
"train_data_path": "https://allennlp.s3.amazonaws.com/datasets/getting-started/sentences.small.train",
"validation_data_path": "https://allennlp.s3.amazonaws.com/datasets/getting-started/sentences.small.dev",
模型部分
下一个部分是模型的设置。
"model": {
"type": "simple_tagger",
这一段表明要开始设置模型了，使用模型的simple_tagger，对应SimpleTagger模型。
这个模型包括了一个TextFieldEmbedder和一个Seq2SeqEncoder和一个线性层（最后的这个线性层不可配置，所以json里面没有）。
TextFieldEmbedder
"text_field_embedder": {
"tokens": {
"type": "embedding",
"embedding_dim": 50
},
"token_characters": {
"type": "character_encoding",
"embedding": {
"embedding_dim": 8
},
"encoder": {
"type": "cnn",
"embedding_dim": 8,
"num_filters": 50,
"ngram_filter_sizes": [
5
]
},
"dropout": 0.2
}
},
- TextField中为每个命名编码都有一个条目。每个条目指定一个TokenEmbedder，指示如何嵌入使用该名称编码的标记。 TextFieldEmbedder的输出是这些嵌入的串联。
- “token”输入（由输入中的小写单词的整数编码组成）被输入嵌入模块，该嵌入模块将词汇表单词嵌入到50维空间中，如embedding_dim参数所指定的。
- “token_characters”输入（由每个单词中字符的整数序列编码组成）被输入TokenCharactersEncoder，它将字符嵌入到8维空间中，然后应用使用50个过滤器的CnnEncoder，因此也生成50维输出。可以看到此编码器在训练期间也使用了20％的dropout。
TextFieldEmbedder输出“tokens”是一个50维向量，与“token_characters”的50维向量连接在一起，也就是说，一个100维向量。
因为TextFields和TextFieldEmbedder的编码都是以这种方式配置的，所以尝试使用不同的单词表示作为模型的输入，在简单的单词嵌入之间切换，与字符级CNN连接的单词嵌入，甚至使用预先训练的模型，用于获取上下文嵌入，而无需更改单行代码。
Seq2SeqEncoder
上一个TextFieldEmbedder输出的数据由这里进行处理。
"encoder": {
"type": "lstm",
"input_size": 100,
"hidden_size": 100,
"num_layers": 2,
"dropout": 0.5,
"bidirectional": true
}
注意，这里的input_size是和上面输出的数据维度要一致。
训练模型
剩下的配置文件表明训练过程
"iterator": {"type": "basic", "batch_size": 32},
使用basiciterator进行迭代，填充我们的数据并使用32个batch完成处理。
"trainer": {
"optimizer": "adam",
"num_epochs": 40,
"patience": 10,
"cuda_device": -1
}
最后，我们将使用其默认参数优化：torch.optim.Adam;
我们将进行40次迭代培训;
如果10个时代没有改善，我们会过早地停止;
我们将在CPU上进行训练。如果你想在GPU上训练，你可以将cuda_device更改为其设备ID。如果你只有一个GPU应该是0。
这是我们的整个实验配置。如果我们想要更改我们的优化器，批量大小，嵌入维度或任何其他超参数，我们需要做的就是修改此配置文件并训练另一个模型。
训练配置始终保存为模型存档的一部分，这意味着您始终可以查看已保存模型的训练方式。
终于翻译完了，这是对上一节的补充。看看就好