大小写模型训练说明书

大小写模型训练说明书

需要训练一个truecase模型。注意：只能使用训练集训练truecase模型。truecase则会学习训练数据，判断句子中的名字、地点等需要大写的内容并将其保留，其余则小写，提升模型转换时候的准确性。

1. 训练大小写模型
   1.1 文件位置: /home/post/punc/src/caps_look/mosesdecoder-master/scripts/recaser/
   1.2 脚本命令: train-truecaser.perl -corpus data/train.txt -model path/to/truecase.model
   其中-corpus后跟训练源数据 -model后跟大小写训练model位置。

2. 应用apply (将训练得到的语种truecase模型应用到数据集上）
   2.1 文件位置: /home/post/punc/src/caps_look/mosesdecoder-master/scripts/recaser/
   2.2 脚本命令: truecase.perl -model path/to/truecase.model < data/train.txt > data/case.txt
   其中-model后跟上条脚本中大小写训练model位置 < 后跟上脚本中训练源数据
   后跟模型输出的数据文件
   其中得到的输出数据文件如下格式 Hello(8/14) hello(6/14)

3. 修剪truecase输出文件(修剪格式,只保留单词,过滤频次)
   3.1 文件位置: /home/post/punc/src/precess_truecase/precess_truecase.py
   3.2 脚本命令: ./precess_truecase.sh
   其中在precess_truecase.py中可根据词典大小需求设置裁剪阈值flag=x , 将大写单词后频次低于x值的单词过滤不保留。
   解码器需要处理格式为只保留大写单词，小写单词去除，括号内去除。格式如下
   Hello
   Apple
   Banana