AI机器翻译数据预处理步骤

之前在进行机器翻译时，一般除了与句子长度做了长度限制外，几乎没有做任何额外的操作，直接暴力的使用BPE算法对语料进行预处理。接触的都是BPE子词级别的，我们都知道，bpe算法的强大性，30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译，那词典太大了，在机器翻译中词典受限的情况下，很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词，必须对双语语料进行预处理操作。

关于预处理

分词（tokenization）、数据清理（data clearn）、小写化处理（lowercase）均是常规的预处理步骤。

相比之下，中文的预处理对我来说好做很多，除了分词，好像可做的就不多了，相比之下，英文的预处理就变得繁琐了很多，比如在bpe的子词词典中，我们可以看到American's 和american's同时存在于词典，并且英文的标点符号和单词之间是没空格分隔的，所以如果直接对英文按照空格进行分词，cat和cat.就可能占据词典中两个词的位置，这些都是不合理的，会浪费我们词典的位置。所以对英文的处理是及其有必要的。

mosesdecoder作为统计机器翻译工具，其中有一套很程序的预处理方法。

项目地址：

https://github.com/moses-smt/mosesdecoder

下面是我用mosesdecoder对中英文语料进行预处理的过程，（为什么中文已经分词了，还要进行预处理？----因为中文语料中也有一些英文，数字等等的词，我觉得也有必要一起处理一下）

利用mosesdecoder对机器翻译的双语语料进行处理（中文其实也可以进行处理，因为中文中夹杂着英文）

step1:对标点符号进行规范化 normalize
perl ./mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l en < ./corpus/corpus.en >./corpus/corpus.norm.en

perl ./mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l zh < ./corpus/corpus.zh >./corpus/corpus.norm.zh

 
step2：分词  tokenizer
perl ./mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l en < ./corpus/corpus.norm.en > ./corpus/corpus.norm.tok.en

perl ./mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l zh < ./corpus/corpus.norm.zh > ./corpus/corpus.norm.tok.zh

 

step3: clean
长句和空语句可引起训练过程中的问题，因此将其删除，同时删除显不对齐句子删除。--将句子长度控制到100

perl ./mosesdecoder/scripts/training/clean-corpus-n.perl ./corpus/corpus.norm.tok en zh ./corpus/corpus.norm.tok.clean 1 100

这样会同时将双语语料进行操作，生成两个处理后的文件train.norm.tok.clean.en和train.norm.tok.clean.zh

Input sentences: 15886041  Output sentences:  13902844

控制完长度的双语语句13902844

 

step4:truecasing  
初始每句话的字和词组都被转换为没有格式的形式(例如统一为小写）。这有助于减少数据稀疏性问题。

需要训练一个truecase模型。注意：只能使用训练集训练truecase模型。

英文：

perl ./mosesdecoder/scripts/recaser/train-truecaser.perl -corpus ./corpus/corpus.norm.tok.clean.en -model ./corpus/truecase-model.en

中文：

perl ./mosesdecoder/scripts/recaser/train-truecaser.perl -corpus ./corpus/corpus.norm.tok.clean.zh -model ./corpus/truecase-model.zh

应用：

英文：

perl ./mosesdecoder/scripts/recaser/truecase.perl -model ./corpus/truecase-model.en <./corpus/corpus.norm.tok.clean.en > ./corpus/corpus.norm.tok.clean.tc.en

中文：

perl ./mosesdecoder/scripts/recaser/truecase.perl -model ./corpus/truecase-model.zh <./corpus/corpus.norm.tok.clean.zh > ./corpus/corpus.norm.tok.clean.tc.zh

处理后的语料中@-@ 是对原本语料中-的替代

同样，用上述相同的方法对训练集和测试集进行处理。
————————————————
版权声明：本文为CSDN博主「咿咿呀呀呀」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/orangefly0214/article/details/103278612

&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&

使用fastBPE处理

1。 安装

g++ -std=c++11 -pthread -O3 fastBPE/main.cc -IfastBPE -o fast

2. BPE学习

./fastBPE/fast learnbpe 32000 ./corpus/corpus.norm.tok.clean.tc.zh ./corpus/corpus.norm.tok.clean.tc.en > ./corpus/corpus.bpe.32000

3. BPE操作

./fastBPE/fast applybpe ./corpus/corpus.norm.tok.clean.tc.zh.bpe32k ./corpus/corpus.norm.tok.clean.tc.zh ./corpus/corpus.bpe.32000
./fastBPE/fast applybpe ./corpus/corpus.norm.tok.clean.tc.en.bpe32k ./corpus/corpus.norm.tok.clean.tc.en ./corpus/corpus.bpe.32000

4. 生成词表

./fastBPE/fast getvocab ./corpus/corpus.norm.tok.clean.tc.zh.bpe32k > ./corpus/vocab.zh.32000
./fastBPE/fast getvocab ./corpus/corpus.norm.tok.clean.tc.en.bpe32k > ./corpus/vocab.en.32000
./fastBPE/fast getvocab ./corpus/corpus.norm.tok.clean.tc.en.bpe32k ./corpus/corpus.norm.tok.clean.tc.zh.bpe32k  > ./corpus/vocab.all.zh-en.32000

5. 去除词表中的数字列cat

cat ./corpus/vocab.all.zh-en.32000 | awk -F ' ' '{print $1}'> ./corpus/vocab.zh-en.32000
sed '1i\\n\n' ./corpus/vocab.zh-en.32000 > ./corpus/vocab.unk.zh-en.32000

6. 合并中英对

paste -d '\t' ./corpus/corpus.norm.tok.clean.tc.en.bpe32k ./corpus/corpus.norm.tok.clean.tc.zh.bpe32k > ./corpus/train.en-zh.bpe32k

————————————————
版权声明：本文为CSDN博主「小小鸟要高飞」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_38937984/article/details/103995209

&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&

下面使用subword-nmt进行处理

学习bpe模型ZH：python ./subword_nmt/learn_bpe.py -s 10000 < ./corpus/corpus.norm.tok.clean.tc.zh > ./corpus/corpus.norm.tok.clean.tc.bpe.zh
学习bpe模型EN：python ./subword_nmt/learn_bpe.py -s 10000 < ./corpus/corpus.norm.tok.clean.tc.en > ./corpus/corpus.norm.tok.clean.tc.bpe.en
BPE应用ZH：python ./subword_nmt/apply_bpe.py -c ./corpus/corpus.norm.tok.clean.tc.bpe.zh < ./corpus/corpus.norm.tok.clean.tc.zh | python ./subword_nmt/get_vocab.py > ./corpus/vocab.zh
BPE应用EN：python ./subword_nmt/apply_bpe.py -c ./corpus/corpus.norm.tok.clean.tc.bpe.en < ./corpus/corpus.norm.tok.clean.tc.en | python ./subword_nmt/get_vocab.py > ./corpus/vocab.en

构建中英总词表：cat ./corpus/corpus.norm.tok.clean.tc.zh ./corpus/corpus.norm.tok.clean.tc.en | python ./subword-nmt/get_vocab.py | cut -f1 -d ' ' > ./corpus/vocab.32000
合成中英语句对：paste -d '\t' ./corpus/corpus.norm.tok.clean.tc.zh ./corpus/corpus.norm.tok.clean.tc.en > ./corpus/corpus.zh-en
添加特殊字符到词表：sed '1i\\n\n' ./corpus/vocab.32000 > ./corpus/vocab_all.32000