机器翻译质量评估工具OpenKiwi笔记

OpenKiwi笔记

学习一下机器翻译质量评估的开源工具OpenKiwi 做一点笔记
论文
repo
文档
快速入门

OpenKiwi是一款Pytorch实现的QE系统,在WMT 2015-18公开任务上都达到了最佳性能, 方便实验多种模型.
支持QUETCH, NUQE , Predictor-Estimator, APE-QE 这几种当前最流行的QE模型, 并且可以很方便的对多个模型进行linear stacked ensemble

支持的模型

• predictor and estimator
• nuqe
• quetch
• linear

安装

pip 安装

pip install openkiwi

安装后

import kiwi

或者命令行运行

kiwi

使用mlflow(可选)

pip install mlflow

使用

运行下面的命令就可以训练

 python kiwi train --config config.yml

config.yml 为配置文件

现在 支持的命令有 train, predict, jackknife, evaluate

或者

import kiwi
config = 'config.yml'
run_info = kiwi.train(config)

训练完成后,使用训练好的模型预测

model = kiwi.load_model(
run_info.model_path
)
source = [
'the Sharpen tool sharpens '
'areas in an image .'
]
target = [
'der Sch¨arfen-Werkezug '
'Bereiche in einem Bild '
'sch¨arfer erscheint .'
]
examples = [{
'source': source,
'target': target
}]
out = model.predict(examples)