使用Moses搭建一个机器翻译系统及实验记录

一. 搭建实验环境：

ubuntu系统可以直接下载安装deb包即可，需要安装的deb包有Srilm, GIZA++, mkcls以及从   http://www.statmt.org/wmt08/scripts.tgz 上获得的一些脚本文件。如果不是ubuntu系统的话，需要下载这些工具的源代码进行编译安装。

 

下面简述使用源代码编译的方法搭建环境中的步骤，直接使用deb安装的可以跳过：

1. 安装Srilm：

下载Srilm源码文件，解压。http://www.speech.sri.com/projects/srilm/download.html

首先，检查Srilm的依赖包，这些依赖包包括：

 1 ） A template-capable ANSI-C/C++ compiler, gcc version 3.4.3 or higher.

  2 ） GNU make, to control compilation and installation.

  3 ） GNU gawk, required for many of the utility scripts.

  4 ） GNU gzip to unpack the distribution, and to allow SRILM programs to    handle “.Z” and “.gz” compressed datafiles (highly recommended).

  5 ） bzip2 to handle “.bz2″ compressed files (optional).

  6 ） p7zip to handle “7-zip” compressed files (optional).

   7 ） The Tcl embeddable scripting language library (only required for some of the test execu tables).

  8 ） csh  Unix shell

      如果以上工具没有全部安装的话， srilm 编译肯定无法通过。使用 which 命令查找以上工具是否安装，例如：

  which make， 若得到的输出为 /usr/bin/make ，表明系统已经安装好了 GNU make 。没有的话需要apt-get install ***（相应的包）。

 

其次，修改Makefile和common/Makefile.machine.i686文件：

  1 ）修改 Makefile 文件

         找到以下两行：

         # SRILM = /home/speech/stolcke/project/srilm/devel ，另起一行输入 srilm 的安装路径， SRILM = ($PWD) 。

         MACHINE_TYPE := $(shell $(SRILM)/sbin/machine-type) ，在其前加＃注释掉，并另起一行输入： MACHINE_TYPE := i686

   2 ）修改 srilm/common/Makefile.machine.i686 文件

         cd common/
　　      cp Makefile.machine.i686 Makefile.machine.i686.bak
　　      vi Makefile.machine.i686

         将第 15 行 # Use the GNU C compiler 下的三行修改如下：
　　      GCC_FLAGS = -mtune=pentium3 -Wreturn-type -Wimplicit
　　      CC = gcc $(GCC_FLAGS)
　　      CXX = g++ $(GCC_FLAGS) -DINSTANTIATE_TEMPLATES

         将 51 行 # Tcl support (standard in Linux) 下的两行修改如下：
　　      TCL_INCLUDE = -I/usr/include/tcl8.5
　　      TCL_LIBRARY = -L/usr/lib/tcl8.5

         如果是其他版本，则需要进行相应的修改。

 

然后，编译Srilm

     cd ..
　　 make World

  顺利的话， srilm 就编译通过了。如果出现问题，很可能就是相应的依赖工具没有装完全，需要回到 3.2 中去重新检查一下下需要的配文件。

 

 最后， 进入 srilm/test 目录进行测试：

  编译通过不等于编译成功，必须利用 srilm 提供的测试模块进行测试。

  1 ）声明 srilm 编译成功后工具包所在的环境变量：

Export PATH=$PATH:/home/fuxiaoyin/MTworkdir/srilm/bin/i686:/home/fuxiaoyin/MTworkdir/srilm/bin

  2 ）进入 test 进行测试

        make test

        终端上的显示如下所示：

        *** Running test adapt-marginals ***

 

        real      0m11.701s

        user     0m11.507s

        sys      0m0.148s

        adapt-marginals: stdout output IDENTICAL.

        adapt-marginals: stderr output IDENTICAL.

        如果显示的输出大部分都是 IDENTICAL ，只有少数为 DIFFERS ，则表示 srilm 已经编译成功啦！ ^_^

   3 ）声明 expot 命令只在当前用户登录有效，切换用户或者重启电脑以后则需要重新 export 路径。为了一劳永逸，我们还需要做如下设置。（不过这一步不一定是必须的，我在自己的机器上并没有经过这一步）

       在 /etc/profile 文件中找到下面一段代码：

       export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE

 

       for i in /etc/profile.d/*.sh ; do

           if [ -r "$i" ]; then

               if [ "$PS1" ]; then

                  .  $i

               else

                   . $i >/dev/null 2>&1

               fi

           fi

       export PATH=$PATH:/home/fuxiaoyin/MTworkdir/srilm/bin/i686:/home/fuxiaoyin/MTworkdir/srilm/bin

       done

       红色字体为要插入的声明，保存以后再重新 test 一下。

 

 2. 安装翻译模型训练工具GIZA++和mkcls：

  1） 在mtworkdir目录下下载并解压Giza++：
　　cd /home/52nlp/mtworkdir
　　wget http://ling.umd.edu/~redpony/software/giza++.gcc41.tar.gz
　　tar -zxvf giza++.gcc41.tar.gz
　   解压后得到GIZA++-v2/目录
  2）编译Giza++:
　　cd GIZA++v2
　　make
  3）下载解压并编译mkcls：
　　cd ..(重新进入mtworkdir目录）
　　wget http://ling.umd.edu/~redpony/software/mkcls.gcc41.tar.gz
　　tar -zxvf mkcls.gcc41.tar.gz
　　cd mkcls-v2
　　make
　这一步一般没啥问题。
  4）建立bin目录，并将giza++,mkcls工具拷贝到bin目录下：
　　cd ..
　　mkdir -p bin
　　cp GIZA++-v2/GIZA++ bin/
　　cp GIZA++-v2/snt2cooc.out bin/
　　cp mkcls-v2/mkcls bin/

 

3. 安装Moses：

1）建立目录，通过svn下载moses:
　　mkdir -p moses
　　svn co 　https://mosesdecoder.svn.sourceforge.net/svnroot/mosesdecoder/trunk moses
 2）下载完成后编译：
　　cd moses
　　./regenerate-makefiles.sh
　　./configure –with-srilm=.../mtworkdir/srilm
　　make -j 4
　　cd ..
　注：srilm指向绝对路径。
 3）安装Moses训练脚本
　建立训练脚本目录：
　　mkdir -p bin/moses-scripts
　　修改makefile:
　　vi moses/scripts/Makefile
　　将第13、14行修改如下：
　　TARGETDIR=.../mtworkdir/bin/moses-scripts（moses-scripts目录的绝对目录地址）
　　BINDIR=.../mtworkdir/bin（bin目录的绝对目录地址）
　编译：
　　cd moses/scripts/
　　make release
　　cd ../..
　使用时需要声明环境：
　　export SCRIPTS_ROOTDIR=.../mtworkdir/bin/moses-scripts/scripts-20090113-1019

二、实验步骤：

1. 建立work-dir目录，在该目录下建立4个工作目录：

work-dir/                                                                                               工作目录，名称可以自己指定

         alignment-corpus/                                                                    训练数据存放

         lang-model-corpus/                                                         语言模型数据存放

         tuning/                                                                                         MERT 的 DEV 数据存放

            evaluation/                                                                                 测试数据存放

 

2. 调用ICTLAS pai实现一个中文分词工具【详见上一篇blog】

 

3. 在 alignment-corpus/ 目录下完成中文文本的分词和英文文本的分词、过滤长语句、小写化处理：

    cd ChineseSegmentation
   

    ./ChineseSeg

    

    （以上两步是中文分词的过程，ChineseSeg是我实现的一个中文分词程序的binary文件）

     cd '.../work-dir/alignment-corpus'
    

     tokenizer.perl -l en < '.../work-dir/alignment-corpus/e.txt' > corpus.tok.en
    

     clean-corpus-n.perl corpus.tok ch en corpus.clean 1 40
    

     lowercase.perl < corpus.clean.en > corpus.lowercased.en

 

     (copy corpus.clean.ch as corpus.lowercased.ch)

 

4. 英文语言模型训练：

    这里采用的是3-gram

    cd '.../work-dir/lang-model-corpus'

    ngram-count -order 3 -interpolate -kndiscount -text '.../work-dir/lang-model-corpus/corpus.lowercased.en' -lm corpus.lm

 

5. 翻译模型训练：

   根据分过词的中英文文本进行训练，生成翻译模型。

   cd ..

 

   train-factored-phrase-model.perl -scripts-root-dir /usr/share/moses/scripts -root-dir . -corpus alignment-corpus/corpus.lowercased -f ch -e en -alignment grow-diag-final-and -reordering msd-bidirectional-fe -lm 0:3:'.../work-dir/lang-model-corpus/corpus.lm':0

 

（注意：以上几步所使用的语料库是训练集语料，包含了一个中文语料文件和一个对应的英文语料文件）

 

6. 最小错误率训练（这一步是针对开发集数据做的，我的开发集数据包括了一个中文文本和对应的4个建议的英文翻译文本）：

  首先使用第3步的方法对这5个文本进行分词和小写化处理，生成5个文件在tuning/文件夹中：input（分词后的中文开发集语料），ref0~3（分词和小写化后的英文开发集语料）。

 

mert-moses.pl tuning/input tuning/ref /usr/bin/moses model/moses.ini --working-dir tuning --rootdir /usr/share/moses/scripts  （tuning/input为中文语料；tuning/ref为英文预料，该命令会自动寻找命名为ref0~n的各个语料）

 

上一步需要很长的时间，和开发语料库的大小及机器性能有关系。我这边跑了10个小时，反正晚上让它跑着呗~~

成功执行后，我们获得了moses.ini文件，这就是可以用来进行汉英翻译的核心文件。下面我们对其进行进一步处理：

 

reuse-weights.perl tuning/moses.ini < model/moses.ini > tuning/moses.weight-reused.ini

 

我们获得了最终的翻译模型moses.weightreused.ini

 

7. 对测试数据翻译并得分（对测试集数据进行，我的测试集数据包括了一个中文文本和对应的4个建议的英文翻译文本）：

首先使用第3步的方法对这5个文本进行分词和小写化处理，生成5个文件在evaluation/文件夹中：test.ch.input（分词后的中文测试集语料），test.en.ref0~3（分词和小写化后的英文训练集语料）。

短语过滤：

filter-model-given-input.pl evaluation/corpus tuning/moses.weight-reused.ini evaluation/test.ch.input

使用moses解码：
moses -config evaluation/corpus/moses.ini -input-file evaluation/test.ch.input > evaluation/test.ch.output

计算bleu得分：

multi-bleu.perl evaluation/test.en.ref < evaluation/test.ch.output > result.txt

 

最终的得分结果在result.txt中，其中包含了该翻译系统针对测试集翻译的bleu值，如果超过了我们预计的baseline，说明效果不错~~

我的实现获得的汉英翻译的bleu值为16.59，不是很理想。但是将这个实验过程记录下来，以备需要时使用~~

 

 

本文参考了：

http://www.52nlp.cn/ubuntu-moses-platform-build-process-record

http://blog.sina.com.cn/s/blog_6cb4abf10100nw9z.html