mosesdecoder安装教程

一、mosesdecoder安装过程

1. 安装系统依赖的库

# centOS操作系统
yum install -y tmux gcc gcc-c++  hunspell hunspell-devel git subversion make cmake zlib-devel boost-devel ImageMagick cpan expat-devel automake python-devel bzip2-devel bzip2-libs libtool

# ubuntu安装
apt install -y g++  git  subversion automake libtool zlib1g-dev libboost-all-dev libbz2-dev liblzma-dev python-dev graphviz imagemagick make cmake libgoogle-perftools-dev autoconf doxygen

2. 安装python依赖的库

pip install --upgrade pip
pip install -U CyHunspell
pip install https://github.com/kpu/kenlm/archive/master.zip
pip install nltk
pip install stanfordcorenlp
pip install grpcio
pip install protobuf
pip install grpcio-tools
pip install swig
pip install spacy
pip install xgboost
pip install gensim
pip install pyyaml
pip install openpyxl
pip install pytest
pip install pytest-cov

python -c "import nltk; nltk.download('punkt')"
python -m spacy download en

# 建议使用清华源：https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装moses

• 这里使用了它的automake来安装一些依赖，但是最新的版本好像移除了这部分的文档了

# 使用pyenv安装的ancanda环境的python，如果不知道find . -name "Python.h" 大概就是这个目录
# 使用python镜像的时候指定的python环境
export CPLUS_INCLUDE_PATH="$CPLUS_INCLUDE_PATH:/usr/local/include/python3.7m"
export INSTALL_PATH=/data
cd $INSTALL_PATH && git clone https://github.com/moses-smt/mosesdecoder.git 
# 安装第三方库
# 1.修改了这个文件，方便重装的时候，保留第三方安装包，mosese安装成功之后可删除
#    把删除临时目录的部分给注释掉了，第一遍下载完之后，把下载的部分也注释掉了
# 2.boost:部分link=static  link=shared
# 3.boost:--with-python=python3.7 --with-python-version=3.7 --with-python-root=/path/to/python3.7
#    cd '${TMP}/boost_${UNDERSCORED}' && ./bootstrap.sh --with-python=python && ./b2 --prefix=${PREFIX} -j${nproc} --layout=system link=shared install
# 4.修改moses根目录下的Jamroot文件，修改222行static为shared
cd mosesdecoder \
    && make -f contrib/Makefiles/install-dependencies.gmake \
    && ./compile.sh --max-kenlm-order=9

----
# 运行一个小的demo
export MOSES_HOME=${INSTALL_PATH}/mosesdecoder
export LD_LIBRARY_PATH=${MOSES_HOME}/opt/lib:$LD_LIBRARY_PATH

cd ${MOSES_HOME} \
    && wget http://www.statmt.org/moses/download/sample-models.tgz \
    && tar xzf sample-models.tgz

# 运行示例
cd ${MOSES_HOME}/sample-models
${MOSES_HOME}/bin/moses -f phrase-model/moses.ini < phrase-model/in > out

参考文章

• 官方文档：http://www.statmt.org/moses/?n=Development.GetStarted

---

打赏作者^_^

微信 && 支付宝