fasttext 加载模型 内存分配失败

model_path="demo.model.bin"
word="csdn"
import fasttext
model= fasttext.load_model(model_path)

python 使用fasttext 加载 已经训练好的模型,结果出现异常,代码如上

“Exception: fastText: Cannot load demo.model.bin due to C++ extension failed to allocate the memory”

主要原因是 c++ 版本训练的fasttext 的bin文件的问题,后面重新使用java 版本的fasttext.jar 训练后不存在上面模型加载的问题

基本命令如下

FTDATA='data/ft_data'
FTMODEL='data/ft_model'
#文本分类
function train(){
 class_id=${1}
 input=${FTDATA}/${class_id}.data
 output=${FTMODEL}/${class_id}.model
 java -cp jar/fasttext.jar fasttext.Main supervised -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -ep
och 10 -thread 10

}
# 词向量训练
function train_unsupervised(){
 class_id=${1}
 input=${FTDATA}/${class_id}.data
 output=${FTMODEL}/${class_id}.model
 java -cp jar/fasttext.jar fasttext.Main skipgram -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -epoc
h 10 -thread 10
}

jar 包地址:https://download.csdn.net/download/renyuanfang/10782326

你可能感兴趣的:(java,machine,learning)