关键词抽取工具包THUTag安装与使用

安装

安装环境为64位Linux系统

• 从github下载 THUTag
• 从官网下载 java8
• 解压 jre-8u131-linux-x64.tar.gz，将 jre1.8.0_131/bin添加到环境变量$PATH

运行程序：

unzip THUTag-master.zip
cd THUTag-master/demo/
java -Xmx5G -jar ./tagsuggest.jar evaluation.CrossValidator \
    --dataset=../traindata/bookPost70000.dat \
    --trainer_class=TrainWTM \
    --suggester_class=SMTTagSuggest \
    --num_folds=5 \
    --config="dataType=DoubanPost;para=0.5;minwordfreq=10;mintagfreq=10;selfTrans=0.2;commonLimit=2" \
    --working_dir=./wtm_douban \
    --at_n=10 \
    --report=./evaluation_WTMreal.txt

上述测试的是交叉验证，还可以训练新的模型：

java -Xmx5G -jar tagsuggest.jar train.TrainWAM \
    --input=../traindata/KeywordPost.dat \
    --output=./wam_news/ \
    --config="num_tags=10;norm=all_log;size=13702;dataType=KeywordPost;minwordfreq=10;mintagfreq=10;para=0.8"

用训练模型进行预测：

model_dir=wam_news
infile=1.txt
outfile=1.out
java -Xmx8G -jar tagsuggest.jar evaluation.TestDemo \
    --model_path=$model_dir \
    --algorithm=SMTTagSuggest \
    --config="" \
    --article_path=$infile \
    --output_path=$outfile

输入文件中放入一行文本，格式同KeywordPost.dat，json格式。输出1.out是提取的关键词及其权重。

源码分析

主要分析词对齐模型WAM（word aligment model)

有三个，区别在于构造翻译对：

./src/java/org/thunlp/tagsuggest/train/TrainWAM.java
./src/java/org/thunlp/tagsuggest/train/TrainWAMWithtitleInstead.java
./src/java/org/thunlp/tagsuggest/train/TrainWAMsample.java

TrainWAM.java采用的方法是对摘要+正文分句，然后统计句子词的tfidf, 计算和标题相同词的加权和：

score += contentTfidf.get(word) * wordProb.get(j);

将score大于scoreLimit的句子选出来构成翻译对，选中句子的分词结果写入文件book，对应标题分词结果写入文件bookTag。

TrainWAMWithtitleInstead.java的不同在于用摘要+正文的第一个句子代表标题构造翻译对。

TrainWAMsample.java从摘要+正文中采样wordnum个词，再从标题采样wordnum个词构成翻译对。采样的权重为词的tf-idf值，采样方法为轮盘赌。

GIZA++用法

详细用法可参考./giza-pp/GIZA++-v2和./giza-pp/mkcls-v2中的README文件

# 采用最大似然估计对词分类，分为80类
mkcls -c80 -pbook -Vbook.vcb.classes opt
mkcls -c80 -pbookTag -VbookTag.vcb.classes opt

# 将纯文本转为GIZA文本格式
plain2snt.out bookTag book

#训练翻译模型：from word to tag
GIZA++ -S book.vcb -T bookTag.vcb -C book_bookTag.snt -m1 5 -m2 0 -mh 0 -m3 0 -m4 0 -model1dumpfrequency 1

#训练翻译模型：from tag to word
GIZA++ -S bookTag.vcb -T book.vcb -C bookTag_book.snt -m1 5 -m2 0 -mh 0 -m3 0 -m4 0  -model1dumpfrequency 1

参考

博士论文：
基于文档主题结构的关键词抽取方法研究