分词实验报告

        在对中文文本信息进行处理前，先将成段的文本分割成更小的词汇单元，这个过程即是中文分词。中文分词是智能检索、文献索引、机器翻译以及自然语言处理和语义分析的基础。

实验目的：对文本信息进行中文分词

实验步骤：认识分词工具包mmseg4j——配置环境——数据导入——选择分词字典——分词

目录：

1、认识中文分词包（下载、安装与运行）

2、分词方法与效果分析

3、分词包背后的分词算法学习

4、分词结果提交

---

1.1 了解mmseg4j分词工具包

mmseg4j分词器用Chih-Hao Tsai 的MMSeg算法实现的中文分词器，并实现lucene的analyzer和solr的TokenizerFactory以方便在Lucene和solr中使用。MMSeg实现了两种分词方法：simple和complex。并且这两种方法都是基于正向最大匹配。mmseg4j自带的主词典是奖金15万的搜狗词库，除此之外它支持名为wordsxxx.dic，编码格式为UTF-8的用户自定义词典。

（lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

Solr是一个高性能，采用Java5开发,基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。）

1.2 下载

下载链接：

如何安装java环境

怎样在win7中 安装Tomcat7.0

apache lucene solr 官网历史版本下载地址

相关jar包下载

1.3 运行

windows运行界面打开cmd

进入下载文件保存目录（我保存在D盘）

d：

cd  mmseg4j

输入命令（字符串用文本替换）

java-cpmmseg4j-core-1.10.0.jar com.chenlb.mmseg4j.example.MaxWord 字符串

得到分词结果

2.1分词方法

常用分词方法有：

基于字符串匹配的方法：正向最大匹配分词算法、逆向最大匹配分词、双向最大匹配分词算法、最少切分分词算法等。

基于字符串匹配的分词方法和基于统计的分词方法对比。（详情略）

2.2效果分析

分析MMSeg实现的两种分词方法：simple和complex，他们都是基于正向最大匹配。

Simple——在一串字符串中从开头匹配子串，找到所有可能的匹配。

Complex——在一串字符中，找到所有可能的三字块开始匹配，寻找最大长度的字块。

用两种方法对下面这段文本进行分词

2017年5月17日，美国雪城大学马克斯韦尔公民与公共事务学院终身教授马颖毅博士应邀来访我院，并做了主题为“中国留学生眼中的中美教育”的学术讲座。出席本次学术讲座的有我院各专业本科生、研究生，以及沙治慧教授、陈进副教授等教师。本次讲座会由沙治慧教授主持。

3. mmseg4j分词算法

（详情参考：mmseg分词算法及实现）

参考链接：

11大Java开源中文分词器的使用方法和分词效果对比

MMSeg中文分词算法

4.分词结果提交

由于mmseg4j源码中没有提供把分词结果保存成文件的方法，需要自己在源码中修改，然后打包成jar。

参考Lucene-----查看分词结果