基于领域相关度和领域一致度的领域术语抽取实现

领域相关度：

                       其中

领域一致度：

                                    ，其中

在抽取之前，需要准备几个领域，每个领域准备大量的文本。比如：军事、科技、体育、财经、汽车、房产等等。

有一些数据是不完整的，甚至是脏数据，需要在数据准备好之后做数据清洗，删除包含乱码的文本、删除英文文本、删除内容重复的文档，删除包含大量HTML标签的文档，删除内容中大量重复的内容（如：预料是新闻，可能会每篇文档中都包含“中新网北京1月23日电”之类的内容）。

   每一个子文件夹中都包含该领域的文档，分别为汽车、育儿、教育、女性、技术、时尚、财经、健康、运动。

一、分词和词性标注

预料准备好之后，需要做分词和词性标注的工作。下面是该工具提供的分词和词性标注API.

建议使用MapReduce版本的标注API，TokenAndTagJob类。

public void run(String inPath, String outPath)

对一个目录中的文本做分词和词性标注

 

  分词和词性标注处理完之后的内容如下：

 

【/w 文献/n 题名/v 】/w ：/w 城/n 华/b 地区/n 延安/ns 组/n 延/g8/a ～/w 延/g 10/n 储层/n 岩石学/n 特征/n 【/w 文摘/n 号/q 】/w ：/w2001020170/m 【/w 文献/n 类型/n 】/w ：/w 刊/g 【/w 分类/vn 号/n 】/w ：/wTE112/x ./w 23/m 【/w 期刊/n 名/q 】/w ：/w 西安/ns 石油/n 学院/n 学报/n 自然/n 版/n 【/w 年/n 卷/g 期/g 】/w ：/w2000/m ,/w 15/m (/w 3/n )/w 【/w 页码/n 】/w ：/w1/a ~/x 3/n ，/w 10/n 【/w 作者/n 】/w ：/w 宋广寿/nr ，/w 杨/nr 技/g 【/w 作者/n 单位/n 】/w ：/w 长庆/ns 油田/n 公司/n 采油/v 二/m 厂/n 地质/n 研究所/n 【/w 原文/n 出版/v 年/qt 】/w ：/w2000/m 【/w 图表/n 参/g 】/w ：/w 图3参/nr2/n 【/w 主题词/n 】/w ：/w 储集层/n 特征/n;/w 孔隙/n 成因/n 【/w 文摘/n 】/w ：/w 利用/vX/x 衍射/v 全/a 岩/g 分析方法/n 、/w 粘土/n 矿物/n 定量分析/l 方法/n 和/cc 薄片/n 鉴定/vn 等/u 方法/n 研究/v 了/u 城/n 华/b 地区/n 延/g8/a ～/w 延/g 10/n 储层/n 岩石学/n 特征/n 和/cc 孔隙/n 成因/n 类型/n 。/w 综合/v 论述/v 了/u 城/n 华/b 地区/n 延/g8/a ～/w 延/g 10/n 油/n 组/q 不同/a 岩/g 相/d 储层/n 砂岩/n 的/u 基本特征/n ，/w 纠正/v 了/u 砂岩/n 定名/v 的/u 错误/n 和/cc 主要/d 填/v 隙/g 物/g 成分/n 的/u 错误/n ，/w 还/d 论述/v 了/u 储层/n 砂岩/n 的/u 孔隙/n 特征/n 和/cc 控制/vn 孔隙/n 发育/v 的/u 主要/b 因素/n 。/w 【/w 文摘/n 员/q 】/w ：/w 马丽/nr

二、抽取领域术语

   词性标注完之后，就可以调用Ontology 抽取领域术语了。下面是实例。

 

// 参数封装               OntologyOperation  operation = new OntologyOperation();               operation.setTestPath("分类_tokend"); //分词和词性标注后的               operation.setOutPath("ontology_分类"); //抽取领域术语结果目录               operation.setLamda(0.6);// ndd和ncd的比重，默认是0.5               operation.setStopWordsPath("stopwords");//停用词文件路径                 Configuration  conf =new Configuration();               //在hadoop集群中使用，必须设置 hdfs fs name ，具体参看        //hdfs-site.xml               conf.set("fs.default.name", "hdfs://192.168.4.23:9999");                             Ontology ontology =new Ontology(conf);        //执行领域术语的抽取               ontology.run(operation);

 

抽取结果：

                  

     每一个文件中保存某一领域的术语和权重，术语顺序按照术语的权重由大到小。越往上和本领域最相关的部分，越往下是和领域越不相关的部分。

汽车领域：

幻影/n 0.3910593139427473 汽车/n 0.38552070782346365 系列/n 0.3849238241483909 论坛/n 0.3822022955534813 来宾/n 0.3814991553300009 身份证/n   0.3814643303613873 车型/n 0.3812698805672925 嘉年华/n   0.3810316978270879 经销商/n   0.3810294885160848 大众/n 0.3798762521563308 口碑/n 0.3769977747541958 售价/n 0.3706252408163245 动力/n 0.35661561638221867 引擎/n 0.3537919450642671 轴距/n 0.3513435337268461 发动机/n   0.35031323733269465 品牌/n 0.35019905726782324

育儿领域：

孩子/n 0.6083338178366626 妈妈/n 0.5795633679337582 时间/n 0.5666556375725188 宝宝/n 0.5644493150898459 儿童/n 0.5495347522570228 生活/vn    0.5380710659903973 家长/n 0.5376476116436651 影响/vn    0.5347469971542526 身体/n 0.5328702840194202 能力/n 0.5257242831980316 活动/vn    0.5253617853321019 父母/n 0.5204357874228931 营养/n 0.5136165980528928 家庭/n 0.5069390253210327 教育/vn    0.5028661460255032 发育/vn    0.5027495315547349 环境/n 0.5015883969770852 食物/n 0.49767223383846027

女性：

女性/n 0.31487990557885037 肌肤/n 0.31304528683015265 效果/n 0.308960714646986 产品/n 0.3051812878726879 皮肤/n 0.2970426920103549 女人/n 0.2955534547286699 成分/n 0.2938600008759204 功效/n 0.27799975106291236 保湿/n 0.2756107894868808 身体/n 0.27533528526451734 朋友/n 0.2740272629967851 品牌/n 0.27341987878347074 时尚/n 0.2679356026043557 美容/vn    0.2644552884818885 男人/n 0.2641450904843061 质地/n 0.26181214361494803 专业/n 0.26170017085661 水分/n 0.2602422981402292 系列/n 0.26001591640221594 配方/n 0.2599989399928897

财经领域：

市场/n 0.3608140146859866 经济/n 0.3547614541390426 风险/n 0.35239024337960634 金融/n 0.34577383407763246 公司/n 0.34392214119735787 危机/n 0.34255891673024036 投资/vn    0.3395183844284213 国家/n 0.3392216143490847 资产/n 0.33345102321911135 投资者/n   0.3276108467970701 企业/n 0.3247636216772157 财经/n 0.32295135215194143 关系/n 0.32274033777395 国际/n 0.3210001803088927 信息/n 0.32034858779587655 发展/vn    0.3198368908049424 经济学/n   0.31978792379152343 方面/n 0.31848495358432266 政府/n 0.3177799739084163 政策/n 0.31683813309168585 资本/n 0.3164516569407639