中文分词之候选集的选取

中文分词之候选集的选取

一、      基本思路：

·0. 之前讲到利用字典的分词，是因为字典的词组是有限的，单个的。但是候选词是可以由多个词组成。例如“Android/x  系统 /n  平台/n”，“蓝/n  牙/n”等。如果把这些词是连着出现在被爬虫爬下来的文章中，那么就很有必要把“Android系统 平台”，“蓝牙”作为整体的词语来理解了。即“把x n n”,”n n”组合在一起作为候选词，然后在后面会通过“候选集过滤”，“左右完整性分析”和“稳定性”来评估这个候选词是否有资格成为对象词。

1.   首先定义rule.txt，里面定义好抽取的规则

    n

n n

v

n v

v n

ng n p

n n n

rzv q n

x n n

xn

规则来自 《中文产品评价对象的识别研究》

2. 构造词组的正则表达式

      思路：读取txt文本，每行地读出内容，然后构造正则表达式，存放在List中去。其中中文字母数字的正则表达式是：String regex = "[\u4E00-\u9FA5a-zA-Z0-9]*";

程序实现：

/**
	 * 获取抽取规则并放在list
	 * @param inputPath 
	 * @return
	 * @throws Exception 
	 */
	public static List<String> getRulesFromFile(String inputPath) throws Exception{
		List<String> results = new ArrayList<String>();
		File inputFile = new File(inputPath);
		if(!inputFile.exists()){
			throw new Exception("inputPath is no exists");
		}
		FileReader fr = new FileReader(inputFile);
		BufferedReader br = new BufferedReader(fr);
		try {
			String regex = "[\u4E00-\u9FA5a-zA-Z0-9]*";
			String temp;
			
			while((temp = br.readLine()) != null){
				String[] worlds = temp.split(" ");
				String build_regx ="";
				for(int i =0;i<worlds.length;i++){
					build_regx += regex +ConstantString.slash+worlds[i]+" ";
				}
				System.out.println(build_regx);
				results.add(build_regx);
			}
		} catch (Exception e) {
			e.printStackTrace();
		}finally{
			try {
				if(br != null){
					br.close();
				}
				if(fr != null){
					fr.close();
				}
			} catch (Exception e2) {
				e2.printStackTrace();
			}
		}
		
		return results;
	}

结果：

3.   利用构造好的正则表达式，递归匹配已经分词的文本内容，并输出到文档。

public static void ExtratorWorld2File(String rulesPath,String inputPath,String outputPath) throws Exception{
		if(StringUtil.isEmpty(inputPath) || StringUtil.isEmpty(rulesPath)){
			throw new Exception("inputPath/rulesPath is null");
		}
		File file = new File(outputPath);
		if(!file.exists()){
			file.mkdirs();
		}
		ArrayList<String> rules = (ArrayList<String>) ExtratorWordUtil.getRulesFromFile(rulesPath);
		ArrayList<String> paths = new StringUtil().getAllPath(inputPath);
		for(String path : paths){
			String result ="";
			String content = StringUtil.getContent(path);
			String name = StringUtil.getNameFromPath(path);
			String outputFile = outputPath + ConstantString.slash + name + ConstantString.postText;
			for(String rule : rules){
				result += StringUtil.getContentUseRegex(rule, content, 0,ConstantString.WIN_NextLine) +ConstantString.WIN_NextLine;
			}
			StringUtil.String2File(result, outputFile);
		}
		
	}

结果：