java 实现百度语言翻译机

百度语言翻译机
题目来源于http://www.programfan.com/acm/,题目如下:

时限 1s
百度的工程师们是非常注重效率的,在长期的开发与测试过程中,他们逐渐创造了一套
独特的缩略语。他们在平时的交谈、会议,甚至在各种技术文档中都会大量运用。

为了让新员工可以更快地适应百度的文化,更好地阅读公司的技术文档,人力资源部决
定开发一套专用的翻译系统,把相关文档中的缩略语和专有名词翻译成日常语言。

输入要求:

输入数据包含三部分:
1. 第一行包含一个整数N(N<=10000),表示总共有多少个缩略语的词条;
2. 紧接着有N行的输入,每行包含两个字符串,以空格隔开。第一个字符串为缩略语(
仅包含大写英文字符,长度不超过10字节),第二个字符串为日常语言(不包含空格,
长度不超过255字节);
3. 从第N+2开始到输入结束为包含缩略语的相关文档(总长度不超过1000000个字节)。
例:
6
PS 门户搜索部
NLP 自然语言处理
PM 产品市场部
HR 人力资源部
PMD 产品推广部
MD 市场发展部
百度的部门包括PS,PM,HR,PMD,MD等等,其中PS还包括NLP小组。
输出要求:
输出将缩略语转换成日常语言后的文档。(将缩略语转换成日常语言,其他字符保留原 
样)。例:
百度的部门包括门户搜索部,产品市场部,人力资源部,产品推广部,市场发展部等等 ,其中门户搜索部还包括自然语言处理小组。
注意: 
  1. 输入数据中是中英文混合的,中文采用 GBK 编码。 
         2. 为保证答案的唯一性,缩率语的转换采用正向最大匹配(从左到右为正方向)的原则。请注意输入例子中 PMD 的翻译。

 

实现思路:
1. 从输入的文本串读取大写字母字符串
2. 使用 正向最大匹配算法 对步骤1截取的大写字母字符串 进行翻译,翻译过程大致如下:
 

  由题意知,缩略语长度不超过10,所以在此定义最长的匹配长度为10.
   每次从左到右读取字符串的前10个字节(如果字符串长度<10,则读取整个字符串),判断该子串是否在语料库中存在,若存在,则返回对应的翻译结 果;否则,去掉子串的最后一个字节,再与语料库进行匹配。如此反复执行,直至找到对应翻译结果为止(如果读到最后一个大写字母,仍未找到翻译结果,则表明 该字母并非需要需要翻译,直接输出即可)。

  正向最大匹配算法 举例来说:
正向最大匹配算法 举例 写道
以 “我是一个好人” 为例

正向的顺序为
我是一
我是
我 ===> 得到一个词

是一个
是一
是 ===>得到一个词

一个好
一个===> 得到一个词
好人===>得到一个词

结果 我、是、一个、好人
 

3.将翻译的结果拼接在 最终的翻译字符串尾部。
4.将剩余的非大写字母字符串拼接在 最终的翻译字符串尾部。

具体代码如下:

package com.sabrina.baiduTranslation;

import java.util.HashMap;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class MaximumMatchingMethod {

    // 最大匹配长度
    private static final int MAX_MATCHING_LENGTH = 10;
    // 语料库
    private Map corpus = null;
    
    MaximumMatchingMethod(Map corpus) {
        this.corpus = corpus;    
    }
    
    public static void main(String[] args) {
        // 手动设置语料库,也可以从文件中读取
        final Map corpus = new HashMap();
        
        corpus.put("PS", "门户搜索部");
        corpus.put("NLP", "自然语言处理");
        corpus.put("PM", "产品市场部");
        corpus.put("HR", "人力资源部");
        corpus.put("PMD", "产品推广部");
        corpus.put("MD", "市场发展部");

        // 创建 正向最大匹配算法 对象
        MaximumMatchingMethod maxMatching = new MaximumMatchingMethod(corpus);
        
        // 测试文本段
        String content = "百度的部门包括 PS , PM , HR , PMD , MD 等等,其中 PS 还包括 NLP 小组。";
        // 大写字母字符串正则匹配
        Pattern pattern = Pattern.compile("[A-Z]+");
        Matcher matcher = pattern.matcher(content);
        StringBuffer sbr = new StringBuffer();
        String subString = "";
        
        // 循环判断是否匹配到文本段中的大写字符字符串
        while(matcher.find()) {
            // 取出匹配到的大写字符串
            subString = content.substring(matcher.start(), matcher.end());
            // 使用 正向最大匹配算法 获得翻译后的结果串
            matcher.appendReplacement(sbr,    maxMatching.getMaximumMathcingString(subString));
        }
        // 将剩余字符串拼接到缓存StringBuffer对象尾部
        matcher.appendTail(sbr);
        System.out.println(sbr.toString());
        
        // 测试getMaximumMathcingString()方法
        System.out.println();
        System.out.println(maxMatching.getMaximumMathcingString("PSNNLPPMHRPMDDMD"));
    }
    
    public String getMaximumMathcingString(String toMatchedString) {
        // 打印待分析的字符串
        System.out.println("----------------- " + toMatchedString + " -----------------");
        byte[] toMatchedBytes = toMatchedString.getBytes();
        String result = "";
        int startIndex = 0;
        int offset = MAX_MATCHING_LENGTH;
        while(startIndex < toMatchedBytes.length) {
            // 如果起始索引到字符串末尾的距离 小于 最大匹配长度,则偏移量为
            // 字符串末尾 - 起始索引;
            // 否则,偏移量为 最大匹配长度
            offset = ((startIndex + MAX_MATCHING_LENGTH) > toMatchedBytes.length) ?
                (toMatchedBytes.length - startIndex) : MAX_MATCHING_LENGTH;

            String subString = "";
            // 如果偏移量>0 并且当前子串在语料库中不存在
            while(offset > 0 &&
                    !corpus.containsKey((subString = toMatchedString.substring(startIndex, startIndex + offset)))) {
                -- offset;
            }
            if(offset > 0) { // 子串在语料库中存在
                result += corpus.get(subString);
                startIndex = startIndex + offset;
            }
            else {
                result += subString;
                startIndex = startIndex + 1;
            }
        }
        return result;
    }
}

 PS: 若思路或代码中有误,敬请指正~

 

你可能感兴趣的:(algorithm,Java)