百科词条比较(3)

3. 中文分词

虽然中文分词工具也很多，但没有一个分词工具能像ICTCLAS那样光芒万丈，而且还是免费的，所以就直接用它了。

我们先看下ICTCLAS犀利的简介 ：

• ICTCLAS在国内973专家组组织的评测中活动获得了第一名，在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名。
• ICTCLAS 2011分词速500KB/s左右，分词精度98.45%，API不超过100KB，各种词典数据压缩后不到3M。
• ICTCLAS全部采用C/C++编写，支持Linux、FreeBSD及Windows系列操作系统，支持C/C++/C#/Delphi/Java等主流的开发语言

单击此处，可以获得ICTCLAS更详细的介绍，想膜拜该作者的童靴可以去新浪微博围观@ICTCLAS张华平博士

使用C#的同学可以从网站上下载 ICTCLAS2011_Windows_32_c ，其中有详细介绍C#接口的文档和Demo.

添加好C#的接口之后，就可以用如下函数进行分词：

ICTCLAS clas = ICTCLAS.GetInstance();

List<ResultTerm> terms = clas.Segment(str);

其中str是string类型的待分词文本，返回的结果中ResultTerm的结构如下：

public struct ResultTerm

{

    public string Word;        //字符串

    public int POS;             //词性标志

    public string POSStr;     //词性说明

}

可以看出，分词返回的结果中并没有词频，这个需要我们自己统计。

在之后计算相似度的过程中，发现去除停用词和只保留词频和字数都大于1的词项后得到的结果，与使用全部词项的结果差不多，所以在分词时就只保留了部分有代表性（非停用词且词频和字数都大于1）的词项，并将剩余的词项按词频降序排序。

分词部分的实现代码如下：

class TermFrequence

{

    private string[] stopWords;   //停用词表

    private BaikeEntry baikeEntry;



    private TermFrequence()

    {

    }



    public TermFrequence(BaikeEntry newBaikeEntry)

    {

        baikeEntry = newBaikeEntry;



         GetTermDic();

         RemoveStopWords();

         GetTermList();  //只保留词频大于1且词项字数大于1的词项

       UpdateTermDic();

        GetTermShow();

    }



    private void GetTermDic()

    {

        ICTCLAS clas = ICTCLAS.GetInstance();

        List<ResultTerm> terms = clas.Segment(baikeEntry.text);



        baikeEntry.wordDic.Clear();

        foreach (ResultTerm term in terms)

        {

            if (baikeEntry.wordDic.ContainsKey(term.Word))

                baikeEntry.wordDic[term.Word] += 1;

            else

                baikeEntry.wordDic.Add(term.Word, 1);

        }

    }



    private void RemoveStopWords()

    {

        //获取停用词表

        StreamReader sr = new StreamReader("stopWords.txt", Encoding.UTF8);

        string tmp = sr.ReadToEnd();

        stopWords = Regex.Split(tmp, @"\r\n");



        //去除停用词

        foreach (string str in stopWords)

        {

            if (baikeEntry.wordDic.ContainsKey(str))

                baikeEntry.wordDic.Remove(str);

        }



        //去除其他字符

        Dictionary<string, int> newDic = new Dictionary<string, int>();

        foreach (KeyValuePair<string, int> dic in baikeEntry.wordDic)

        {

            if (Regex.Replace(dic.Key, @"(?is)\s*", "").Length != 0)

                newDic.Add(dic.Key, dic.Value);

        }

        baikeEntry.wordDic = newDic;

    }



    private void GetTermList()

    {

        baikeEntry.wordList.Clear();



        foreach (KeyValuePair<string, int> dic in baikeEntry.wordDic)

        {

            if (dic.Value > 1 && dic.Key.Length > 1)

                baikeEntry.wordList.Add(new WordFreq(dic.Key, dic.Value));

        }

        baikeEntry.wordList.Sort((a, b) => { return b.freq - a.freq; });

    }



    private void UpdateTermDic()

    {

        baikeEntry.wordDic.Clear();

        foreach (WordFreq wf in baikeEntry.wordList)

            baikeEntry.wordDic.Add(wf.name, wf.freq);

    }



    private void GetTermShow()

    {

        foreach (WordFreq wf in baikeEntry.wordList)

            baikeEntry.allWordFreq += string.Format("{0}:{1}\n", wf.name, wf.freq);

    }

}

-------------------------------------------
作者：兔纸张   来源：博客园 ( http://www.cnblogs.com/geiliCode )