基于trie树词典 的正向最大切分 分词

基于 trie 树词典 的正向最大切分 分词

      构建trie树，初始化词典。

1.       待分词文本预处理。

2.       正向最大切分 查询词典。

3.       分词结果。

待分词文本

按照标点分成独立句子

正向最大匹配 查询词典

初始化词典

词典文件

分词结果

       数据结构及算法设计：

Trie 数据结构：

1.       首字散列，根据汉字的国标区位码，采用哈希函数，定位汉字的在散列表中的序号。

 数据结构：

Hash散列首字。--hash表 hash_map<string, struct> . 首个汉字2（字节）

通过过散列映射到数据结构

 Struct first_hash{

              Int  num_entry;   //入口项个数

        first_hash *first_pointer; //第一项指针

}

       Trie 树索引结点：关键字（2字节）、子树大小（2字节） 子树指针（4字节）

     Struct index_node{

      Char[2];  //存放关键字

      index_node *next; //下一关键字（指向右兄弟的指针）

         int childnum; // 子树大小

      index_node *child_pointer; //子树指针

}

主要操作：

1.       建立trie树：

遍历字典的过程即为，建立trie树的过程。

2.       对trie树的删除，插入操作。和树的合并操作。 合并多个trie树操作。

3.       正向最大匹配算法。

4.       对树的查询操作。

Trie树存在的问题：

1． 数据结构比较复杂，存储空间比较大