Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配

Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配_第1张图片
本文使用DoubleArrayTrie实现了一个性能极高的Aho Corasick自动机,应用于分词可以取得586万字每秒,约合18MB/s的分词速度。其中词典为150万词,构建耗时1801 ms。以前就在构想将AC自动机与双数组Trie树结合起来,考虑到持久化比较困难(goto和fail表是内存指针/引用),一直没下决心实现,今天终于成功了。AC自动机能高速完成多模式匹配,然而具体实现聪明与否决定最终性能高低。大部分实现都是一个Map<Character, State>了事,无论是TreeMa...

继续阅读:码农场 » Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配

原文链接:http://www.hankcs.com/program/algorithm/aho-corasick-double-array-trie.html

你可能感兴趣的:(Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配)