高效Java实现敏感词过滤算法工具包

2.0版本提供更高效的标点符号的判断跳过过程

旧版请参考本人2011年博文：高效Java敏感词、关键词过滤工具包_过滤非法词句

本文是Java敏感词过滤的原理以及工具包的提供地址，原理：基于多叉树的查找。

第一步：把敏感词读入搜索多叉树中，

树结构：

 

第二步，对需过滤的句子进行逐字匹配：

比如句子：解放了全中国

1、记录起始位置start=0，读到了“解”，匹配了搜索树中起始节点的的“解”字；

2、继续读入“放”，又匹配了搜索树中的下一节点的“放”字，此时其子节点的isEnd为true，即当前为一敏感词的结束位，则把当前匹配长度2放入临时变量length；

3、继续第2步，直到map中找不到相匹配的字；

4、如果length>0把从start到start+length的字符替换为“*”，从start+length重新开始第1步；

5、如果length=0，从start+1开始第1步。

本算法对纯文本匹配执行效率已改进到：5000字5毫秒（2400敏感词库）

　　　　　　　　　　　　　　　　　　　　　　　　　张人杰　2017.7.20

下载地址：点击打开链接

程序已考虑了标点符号间隔的情况，自动处理标点符号间隔的关键词：

3.0版本加入了正向词汇配置表和反向词汇配置表，扫描过程还是顺序一次，但正向词汇和反向词汇有交叉时，以等级值大的为准，从而顺利解决了江阴毛纺厂问题。

支持作者，请打赏：