敏感词过滤，PHP实现的Trie树
[转载]敏感词过滤，PHP实现的Trie树
原文地址：http://blog.11034.org/2012-07/trie_in_php.html
项目需求，要做敏感词过滤，对于敏感词本身就是一个CRUD的模块很简单，比较麻烦的就是对各种输入的敏感词检测了。用Trie树来实现是比较通用的一种办法吧，之前一直没机会用过这种数据结构，正好试着写了一下。
因为用PHP实现，关联数组用的很舒服。第一个要解决的是字符集的问题，如果在Java中就比较好办统一的Unicode，在PHP中因为常用 UTF-8字符集，默认有1-4个字节不同的长度来表示一个字符，于是写了个Util类来将普通的UTF-8字符串转换成字符数组，每一个元素是一个 UTF-8串形成的字符。这一点比较容易实现的，根据UTF-8字符集的格式而来就好。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
|
public
static
function
get_chars(
$utf8_str
){
$s
=
$utf8_str
;
$len
=
strlen
(
$s
);
if
(
$len
== 0)
return
array
();
$chars
=
array
();
for
(
$i
= 0;
$i
<
$len
;
$i
++){
$c
=
$s
[
$i
];
$n
= ord(
$c
);
if
((
$n
>> 7) == 0){
//0xxx xxxx, asci, single
$chars
[] =
$c
;
}
else
if
((
$n
>> 4) == 15){
//1111 xxxx, first in four char
if
(
$i
<
$len
- 3){
$chars
[] =
$c
.
$s
[
$i
+ 1].
$s
[
$i
+ 2].
$s
[
$i
+ 3];
$i
+= 3;
}
}
else
if
((
$n
>> 5) == 7){
//111x xxxx, first in three char
if
(
$i
<
$len
- 2){
$chars
[] =
$c
.
$s
[
$i
+ 1].
$s
[
$i
+ 2];
$i
+= 2;
}
}
else
if
((
$n
>> 6) == 3){
//11xx xxxx, first in two char
if
(
$i
<
$len
- 1){
$chars
[] =
$c
.
$s
[
$i
+ 1];
$i
++;
}
}
}
return
$chars
;
}
|
字符单位确认以后，就是写Trie树了。简单的算法，从根路径开始给每个字符建一个关联数组，当字符串结束的时候，用一个null表示结尾。
删除一个串，只要找到串中任意一个字符的子元素数量为1，就表示只有这个串了，整个删除就好了；若子元素数量大于1，则继续根据字符找下去，直到末尾的null。
查找一个串（完全匹配），一直根据字符找到null为止就表明存在，任一字符不存在就表明串不存在。
验证一个长串是否含有任一串，这边算法比较挫，按照每个字符开始都在Trie树种搜索一遍，走的回头路比较多，复杂度有O(n * m)，n为长串长度，m为Trie树深度，不过因为中文Trie树深度很浅，勉强还过得去（英文字符串深度很长）。
然后因为PHP没有全局缓存的机制，每次都要从数据库中读取全部的敏感词，然后建立Trie树再去匹配串的话太麻烦了，采取的办法是将Trie内部 的关联数组序列化后直接保存在数据库中，每次只要读取这条数据，然后反序列化，Trie树就回来了。当然进行串的插入和删除，将更新这个序列化数据。
可改进的地方：
- 当某一条路径只有这个串即关联数组数量为1时，可以压缩子树
- 改进Trie树为AC自动机，即每个节点都添加一个失败指针，指向匹配失败后回到树的哪个节点，这样就仅仅是O(n)的复杂度了。建树的过程比较复杂，对每个插入的串的子串进行处理，运行时查询的效率非常高
贴代码：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
|
class
TrieTree{
public
$tree
=
array
();
public
function
insert(
$utf8_str
){
$chars
= &UTF8Util::get_chars(
$utf8_str
);
$chars
[] = null;
//串结尾字符
$count
=
count
(
$chars
);
$T
= &
$this
->tree;
for
(
$i
= 0;
$i
<
$count
;
$i
++){
$c
=
$chars
[
$i
];
if
(!
array_key_exists
(
$c
,
$T
)){
$T
[
$c
] =
array
();
//插入新字符，关联数组
}
$T
= &
$T
[
$c
];
}
}
public
function
remove(
$utf8_str
){
$chars
= &UTF8Util::get_chars(
$utf8_str
);
$chars
[] = null;
if
(
$this
->_find(
$chars
)){
//先保证此串在树中
$chars
[] = null;
$count
=
count
(
$chars
);
$T
= &
$this
->tree;
for
(
$i
= 0;
$i
<
$count
;
$i
++){
$c
=
$chars
[
$i
];
if
(
count
(
$T
[
$c
]) == 1){
//表明仅有此串
unset(
$T
[
$c
]);
return
;
}
$T
= &
$T
[
$c
];
}
}
}
private
function
_find(&
$chars
){
$count
=
count
(
$chars
);
$T
= &
$this
->tree;
for
(
$i
= 0;
$i
<
$count
;
$i
++){
$c
=
$chars
[
$i
];
if
(!
array_key_exists
(
$c
,
$T
)){
return
false;
}
$T
= &
$T
[
$c
];
}
return
true;
}
public
function
find(
$utf8_str
){
$chars
= &UTF8Util::get_chars(
$utf8_str
);
$chars
[] = null;
return
$this
->_find(
$chars
);
}
public
function
contain(
$utf8_str
,
$do_count
= 0){
$chars
= &UTF8Util::get_chars(
$utf8_str
);
$chars
[] = null;
$len
=
count
(
$chars
);
$Tree
= &
$this
->tree;
$count
= 0;
for
(
$i
= 0;
$i
<
$len
;
$i
++){
$c
=
$chars
[
$i
];
if
(
array_key_exists
(
$c
,
$Tree
)){
//起始字符匹配
$T
= &
$Tree
[
$c
];
for
(
$j
=
$i
+ 1;
$j
<
$len
;
$j
++){
$c
=
$chars
[
$j
];
if
(
array_key_exists
(null,
$T
)){
if
(
$do_count
){
$count
++;
}
else
{
return
true;
}
}
if
(!
array_key_exists
(
$c
,
$T
)){
break
;
}
$T
= &
$T
[
$c
];
}
}
}
if
(
$do_count
){
return
$count
;
}
else
{
return
false;
}
}
public
function
contain_all(
$str_array
){
foreach
(
$str_array
as
$str
){
if
(
$this
->contain(
$str
)){
return
true;
}
}
return
false;
}
public
function
export(){
return
serialize(
$this
->tree);
}
public
function
import(
$str
){
$this
->tree = unserialize(
$str
);
}
}
|