自动补全(智能提示)原理与实现

     自动补全,英文叫autocomplete,好像也叫智能提示,就是用户在输入框敲一个字符会弹出下拉列表提示候选词给用户,方便用户输入,提升用户体验。

      


      网上多是JS如何实现,用ajax请求拿到数据就可以了,这里分享一下后台实现的一些思路。如果对性能和效果要求不高的话,可以直接在数据库中用like的方式去匹配候选词集合;或者在一个检索系统上也可以通过查询前缀来facet结果,例如在solr中,可以直接URL上用select?fl=id,name&rows=0&q=*:*&facet=true&facet.field={$title}&facet.mincount=1&facet.prefix={$input} 方式进行查询,其中{$input} 是你需要自动提示的前缀,{$title}是对某个字段进行提示。

      如果对性能要求高,可以用solr的suggest component,其中用的就是lucene-suggest的Lookup实现,其中有好几种实现,都是要从solr的索引数据中遍历词表构建相应数据结构,配置可以到http://www.solr.cc/blog/?p=1025看下。

      但几种实现都没有拼音提示中文的,如果需要按我们拼写习惯实现一些提示,可能就要自己动手了。对一个词语例如”上海”,我们需要对shanghai任意一个前缀都能匹配到,那么很容易就想到,对拼音建立一个字典树,那么任意前缀串都能找回这个完整的拼音串,当然也包括其他的可能,当我们找回这个拼音串,就可以找回原来的中文来。所以构建检索库的顺序是:

     1. 中文拼音串转换,“上海”->shanghai ,“北京”-> beijing,“伤害”-> shanghai ……,于是我们可以得到“shanghai”->[上海, 伤害, 商海...], “beijing”-> [北京, 背景...] 这样的映射表M。

     2. 拼音串建立字典树T,可以直接利用lucene-suggest的Lookup的实现,比如FSTCompletion。

     3. 对任意一个英文串,先到字典树T上查找出所有的原始拼音,然后到映射表M中找回中文,根据需要进行一些排序,比如这个query被查过的次数等等我们想要的排序方式。

如果是中文串,可以直接进行第2步, 或者转换成拼音后再做。中文词也可以进行一些辅音抽取比如北京也允许用bj搜。

如果只有头一两个字符,可能会在T上找到很多很多原串出来,所以字典树最好也能进行一些排序,FSTCompletion中就有权重设置,按中文长度越短的权重越大。

      取出几十个前缀之后再在M中找回中文再排序,这个过程每次都要进行似乎比较浪费,能不能省掉?其实每次的结果都是固定的,只要在建立字典树的时候预先把排序做好了就可以了,比如shanghai 在其所有子串上都有一个[上海, 伤害, 商海...]排序好的列表,shang在其所有子串有一个[上级,商品,上海...]这样的。这样的话只要查到任何一个拼音前缀都能立马返回结果,提高效率。不过在实现上要稍微注意否则容易出错:对任一个拼音,其前缀串都跟着一个列表的引用,如果遇到重复的,就重新生成一个列表替换前面所有的引用,比如shanghai的所有8个前缀串都是[上海],但是有个新词shang 那么前5个串变成[上, 上海], 而shanghai的shangh,shangha,shanghai还是原来的。这个空间消耗也不小,所有可能的前缀至少要跟着一个引用,如果字符串多,那么生成大量的引用需要也非常占空间,字典树的实现也很消耗空间。在试过几种办法以后目前最省的办法,还是拼音串直接用hash查,value是这些诸如[上, 上海] 列表的引用,(64位JVM上引用是8字节,实际value是存一个int下标更省,key查询用trove高性能高节约) 。搞得有点复杂了,但查询性能肯定没问题。如果还想简单点,直接把“上海”分开成成shanghai, shangha,...s 之类的碎片进行lucene或solr索引也成。其实那1.2.3步性能也很够用了,还简单点。


你可能感兴趣的:(搜索开发)