为了将帖子显示到关注点相同的用户面前，打算根据关注点相关的关键词对帖子进行分类。
考虑关注点不是很多，在发帖时就对关键词进行检索分类，然后将分类关系保存在 DB 里。
具体实现上偷懒通过自定义词典配置关键词，采用 PostgreSQL 的全文检索功能对帖子内容分词识别。
安装 zhparser 中文分词扩展
1.安装SCWS
2.下载zhparser源码
3.编译和安装zhparser
5.创建extension
具体可参照官网，不过由于年久失修的缘故给出的命令遗漏了部分字符（比如 http: 后的 //），参考 GitHub反而更方便。
创建词典
- 分词词典
默认的分词有时不能满足需求，所以需要将自己的专有词汇以扩展词典的方式加入postgresql.conf（具体参考 zhparser 说明）
zhparser.extra_dicts = 'dict_extra.txt,mydict.xdb'
- 未添加自定义分词词典
=> select * from ts_debug('testzhcfg', '约翰惠特沃斯');
alias | description | token | dictionaries | dictionary | lexemes
-------+-------------+-------+-------------------------+------------+---------
n | noun | 约翰 | {thesaurus_test,simple} | simple | {约翰}
n | noun | 惠特 | {thesaurus_test,simple} | simple | {惠特}
n | noun | 沃斯 | {thesaurus_test,simple} | simple | {沃斯}
(3 rows)
- 添加自定义分词词典后
=> select * from ts_debug('testzhcfg', '约翰惠特沃斯');
alias | description | token | dictionaries | dictionary | lexemes
-------+-------------+--------------+-------------------------+------------+----------------
n | noun | 约翰惠特沃斯 | {thesaurus_test,simple} | simple | {约翰惠特沃斯}
(1 row)
- 同义词词库
虽然自定义分词词典优先度比系统的高，但遇到 中文+英文+数字 的复合词汇时仍然无法作为一个整体正常解析为一个词，而是会分成多个词。这样就用同义词词库将多个词构成的 短语 重新定义为目标词。
/*
* 中文环境为主，英文单词均精确匹配，未使用 Ispell 及 Snowball 词典
* 为减少大写写差异导致同义词库条目增加，使用 Simple 词典
*/
CREATE TEXT SEARCH DICTIONARY thesaurus_test (
TEMPLATE = thesaurus,
DictFile = thesaurus_test,
Dictionary = pg_catalog.simple
);
- 未添加同义词词典（同义词库用 ts_debug 调试可能不准，具体参见文档）
=> select * from to_tsvector('testzhcfg', '毛瑟g98');
to_tsvector
------------------
'g98':2 '毛瑟':1
(1 row)
- 添加同义词词库后
=> select * from to_tsvector('testzhcfg', '毛瑟g98');
to_tsvector
-------------
'毛瑟g98':1
(1 row)
配置解析
CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser);
/*
* 为防止遗漏造成同义词库匹配失败，将所有词性全部映射
* 为保留同义词库未匹配项，增加 Simple 字典的映射
*/
ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z WITH thesaurus_test,simple;
代码逻辑
- 在分类表中增加 TSQUERY 类型字段指定关键词
- 提交帖子时将帖子内容分词后和关键词进行匹配
to_tsvector('testzhcfg', '帖子内容') @@ TSQUERY字段
- 保存帖子和匹配到分类间的关系
至此成功达到目的。
附注：
其他参考
SCWS 中文分词词性标注
PostgreSQL 官方文档 概念相关
PostgreSQL 官方文档 命令相关-
常用调试命令
- 调试 dictionary
由于输入被当做单独标记，所以没法针对 thesaurus 的 phrase 进行调试
- 调试 dictionary
select ts_lexize(dictionary, text)
- 调试 parser
select * from ts_debug(config, text)
- 调试 config
select to_tsvector(config, text)
select plainto_tsquery(config, text)
- 查看 parser 支持的词性
select * from ts_token_type(parser);