在几个中文分词中,决定用paoding庖丁分词。
记录使用的一些问题和思路,慢慢更新。
与Lucene和Solr的结合及版本
待续
paoding分词的辞典定制
我的环境ubuntu,win下没有测试.
辞典路径配置:
#1 paoding分词会优先找系统变量export PAODING_DIC_HOME作为辞典目录
#2 如果没有,则找类目录下的文件paoding-dic-home.properties
这个文件里配置了辞典目录和目录配置方式,看注释就行
自己添加辞典:
在辞典目录下,有很多目录,比如local/division等,可以改动并添加自己的词;
自己可以添加文件夹和文件,文件命名为xxx.dic;xxx.dic里可以添加自己应用的辞典;
辞典不起作用?
Paoding会预编译辞典,生成.compiled文件夹;
自己添加的辞典,如果想立即生效,需要删除此文件夹;[其实这还不是本质,但先说到这里;可以去看源码]
另外注意:
1.每次词典修改后,要删掉dic下面的“.compiled ”文件夹,重起solr所在服务器
2.字典必须是UTF-8编码
3.win下不要用记事本打开
4.自己添加的字典中的词语不要太长(我忘记多少长度了),否则会报错:ArrayOutOfBounds
paoding 报错 Array Out Of Bounds
paoding分词的优缺点评述
待续
paoding分词团队及社区开源软件的评述(仅仅为个人之见 --作者别砸我哈 )
#1 文档不太好
其实是基本没有文档,这一点跟国外的或者说标准的开源项目有很大的差别;
看看Apache上的项目,连tutorial都很详细;
#2 测试做的不太好
基本没有完整的unit测试,这样造成的问题是不能持续集成,一个人修改了一个bug,结果引入了另外几个bug;
#3 社区不太好
应该说结构和团队组织不太好,造成想加入没能加入,问题没人回答,成了一个冷清的社区;
-->>当然,原因嘛,国内普遍的现象;谁有时间和精力免费花在这个开源上面呢~
-->>作者别砸我哈~
O
O
O
O
O
O