jieba分词是利用python进行自然语言处理中必不可少的常用工具，添加自定义词典也是jieba分词中的的常用功能。
然而每次运行程序，jieba自定义词典都需要重新加载，添加的自定义词典只对当前程序生效。如果自定义词典的数量比较巨大（百万级及以上），每次重新加载这一步将会耗费很长的时间。
网上找不到相关的持久化解决方案，只会告诉你如何使用jieba.load_userdict，所以我的这个完整的持久化方案也算是全网首发了。
事先准备好自定义词典：
创建一个txt文件，然后写入你的分词，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。类似于如下形式：
沈孟良 360 nr
富民理财睿盈 360 nfp
广发多添富 360 nfp
方案分析：
- 整体的解决方案是将加载了自定义词典的jieba模型存储到本地，每次不用再次加载词典而是直接调用模型。每次启动jieba都可以看到会输出以下信息，说明jieba还是会从缓存中读取一些信息的。
Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 0.474 seconds.
Prefix dict has been built succesfully.
- 可以明确的一点是，我们要查看并修改部分的jieba源码，因为目前的jieba功能不能完全满足我们的需求，所以，把jieba项目clone到本地：
git clone https://github.com/fxsjy/jieba.git
为了防止和系统中已安装的jieba重名，可以把这个文件重命名为jieba_local
- jieba源码中已经定义了一个dict.txt，存放jieba分词的词典，这个词典在init.py的第350行的get_dict_file函数中被调用。而从下面的代码中，我们看到了熟悉的’Loading model from cache‘，另外，可以看出，调用词典的前提是 load_from_cache_fail。
load_from_cache_fail = True
if os.path.isfile(cache_file) and (abs_path == DEFAULT_DICT or
os.path.getmtime(cache_file) > os.path.getmtime(abs_path)):
default_logger.debug(
"Loading model from cache %s" % cache_file)
try:
with open(cache_file, 'rb') as cf:
self.FREQ, self.total = marshal.load(cf)
load_from_cache_fail = False
except Exception:
load_from_cache_fail = True
if load_from_cache_fail:
wlock = DICT_WRITING.get(abs_path, threading.RLock())
DICT_WRITING[abs_path] = wlock
with wlock:
self.FREQ, self.total = self.gen_pfdict(self.get_dict_file())
default_logger.debug(
"Dumping model to file cache %s" % cache_file)
try:
# prevent moving across different filesystems
fd, fpath = tempfile.mkstemp(dir=tmpdir)
with os.fdopen(fd, 'wb') as temp_cache_file:
marshal.dump(
(self.FREQ, self.total), temp_cache_file)
_replace_file(fpath, cache_file)
except Exception:
default_logger.exception("Dump cache file failed.")
try:
del DICT_WRITING[abs_path]
except KeyError:
pass
所以要把我们的自定义词典添加到dict.txt中，并且让之后的每次都成功调用缓存文件，就不会再次加载词典了。Nice!
- jieba的github里面的Readme.txt中给出了：
更改分词器（默认为 jieba.dt）的 tmp_dir 和 cache_file 属性，可分别指定缓存文件所在的文件夹及其文件名，用于受限的文件系统。
这样我们就可以指定jieba缓存的文件夹的文件名了。
方案实施
分析了修改的思路和原理，下面开始实施方案：
- 首先把所有的自定义词典复制，粘贴到jieba_local中的dict.txt文件夹内
- 接着，另外new一个.py文件，随意命名，写入
import jieba_local
jieba_local.dt.tmp_dir = './'
jieba_local.dt.cache_file = 'jieba.temp'
for i in jieba_local.cut('恭喜FPX夺冠啦啦啦啦'):
print(i)
- 运行该代码之后，加载了新的词典，本地文件夹下应该已经生成了名为jieba.temp的缓存文件
- 以后再次运行只需把jieba_local拷贝到项目中，在调用的程序中指定缓存文件的文件夹和路径即可：
jieba_local.dt.tmp_dir = './'
jieba_local.dt.cache_file = 'jieba.temp'
- 可以看到指定路径过后能成功导入缓存模型。模型本身占用比较大的存储空间（我的将近1G），另外加载的速度也比之前要慢，用了28秒多的时间，但是无需再次加载自定义词典，相比于之前的40多秒的加载自定义词典的时间还是缩短了将近一半，算是用空间换时间的方法。
Building prefix dict from the default dictionary ...
Loading model from cache ./jieba.temp
Loading model cost 28.665 seconds.
Prefix dict has been built succesfully.