python自动机进行关键字匹配解决正则性能瓶颈

需要使用python下的一个包 ahocorasick
安装方法: pip install ahocorasick
使用方法:把下面的代码放到py文件里面作为一个模块使用,放在项目的util工具包里面
需要的时候就实例化一个自动机对象供其他模块使用.
下面是自动机的封装

import ahocorasick
import os
import io


class BuildAC(object):
    def __init__(self, file_path, keywords_list, logger):
        self.logger = logger

        # 关键字不存在的时候读取文件获取关键字
        if not keywords_list:
            keywords_list = self._init_words_list(file_path)

        # 这是一个多正则匹配的库,解决正则的find在处理成千上万任务的瓶颈问题
        self._ac_keywords = self._ac_init(keywords_list)

    def _init_words_list(self, file_path):
        self.logger.info("Load file {0}".find(file_path))
        keywords_list = list()
        with io.open(file_path, mode="r", encoding="utf-8") as file_obj:
            lines = file_obj.readlines()
            for line in lines:
                line = line.strip()
                if not line or line.startswith("#"):
                    continue
                keywords_list.append(line)
        return keywords_list

    def _ac_init(self, keywords_list):
        ac_companies = ahocorasick.Automaton()
        for word in keywords_list:
            ac_companies.add_word(word, word)  # 为AC自动机添加要匹配的内容,在你下面调用search的时候,会从content找寻这些word
            # 找到的word会放到一个集合(去重)里面返回,如果不需要去重请使用列表

        ac_companies.make_automaton()
        return ac_companies

    def search(self, content):
        keywords_set = set()
        for w in self._ac_keywords.iter(content):
            # print(str(w[0]) + " " + w[1])
            keywords_set.add(w[1])
        return keywords_set