中文分句的解决方案

诸神缄默不语-个人CSDN博文目录

1. 手写规则，通过标点符号分句

我的写法参考自https://github.com/bojone/bert4keras/blob/master/bert4keras/snippets.py#L336。原函数除直接分句之外，还可以实现按照标点符号在指定长度下进行chunk（指定长度，到该长度就找标点符号进行截断）

def text_segmentate(text, maxlen, seps='\n', strips=None):
    """将文本按照标点符号划分为若干个短句
    """
    text = text.strip().strip(strips)
    if seps and len(text) > maxlen:
        pieces = text.split(seps[0])
        text, texts = '', []
        for i, p in enumerate(pieces):
            if text and p and len(text) + len(p) > maxlen - 1:
                texts.extend(text_segmentate(text, maxlen, seps[1:], strips))
                text = ''
            if i + 1 == len(pieces):
                text = text + p
            else:
                text = text + p + seps[0]
        if text:
            texts.extend(text_segmentate(text, maxlen, seps[1:], strips))
        return texts
    else:
        return [text]

sentences=text_segmentate(original_text,1,'。：（）；:“”，,')

2. 引号内算一句话

代码来自https://github.com/GLZ1925/-

#coding:utf-8
import re

text = "“喂！路明非！你给我站住！”叔叔追了出来，在走廊尽头冲他低吼。路明非实在没时间让他兴师问罪了，只好说：“叔叔我真有事得先走，什么事以后再说！”叔叔可不听他说，跑过来一把抓住他的手：“你小子给我说老实话？是不是在外面惹事了？我看外面都是警车还有流氓，他们都是冲你来的？”“没……没有……”路明非想辩解。“你小子真不是骗我们说上学其实跑日本来混黑道了吧？”叔叔瞪着他。“真不是，这事儿一时没法解释……”叔叔从屁股后面摸出金利来的钱包，打开来夹层里有几张日圆钞票，大概一万多的样子。他把那张万圆大钞塞进路明非手里：“叔叔不知道你惹了什么麻烦，你们年轻人见的世面大，有些事不愿告诉我们大人，我问也没用。我以前也惹过事跑过路，跑路身上千万得有现金！银行卡信用卡跑车都没用！”"
def normal_cut_sentence(text):
    text = re.sub('([。！？\?])([^’”])',r'\1\n\2',text)#普通断句符号且后面没有引号
    text = re.sub('(\.{6})([^’”])',r'\1\n\2',text)#英文省略号且后面没有引号
    text = re.sub('(\…{2})([^’”])',r'\1\n\2',text)#中文省略号且后面没有引号
    text = re.sub('([.。！？\?\.{6}\…{2}][’”])([^’”])',r'\1\n\2',text)#断句号+引号且后面没有引号
    return text.split("\n")

def cut_sentence_with_quotation_marks(text):
    p = re.compile("“.*?”")
    list = []
    index = 0
    length = len(text)
    for i in p.finditer(text):
        temp = ''
        start = i.start()
        end = i.end()
        for j in range(index, start):
            temp += text[j]
        if temp != '':
            temp_list = normal_cut_sentence(temp)
            list += temp_list
        temp = ''
        for k in range(start, end):
            temp += text[k]
        if temp != ' ':
            list.append(temp)
        index = end
    return list

if __name__ == '__main__':
    print(cut_sentence_with_quotation_marks(text))

输出：
['“喂！路明非！你给我站住！”', '叔叔追了出来，在走廊尽头冲他低吼。', '路明非实在没时间让他兴师问罪了，只好说：', '“叔叔我真有事得先走，什么事以后再说！”', '叔叔可不听他说，跑过来一把抓住他的手：', '“你小子给我说老实话？是不是在外面惹事了？我看外面都是警车还有流氓，他们都是冲你来的？”', '“没……没有……”', '路明非想辩解。', '“你小子真不是骗我们说上学其实跑日本来混黑道了吧？”', '叔叔瞪着他。', '“真不是，这事儿一时没法解释……”', '叔叔从屁股后面摸出金利来的钱包，打开来夹层里有几张日圆钞票，大概一万多的样子。', '他把那张万圆大钞塞进路明非手里：', '“叔叔不知道你惹了什么麻烦，你们年轻人见的世面大，有些事不愿告诉我们大人，我问也没用。我以前也惹过事跑过路，跑路身上千万得有现金！银行卡信用卡跑车都没用！”']

3. spacy包

其实也是按标点符号分句

import spacy

nlp = spacy.load("zh_core_web_sm")
nlp.add_pipe('sentencizer', name='sentence_segmenter', before='parser')

doc = nlp(original_text)
for sent in doc.sents:
	print(sent.text)  #就是这句话