中文分句的解决方案

诸神缄默不语-个人CSDN博文目录

文章目录

  • 1. 手写规则,通过标点符号分句
  • 2. 引号内算一句话
  • 3. spacy包

1. 手写规则,通过标点符号分句

我的写法参考自https://github.com/bojone/bert4keras/blob/master/bert4keras/snippets.py#L336。原函数除直接分句之外,还可以实现按照标点符号在指定长度下进行chunk(指定长度,到该长度就找标点符号进行截断)

def text_segmentate(text, maxlen, seps='\n', strips=None):
    """将文本按照标点符号划分为若干个短句
    """
    text = text.strip().strip(strips)
    if seps and len(text) > maxlen:
        pieces = text.split(seps[0])
        text, texts = '', []
        for i, p in enumerate(pieces):
            if text and p and len(text) + len(p) > maxlen - 1:
                texts.extend(text_segmentate(text, maxlen, seps[1:], strips))
                text = ''
            if i + 1 == len(pieces):
                text = text + p
            else:
                text = text + p + seps[0]
        if text:
            texts.extend(text_segmentate(text, maxlen, seps[1:], strips))
        return texts
    else:
        return [text]

sentences=text_segmentate(original_text,1,'。:();:“”,,')

2. 引号内算一句话

代码来自https://github.com/GLZ1925/-

#coding:utf-8
import re

text = "“喂!路明非!你给我站住!”叔叔追了出来,在走廊尽头冲他低吼。路明非实在没时间让他兴师问罪了,只好说:“叔叔我真有事得先走,什么事以后再说!”叔叔可不听他说,跑过来一把抓住他的手:“你小子给我说老实话?是不是在外面惹事了?我看外面都是警车还有流氓,他们都是冲你来的?”“没……没有……”路明非想辩解。“你小子真不是骗我们说上学其实跑日本来混黑道了吧?”叔叔瞪着他。“真不是,这事儿一时没法解释……”叔叔从屁股后面摸出金利来的钱包,打开来夹层里有几张日圆钞票,大概一万多的样子。他把那张万圆大钞塞进路明非手里:“叔叔不知道你惹了什么麻烦,你们年轻人见的世面大,有些事不愿告诉我们大人,我问也没用。我以前也惹过事跑过路,跑路身上千万得有现金!银行卡信用卡跑车都没用!”"
def normal_cut_sentence(text):
    text = re.sub('([。!?\?])([^’”])',r'\1\n\2',text)#普通断句符号且后面没有引号
    text = re.sub('(\.{6})([^’”])',r'\1\n\2',text)#英文省略号且后面没有引号
    text = re.sub('(\…{2})([^’”])',r'\1\n\2',text)#中文省略号且后面没有引号
    text = re.sub('([.。!?\?\.{6}\…{2}][’”])([^’”])',r'\1\n\2',text)#断句号+引号且后面没有引号
    return text.split("\n")

def cut_sentence_with_quotation_marks(text):
    p = re.compile("“.*?”")
    list = []
    index = 0
    length = len(text)
    for i in p.finditer(text):
        temp = ''
        start = i.start()
        end = i.end()
        for j in range(index, start):
            temp += text[j]
        if temp != '':
            temp_list = normal_cut_sentence(temp)
            list += temp_list
        temp = ''
        for k in range(start, end):
            temp += text[k]
        if temp != ' ':
            list.append(temp)
        index = end
    return list

if __name__ == '__main__':
    print(cut_sentence_with_quotation_marks(text))

输出:
['“喂!路明非!你给我站住!”', '叔叔追了出来,在走廊尽头冲他低吼。', '路明非实在没时间让他兴师问罪了,只好说:', '“叔叔我真有事得先走,什么事以后再说!”', '叔叔可不听他说,跑过来一把抓住他的手:', '“你小子给我说老实话?是不是在外面惹事了?我看外面都是警车还有流氓,他们都是冲你来的?”', '“没……没有……”', '路明非想辩解。', '“你小子真不是骗我们说上学其实跑日本来混黑道了吧?”', '叔叔瞪着他。', '“真不是,这事儿一时没法解释……”', '叔叔从屁股后面摸出金利来的钱包,打开来夹层里有几张日圆钞票,大概一万多的样子。', '他把那张万圆大钞塞进路明非手里:', '“叔叔不知道你惹了什么麻烦,你们年轻人见的世面大,有些事不愿告诉我们大人,我问也没用。我以前也惹过事跑过路,跑路身上千万得有现金!银行卡信用卡跑车都没用!”']

3. spacy包

其实也是按标点符号分句

import spacy

nlp = spacy.load("zh_core_web_sm")
nlp.add_pipe('sentencizer', name='sentence_segmenter', before='parser')

doc = nlp(original_text)
for sent in doc.sents:
	print(sent.text)  #就是这句话

你可能感兴趣的:(编程学习笔记,Python,NLP,自然语言处理,分句,序列标注)