字符串匹配是计算机的基本任务之一。
一、KMP 算法简介
举例来说,有一个字符串"BBC ABCDAB ABCDABCDABDE",我想知道,里面是否包含另一个字符串"ABCDABD"?许多算法可以完成这个任务,Knuth-Morris-Pratt算法(简称KMP)是最常用的之一。
KMP 算法是由三位老前辈(D.E.Knuth,J.H.Morris 和 V.R.Pratt )的研究结果,该算法巧妙之处在于避免重复遍历的情况,全称叫做克努特-莫里斯-普拉特算法,简称 KMP 算法,D.E.Knuth,编写了《计算机程序设计艺术》写完了第四卷,这部著作被誉为计算机领域中的“相对论”。
二、算法核心
前缀后缀的概念
以字符串 “bread”为例
前缀的概念:指除了最后一个字符以外,一个字符串的全部头部组合。 b,br,bre,brea
后缀的概念:指除了第一个字符以外,一个字符串的全部尾部组合。 read,ead,ad,d
部分匹配值的计算
"部分匹配值"就是"前缀"和"后缀"的 最长的交集 的长度。以"ABCDABD"为例,
- "A"的前缀和后缀都为空集,没有交集,长度为0;
- "AB"的前缀为[A],后缀为[B],没有交集,长度为0;
- "ABC"的前缀为[A, AB],后缀为[BC, C],没有交集,长度为0;
- "ABCD"的前缀为[A, AB, ABC],后缀为[BCD, CD, D],没有交集,为0;
- "ABCDA"的前缀为[A, AB, ABC, ABCD],后缀为[BCDA, CDA, DA, A],最长的交集为"A",长度为1;
- "ABCDAB"的前缀为[A, AB, ABC, ABCD, ABCDA],后缀为[BCDAB, CDAB, DAB, AB, B],最长的交集为"AB",长度为2;
- "ABCDABD"的前缀为[A, AB, ABC, ABCD, ABCDA, ABCDAB],后缀为[BCDABD, CDABD, DABD, ABD, BD, D],没有交集,长度为0;
务必要理解上图的 部分匹配值 串
三、开始算法
1.
首先,字符串"BBC ABCDAB ABCDABCDABDE"的第一个字符与搜索词"ABCDABD"的第一个字符,进行比较。因为B与A不匹配,所以搜索词后移一位。
2.
3.
4.
5.
6.
这时,最自然的反应是BF算法(暴力),将搜索词整个后移一位,再从头逐个比较。这样做虽然可行,但是效率很差,因为你要要一位一位的移动。
能不能多多移动几位呢?
我前面都比较那么久了,一个基本事实是,当空格与D不匹配时,你其实知道前面六个字符是"ABCDAB"。
7.开始体现KMP算法的魅力!
KMP算法的想法是,设法利用这个已知信息,多 移动几位!
怎么做到这一点呢?可以针对搜索词,算出一张《部分匹配表》(Partial Match Table)。
8.移动位数 = 已匹配的字符数 - 对应的部分匹配值
已知空格与D不匹配时,前面六个字符"ABCDAB"是匹配的,已匹配的字符数=6。查表可知,最后一个匹配字符B对应的"部分匹配值"=2,
因此按照公式算出向后移动的位数:6 - 2 等于4,所以将搜索词向后移动4位。
9.
因为空格与C不匹配,搜索词还要继续往后移。这时,已匹配的字符数=2("AB"),对应的"部分匹配值"为0。所以,移动位数 = 2 - 0,结果为 2,于是将搜索词向后移2位。
10.
11.
逐位比较,直到发现C与D不匹配。于是,移动位数 = 6 - 2,继续将搜索词向后移动4位。
12.
逐位比较,直到搜索词的最后一位,发现完全匹配,于是搜索完成。
如果还要继续搜索(即找出全部匹配),移动位数 = 7 - 0,再将搜索词向后移动7位,不再赘述。
def same_start_end(s):
"""最长前后缀相同的字符位数"""
n = len(s) #整个字符串长度
j = 0 # 前缀匹配指向
i = 1 # 后缀匹配指向
result_list=[0]*n
while i < n:
if j == 0 and s[j] != s[i]: # 比较不相等并且此时比较的已经是第一个字符了
result_list[i] = 0 # 值为0
i += 1 # 向后移动
elif s[j] != s[i] and j != 0: #比较不相等,将j值设置为j前一位的result_list中的值,为了在之前匹配到的子串中找到最长相同前后缀
j = result_list[j-1]
elif s[j] == s[i]: #相等则继续比较
result_list[i] = j+1
j = j+1
i = i+1
return result_list
def kmp(s,p):
"""kmp算法,s是字符串,p是模式字符串,返回值为匹配到的第一个字符串的第一个字符的索引,没匹配到返回-1"""
s_length = len(s)
p_length = len(p)
i = 0 # 指向s
j = 0 # 指向p
next = same_start_end(p)
while i < s_length:
if s[i] == p[j]: # 对应字符相同
i += 1
j += 1
if j >= p_length: # 完全匹配
return i-p_length
elif s[i] != p[j]: # 不相同
if j == 0: # 与模式比较的是模式的第一个字符
i += 1
else: # 取模式当前字符之前最长相同前后缀的前缀的后一个字符继续比较
j = next[j]
if i == s_length: # 没有找到完全匹配的子串
return -1
参考原文:http://www.ruanyifeng.com/blog/2013/05/Knuth–Morris–Pratt_algorithm.html
参考了 阮一峰 文章中大量的内容,并根据自己的理解情况作了调整。感谢!