公司内部培训我想讲一讲grep命令的使用,正好网上有一篇文章说GNU grep命令内部字符串匹配算法用的是Boyer-Moore算法,此算法比KMP算法快3到5倍.好,那我们看看KMP算法是如何匹配字符串的。
KMP算法是一种改进的字符串匹配算法,由D.E.Knuth,J.H.Morris和V.R.Pratt同时发现,因此人们称它为克努特——莫里斯——普拉特操作(简称KMP算法)。KMP算法的关键是利用匹配失败后的信息,尽量减少模式串与主串的匹配次数以达到快速匹配的目的。时间复杂度O(m+n)。
为了明白到底KMP算法是如何实现一个字符串的匹配,推荐大家看一下《字符串匹配的KMP算法》
此文章非常清楚明白的讲解了KMP算法的实现过程。
我将此文章的讲解顺序调整一下,再讲一次。
举例来说:
有一个字符串Text—-“BBC_ABCDAB_ABCDABCDABDE”,我想知道,里面是否包含另一个字符串Pattern—“ABCDABD”。
如图:
BBC_ABCDAB_ABCDABCDABDE
ABCDABD
KMP算法也是要从Text的左侧第一位字符开始与要搜索的字符串Pattern左侧的第一位字符开始比较的。
字符串”BBC_ABCDAB_ABCDABCDABDE”的第一个字符与搜索词”ABCDABD”的第一个字符,进行比较。因为B与A不匹配,所以搜索词后移一位。
BBC_ABCDAB_ABCDABCDABDE
ABCDABD
因为B与A不匹配,搜索词再往后移。
BBC_ABCDAB_ABCDABCDABDE
ABCDABD
因为C与A不匹配,搜索词再往后移。
BBC_ABCDAB_ABCDABCDABDE
ABCDABD
因为_与A不匹配,搜索词再往后移。
BBC_ABCDAB_ABCDABCDABDE
ABCDABD
然后,我们发现第一个Pattern的A与Text的A匹配,第二个Pattern的B与Text的B匹配,第三个Pattern的C与Text的C匹配,第四个Pattern的D与Text的D匹配,第五个Pattern的A与Text的A匹配,第六个Pattern的B与Text的B匹配。但是,第七个Pattern的D与Text的_不匹配。
此时,我们最自然的反应是,将搜索词Pattern整个后移一位,再从头逐个比较。这样做虽然可行,但是效率很差,因为你要把”搜索位置”移到已经比较过的位置,重比一遍。
一个基本事实是,当_与D不匹配时,你其实知道前面六个字符是”ABCDAB”。
KMP算法的想法是,设法利用这个已知信息(Pattern),不要把”搜索位置”移回已经比较过的位置,继续把它向后移,并且尽量向后移动更多的位数,减少字符串匹配的次数,提高字符串匹配效率,但是又要避免移动位置过大漏过一些匹配的字符串。
怎么做到这一点呢?KMP算法是针对搜索词,算出一张《部分匹配表》(Partial Match Table)。
Pattern | A | B | C | D | A | B | D |
---|---|---|---|---|---|---|---|
部分匹配值 | 0 | 0 | 0 | 0 | 1 | 2 | 0 |
此部分匹配表后面我们来解释是如何产生的,我们继续讲解KMP算法是如何移动字符串来匹配的。
KMP算法按照下面的公式算出向后移动的位数:
移动位数 = 已匹配的字符数 - 对应的部分匹配值
所以,已知_与D不匹配时,前面六个字符”ABCDAB”是匹配的。查表可知,最后一个匹配字符B对应的”部分匹配值”为2。
那么,此时Pattern字符串向后移动的位数=6-2=4位。
BBC_ABCDAB_ABCDABCDABDE
ABCDABD
此时,已知_与C不匹配时,前面2个字符”AB”是匹配的。查表可知,最后一个匹配字符B对应的”部分匹配值”为0。
那么,此时Pattern字符串向后移动的位数=2-0=2位。
BBC_ABCDAB_ABCDABCDABDE
ABCDABD
因为_与A不匹配,搜索词再往后移。
BBC_ABCDAB_ABCDABCDABDE
ABCDABD
此时,已知C与D不匹配时,前面六个字符”ABCDAB”是匹配的。查表可知,最后一个匹配字符B对应的”部分匹配值”为2。
那么,此时Pattern字符串向后移动的位数=6-2=4位。
BBC_ABCDAB_ABCDABCDABDE
ABCDABD
此时,我们逐位比较,直到搜索词的最后一位,发现完全匹配,于是搜索完成。
如果还要继续搜索(即找出全部匹配),移动位数 = 7 - 0,再将搜索词向后移动7位,这里就不再重复了。
此部分,我们讲解一下部分匹配表是如何得到的。
首先,要了解两个概念:”前缀”和”后缀”。
“前缀”指除了最后一个字符以外,一个字符串的全部头部组合;
“后缀”指除了第一个字符以外,一个字符串的全部尾部组合。
比如,字符串”bread”,
前缀为:b,br,bre,brea
后缀为:d,ad,ead,read
"部分匹配值"就是"前缀"和"后缀"的最长的共有元素的长度
以”ABCDABD”为例,
“部分匹配”的实质是:
有时候,字符串头部和尾部会有重复。比如,”ABCDAB”之中有两个”AB”,那么它的”部分匹配值”就是2(”AB”的长度)。搜索词移动的时候,第一个”AB”向后移动4位(字符串长度-部分匹配值),就可以来到第二个”AB”的位置。
1.字符串匹配的KMP算法
http://www.ruanyifeng.com/blog/2013/05/Knuth%E2%80%93Morris%E2%80%93Pratt_algorithm.html