许多算法可以完成这个任务,Knuth-Morris-Pratt算法(简称KMP)是最常用的之一。它以三个发明者命名,起头的那个K就是著名科学家Donald Knuth。
这种算法不太容易理解,网上有很多解释,但读起来都很费劲。直到读到Jake Boxer的文章,我才真正理解这种算法。下面,我用自己的语言,试图写一篇比较好懂的KMP算法解释。
1.
首先,字符串"BBC ABCDAB ABCDABCDABDE"的第一个字符与搜索词"ABCDABD"的第一个字符,进行比较。因为B与A不匹配,所以搜索词后移一位。
2.
因为B与A不匹配,搜索词再往后移。
3.
就这样,直到字符串有一个字符,与搜索词的第一个字符相同为止。
4.
接着比较字符串和搜索词的下一个字符,还是相同。
5.
直到字符串有一个字符,与搜索词对应的字符不相同为止。
6.
这时,最自然的反应是,将搜索词整个后移一位,再从头逐个比较。这样做虽然可行,但是效率很差,因为你要把"搜索位置"移到已经比较过的位置,重比一遍。
7.
一个基本事实是,当空格与D不匹配时,你其实知道前面六个字符是"ABCDAB"。KMP算法的想法是,设法利用这个已知信息,不要把"搜索位置"移回已经比较过的位置,继续把它向后移,这样就提高了效率。
8.
怎么做到这一点呢?可以针对搜索词,算出一张《部分匹配表》(Partial Match Table)。这张表是如何产生的,后面再介绍,这里只要会用就可以了。
9.
已知空格与D不匹配时,前面六个字符"ABCDAB"是匹配的。查表可知,最后一个匹配字符B对应的"部分匹配值"为2,因此按照下面的公式算出向后移动的位数:
移动位数 = 已匹配的字符数 - 对应的部分匹配值
因为 6 - 2 等于4,所以将搜索词向后移动4位。
10.
因为空格与C不匹配,搜索词还要继续往后移。这时,已匹配的字符数为2("AB"),对应的"部分匹配值"为0。所以,移动位数 = 2 - 0,结果为 2,于是将搜索词向后移2位。
11.
因为空格与A不匹配,继续后移一位。
12.
逐位比较,直到发现C与D不匹配。于是,移动位数 = 6 - 2,继续将搜索词向后移动4位。
13.
逐位比较,直到搜索词的最后一位,发现完全匹配,于是搜索完成。如果还要继续搜索(即找出全部匹配),移动位数 = 7 - 0,再将搜索词向后移动7位,这里就不再重复了。
14.
下面介绍《部分匹配表》是如何产生的。
首先,要了解两个概念:"前缀"和"后缀"。 "前缀"指除了最后一个字符以外,一个字符串的全部头部组合;"后缀"指除了第一个字符以外,一个字符串的全部尾部组合。
15.
"部分匹配值"就是"前缀"和"后缀"的最长的共有元素的长度。以"ABCDABD"为例,
- "A"的前缀和后缀都为空集,共有元素的长度为0;
- "AB"的前缀为[A],后缀为[B],共有元素的长度为0;
- "ABC"的前缀为[A, AB],后缀为[BC, C],共有元素的长度0;
- "ABCD"的前缀为[A, AB, ABC],后缀为[BCD, CD, D],共有元素的长度为0;
- "ABCDA"的前缀为[A, AB, ABC, ABCD],后缀为[BCDA, CDA, DA, A],共有元素为"A",长度为1;
- "ABCDAB"的前缀为[A, AB, ABC, ABCD, ABCDA],后缀为[BCDAB, CDAB, DAB, AB, B],共有元素为"AB",长度为2;
- "ABCDABD"的前缀为[A, AB, ABC, ABCD, ABCDA, ABCDAB],后缀为[BCDABD, CDABD, DABD, ABD, BD, D],共有元素的长度为0。
16.
"部分匹配"的实质是,有时候,字符串头部和尾部会有重复。比如,"ABCDAB"之中有两个"AB",那么它的"部分匹配值"就是2("AB"的长度)。搜索词移动的时候,第一个"AB"向后移动4位(字符串长度-部分匹配值),就可以来到第二个"AB"的位置。
(完)
文档信息
- 版权声明:自由转载-非商用-非衍生-保持署名 | Creative Commons BY-NC-ND 3.0
- 原文网址:http://www.ruanyifeng.com/blog/2013/05/Knuth–Morris–Pratt_algorithm.html
- 最后修改时间:2013年9月18日 15:42
package com.liwt.algorithm.pattern; /** * KMP算法的Java实现例子与测试、分析 * * @author likebamboo * @create 2013-10-15 * @see http://www.ruanyifeng.com/blog/2013/05/Knuth–Morris–Pratt_algorithm.html * */ public class KMP { /** * 对子串加以预处理,从而找到匹配失败时子串回退的位置 找到匹配失败时的最合适的回退位置,而不是回退到子串的第一个字符,即可提高查找的效率 * 因此为了找到这个合适的位置,先对子串预处理,从而得到一个回退位置的数组 * * @param sub * 待处理的子串 * @return */ public static int[] next(String sub) { char[] c = sub.toCharArray(); int length = sub.length(); int[] p = new int[length]; p[0] = 0; int j = 0; // 每循环一次,就会找到一个回退位置 for (int i = 1; i < length; i++) { // 当找到第一个匹配的字符时,即j>0时才会执行这个循环 // 或者说p2中的j++会在p1之前执行(限于第一次执行的条件下) // p1 while (j > 0 && c[j] != c[i]) { j = p[j]; } // p2,由此可以看出,只有当子串中含有重复字符时,回退的位置才会被优化 if (c[j] == c[i]) { j++; } // 找到一个回退位置j,把其放入P[i]中 p[i] = j; } return p; } /** * KMP实现 * * @param parStr * @param subStr * @return */ public static void kmp(String parStr, String subStr) { int subSize = subStr.length(); int parSize = parStr.length(); char[] A = parStr.toCharArray(); char[] B = subStr.toCharArray(); int[] P = next(subStr); int j = 0; int k = 0; for (int i = 0; i < parSize; i++) { // 当找到第一个匹配的字符时,即j>0时才会执行这个循环 // 或者说p2中的j++会在p1之前执行(限于第一次执行的条件下) // p1 while (j > 0 && B[j] != A[i]) { // 找到合适的回退位置 j = P[j - 1]; } // p2 找到一个匹配的字符 if (B[j] == A[i]) { j++; } // 输出匹配结果,并且让比较继续下去 if (j == subSize) { j = P[j - 1]; k++; System.out.printf("Find subString '%s' at %d\n", subStr, i - subSize + 1); } } System.out.printf("Totally found %d times for '%s'.\n\n", k, subStr); } public static void main(String[] args) { // next数组为P[0, 0, 0 , 0, 1, 2, 0] kmp("BBC ABCDAB ABCDABCDABDE", "ABCDABD"); // next数组为P[0, 0, 1, 2, 3, 4] kmp("Test ititi ititit! Test ititit!这个会匹配2次", "ititit"); // next数组为P[0, 0, 0] kmp("测试汉字的匹配,崔卫兵。这个会匹配1次", "崔卫兵"); // next数组为P[0, 0, 0, 1, 2, 3, 4, 5, 6] kmp("这个会匹配0次", "it1it1it1"); } }