java正则表达式

 

Java正则表达式

虽然 Java 语言以前的版本支持模式匹配，但 StreamTokenizer 和 StringTokenizer 类却很少涉及用模式能够实现的功能。Java 1.4（以及现在的 1.4.1）发行版在 java.util.regex 包中加入了对使用正则表达式的模式匹配的支持。在 Merlin 的魔力系列的这篇文章中，John Zukowski 向您展示了如何用新的正则表达式库解析字符序列，从而使搜索模式的功能更加强大。 解析模式的文本字符串 正则表达式是根据文本匹配模式的方法 ― 类似于编译器生成类文件的工作原理。编译器在源代码中查找各种模式以便将源代码表达式转换为字节码。通过识别这些源代码模式，编译器能够只将有效的源代码表示转换为已编译的类文件。 回页首 什么是模式？ 在正则表达式的上下文中，模式是字符序列的文本表示法。例如，如果您想知道一个字符序列中是否存在 car这个词，您会使用模式 car，因为这是精确地表示该字符串的方法。对于更复杂的模式，您可以使用特殊字符作为占位符。如果您不是要搜索 car，而是想搜索以字母 c开头并以字母 r结尾的任何文本字符串，您会使用 c*r模式，其中 *代表第一个 r前的任意多个字符。 c*r模式将匹配任何以 c开头并以 r结尾的字符串，如 cougar、 cavalier或 chrysler。 回页首 如何指定模式表达式 模式匹配的主要部分是关于要使用什么样的表达式。 Pattern 先保存要使用的表达式，然后将其传递给 Matcher 类以便在字符序列的上下文中检查其匹配情况。例如，如果您想验证一个电子邮件地址，您可能要检查用户输入是否与这样一个模式匹配 ― 它包含一个字母数字序列，后跟一个 @ 符号，@ 后又跟两组用句点隔开的字符。这可以用表达式 /p{Alnum}+@/w+/./p{Alpha}{2,3} 来表示。（是的，这过于简化了电子邮件地址的结构，可能会排除某些有效的电子邮件地址，但它作为示例已经足够了。） 在讨论模式语言的具体细节之前，我们来仔细看一下 /p{Alnum}+@/w+/./p{Alpha}{2,3} 。 /p{Alnum} 序列表示单个字母数字字符（A 到 Z、a 到 z 或 0 到 9）。 /p{Alnum} 后面的加号（+）被称为 量词（quantifier）。它被应用在表达式的前面部分，表示 /p{Alnum} 必须出现一次或更多次。使用星号（*）表示要出现零次或一次以上（含一次）。@ 就是意味着它必须出现在至少一个字母数字字符之后，这样整个模式匹配才能成功。 /w+ 与 /p{Alnum}+ 类似，但添加了下划线（_）。某些序列有多个表达式。反斜杠（/ .）代表句点。如果前面没有反斜杠，单独一个句点代表任意字符。最后的 /p{Alpha}{2, 3} 表示两个或三个字母字符。 只要学会了规范语言，您就能掌握模式的所有秘密。我们来看一些更常用的表达式的种类： 文字（Literal）：表达式内任何不具有特殊意义的字符都被看作是一个文字，并与自身匹配。 量词（Quantifier）：某些字符或表达式，它们被用来计算一个文字或分组可以在字符序列中出现的次数，以便该序列与表达式匹配。分组是由圆括号内的一组字符指定的。 ? 表示出现一次或根本不出现 * 表示出现零次或一次以上（含一次） + 表示出现一次或多次 字符类（Character class）：一个字符类就是方括号内的一个字符集，其中，匹配可以是括号内的任意一个字符。您可以把字符类与量词结合在一起，例如， [acegikmoqsuwy]* 将是只包含字母表中奇数字母的任意字符序列。某些字符类是预先定义的： /d ― 数字（0 到 9） /D -- 非数字 /s -- 空白字符，如制表符或换行符 /S -- 非空白字符 /w -- 单字字符（a 到 z、A 到 Z、0 到 9 以及下划线） /W -- 非单字字符（其它任意字符） Posix 字符类（Posix character class）：某些字符类仅在用于 US-ASCII 比较时才有效。例如： /p{Lower} ― 小写字符 /p{Upper} ― 大写字符 /p{ASCII} ― 所有 ASCII 字符 /p{Alpha} ― 字母字符（/p{Lower} 与 /p{Upper} 相结合） /p{Digit} ― 从 0 到 9 的数字 /p{Alnum} ― 字母数字字符 范围（Range）：使用短线（dash）来指定包括一定范围字符的字符类。例如， [A-J] 表示从 A 到 J 的大写字母。 否定（Negation）：脱字符（^）否定字符类的内容。例如， [^A-J] 表示除 A 到 J 之外的任何字符。 请参阅 Pattern API 文档（可以从 参考资料找到）了解关于序列的其它详细信息。 回页首 如何有效地使用模式 既然您已经了解了如何指定模式，我们就来使用它们吧。您需要让 Pattern 类编译它们，如下所示。注意，反斜杠字符（/）在 String 常量中需要转义。 Pattern pattern = Pattern.compile( "//p{Alnum}+@//w+//.//p{Alpha}{2,3}"); 有了一个编译好的模式后，您可以使用 Pattern 类根据模式把一个输入行分割为一系列单字，或者使用 Matcher 类执行一些更复杂的任务。下面说明了如何分割输入字符序列，其中使用的模式指定了分隔符，而不是字： String words[] = pattern.split(input); 如果您想在一个字符序列中多次匹配一个模式，上面的代码片段是一个很好的起点。但如果您想获取特定的输入，您将需要 Pattern 的 matcher() 方法。在给定某个输入时，这个方法将返回适当的 Matcher 类。接着，您使用 Matcher 实例遍历整个结果在输入序列中查找不同的模式匹配，或者使用 Matcher 实例作为查找-替换工具（后一种方法更好）： Matcher matcher = pattern.matcher(input); 要根据整个序列匹配模式，请使用 matches() 。要确定是否只有序列的一部分匹配，请使用 find() ： if (matcher.find()) { // Found some string within input sequence // That matched the compiled pattern String match = matcher.group(); // Process matching pattern } 回页首 完整的示例 这两个类（ Pattern 与 Matcher ）就是整个模式匹配库。提出正确的正则表达式，然后使用 Matcher 类的结果，这就是这个模式匹配库要做的全部工作。在针对 Java 语言的关于正则表达式的专门书籍出现之前，请找一本关于 Perl 的好书来进一步了解特定的模式。清单 1 提供了一个完整的示例，该示例将在特定文件中查找从命令行作为输入而传入的最长单词。 清单 1.“最长的单词”示例 import java.io.*; import java.nio.*; import java.nio.channels.*; import java.nio.charset.*; import java.util.*; import java.util.regex.*; public class Longest { public static void main(String args[]) { if (args.length != 1) { System.err.println("Provide a filename"); return; } try { // Map File from filename to byte buffer FileInputStream input = new FileInputStream(args[0]); FileChannel channel = input.getChannel(); int fileLength = (int)channel.size(); MappedByteBuffer buffer = channel.map( FileChannel.MapMode.READ_ONLY, 0, fileLength); // Convert to character buffer Charset charset = Charset.forName("ISO-8859-1"); CharsetDecoder decoder = charset.newDecoder(); CharBuffer charBuffer = decoder.decode(buffer); // Create line pattern Pattern linePattern = Pattern.compile(".*___FCKpd___4quot;, Pattern.MULTILINE); // Create word pattern Pattern wordBreakPattern = Pattern.compile("[//p{Punct}//s}]"); // Match line pattern to buffer Matcher lineMatcher = linePattern.matcher(charBuffer); // Holder for longest word String longest = ""; // For each line while (lineMatcher.find()) { // Get line String line = lineMatcher.group(); // Get array of words on line String words[] = wordBreakPattern.split(line); // Look for longest word for (int i=0, n=words.length; i longest.length()) { longest = words[i]; } } } // Report System.out.println("Longest word: " + longest); // Close input.close(); } catch (IOException e) { System.err.println("Error processing"); } } }

如果你曾经用过Perl或任何其他内建正则表达式支持的语言，你一定知道用正则表达式处理文本和匹配模式是多么简单。如果你不熟悉这个术语，那么“正则表达式”（Regular Expression）就是一个字符构成的串，它定义了一个用来搜索匹配字符串的模式。

许多语言，包括Perl、PHP、Python、JavaScript和JScript，都支持用正则表达式处理文本，一些文本编辑器用正则表达式实现高级“搜索-替换”功能。那么Java又怎样呢？本文写作时，一个包含了用正则表达式进行文本处理的Java规范需求（Specification Request）已经得到认可，你可以期待在JDK的下一版本中看到它。

然而，如果现在就需要使用正则表达式，又该怎么办呢？你可以从Apache.org下载源代码开放的Jakarta-ORO库。本文接下来的内容先简要地介绍正则表达式的入门知识，然后以Jakarta-ORO API为例介绍如何使用正则表达式。

一、正则表达式基础知识

我们先从简单的开始。假设你要搜索一个包含字符“cat”的字符串，搜索用的正则表达式就是“cat”。如果搜索对大小写不敏感，单词“catalog”、“Catherine”、“sophisticated”都可以匹配。也就是说：

1.1 句点符号

假设你在玩英文拼字游戏，想要找出三个字母的单词，而且这些单词必须以“t”字母开头，以“n”字母结束。另外，假设有一本英文字典，你可以用正则表达式搜索它的全部内容。要构造出这个正则表达式，你可以使用一个通配符——句点符号“.”。这样，完整的表达式就是“t.n”，它匹配“tan”、“ten”、“tin”和“ton”，还匹配“t#n”、“tpn”甚至“t n”，还有其他许多无意义的组合。这是因为句点符号匹配所有字符，包括空格、Tab字符甚至换行符：

1.2 方括号符号

为了解决句点符号匹配范围过于广泛这一问题，你可以在方括号（“[]”）里面指定看来有意义的字符。此时，只有方括号里面指定的字符才参与匹配。也就是说，正则表达式“t[aeio]n”只匹配“tan”、“Ten”、“tin”和“ton”。但“Toon”不匹配，因为在方括号之内你只能匹配单个字符：

1.3 “或”符号

如果除了上面匹配的所有单词之外，你还想要匹配“toon”，那么，你可以使用“|”操作符。“|”操作符的基本意义就是“或”运算。要匹配“toon”，使用“t(a|e|i|o|oo)n”正则表达式。这里不能使用方扩号，因为方括号只允许匹配单个字符；这里必须使用圆括号“()”。圆括号还可以用来分组，具体请参见后面介绍。

1.4 表示匹配次数的符号

表一显示了表示匹配次数的符号，这些符号用来确定紧靠该符号左边的符号出现的次数：

假设我们要在文本文件中搜索美国的社会安全号码。这个号码的格式是999-99-9999。用来匹配它的正则表达式如图一所示。在正则表达式中，连字符（“-”）有着特殊的意义，它表示一个范围，比如从0到9。因此，匹配社会安全号码中的连字符号时，它的前面要加上一个转义字符“/”。

图一：匹配所有123-12-1234形式的社会安全号码

假设进行搜索的时候，你希望连字符号可以出现，也可以不出现——即，999-99-9999和999999999都属于正确的格式。这时，你可以在连字符号后面加上“？”数量限定符号，如图二所示：

图二：匹配所有123-12-1234和123121234形式的社会安全号码

下面我们再来看另外一个例子。美国汽车牌照的一种格式是四个数字加上二个字母。它的正则表达式前面是数字部分“[0-9]{4}”，再加上字母部分“[A-Z]{2}”。图三显示了完整的正则表达式。

图三：匹配典型的美国汽车牌照号码，如8836KV

1.5 “否”符号

“^”符号称为“否”符号。如果用在方括号内，“^”表示不想要匹配的字符。例如，图四的正则表达式匹配所有单词，但以“X”字母开头的单词除外。

图四：匹配所有单词，但“X”开头的除外

1.6 圆括号和空白符号

假设要从格式为“June 26, 1951”的生日日期中提取出月份部分，用来匹配该日期的正则表达式可以如图五所示：

图五：匹配所有Moth DD,YYYY格式的日期

新出现的“/s”符号是空白符号，匹配所有的空白字符，包括Tab字符。如果字符串正确匹配，接下来如何提取出月份部分呢？只需在月份周围加上一个圆括号创建一个组，然后用ORO API（本文后面详细讨论）提取出它的值。修改后的正则表达式如图六所示：

图六：匹配所有Month DD,YYYY格式的日期，定义月份值为第一个组

1.7 其它符号

为简便起见，你可以使用一些为常见正则表达式创建的快捷符号。如表二所示：

表二：常用符号

例如，在前面社会安全号码的例子中，所有出现“[0-9]”的地方我们都可以使用“/d”。修改后的正则表达式如图七所示：

图七：匹配所有123-12-1234格式的社会安全号码

二、Jakarta-ORO库

有许多源代码开放的正则表达式库可供Java程序员使用，而且它们中的许多支持Perl 5兼容的正则表达式语法。我在这里选用的是Jakarta-ORO正则表达式库，它是最全面的正则表达式API之一，而且它与Perl 5正则表达式完全兼容。另外，它也是优化得最好的API之一。

Jakarta-ORO库以前叫做OROMatcher，Daniel Savarese大方地把它赠送给了Jakarta Project。你可以按照本文最后参考资源的说明下载它。

我首先将简要介绍使用Jakarta-ORO库时你必须创建和访问的对象，然后介绍如何使用Jakarta-ORO API。

▲ PatternCompiler对象

首先，创建一个Perl5Compiler类的实例，并把它赋值给PatternCompiler接口对象。Perl5Compiler是PatternCompiler接口的一个实现，允许你把正则表达式编译成用来匹配的Pattern对象。

▲ Pattern对象

要把正则表达式编译成Pattern对象，调用compiler对象的compile()方法，并在调用参数中指定正则表达式。例如，你可以按照下面这种方式编译正则表达式“t[aeio]n”：

默认情况下，编译器创建一个大小写敏感的模式（pattern）。因此，上面代码编译得到的模式只匹配“tin”、“tan”、 “ten”和“ton”，但不匹配“Tin”和“taN”。要创建一个大小写不敏感的模式，你应该在调用编译器的时候指定一个额外的参数：

创建好Pattern对象之后，你就可以通过PatternMatcher类用该Pattern对象进行模式匹配。

▲ PatternMatcher对象

PatternMatcher对象根据Pattern对象和字符串进行匹配检查。你要实例化一个Perl5Matcher类并把结果赋值给PatternMatcher接口。Perl5Matcher类是PatternMatcher接口的一个实现，它根据Perl 5正则表达式语法进行模式匹配：

使用PatternMatcher对象，你可以用多个方法进行匹配操作，这些方法的第一个参数都是需要根据正则表达式进行匹配的字符串：

· boolean matches(String input, Pattern pattern)：当输入字符串和正则表达式要精确匹配时使用。换句话说，正则表达式必须完整地描述输入字符串。

· boolean matchesPrefix(String input, Pattern pattern)：当正则表达式匹配输入字符串起始部分时使用。

· boolean contains(String input, Pattern pattern)：当正则表达式要匹配输入字符串的一部分时使用（即，它必须是一个子串）。

另外，在上面三个方法调用中，你还可以用PatternMatcherInput对象作为参数替代String对象；这时，你可以从字符串中最后一次匹配的位置开始继续进行匹配。当字符串可能有多个子串匹配给定的正则表达式时，用PatternMatcherInput对象作为参数就很有用了。用PatternMatcherInput对象作为参数替代String时，上述三个方法的语法如下：

· boolean matches(PatternMatcherInput input, Pattern pattern)

· boolean matchesPrefix(PatternMatcherInput input, Pattern pattern)

· boolean contains(PatternMatcherInput input, Pattern pattern)

三、应用实例

下面我们来看看Jakarta-ORO库的一些应用实例。

3.1 日志文件处理

任务：分析一个Web服务器日志文件，确定每一个用户花在网站上的时间。在典型的BEA WebLogic日志文件中，日志记录的格式如下：

分析这个日志记录，可以发现，要从这个日志文件提取的内容有两项：IP地址和页面访问时间。你可以用分组符号（圆括号）从日志记录提取出IP地址和时间标记。

首先我们来看看IP地址。IP地址有4个字节构成，每一个字节的值在0到255之间，各个字节通过一个句点分隔。因此，IP地址中的每一个字节有至少一个、最多三个数字。图八显示了为IP地址编写的正则表达式：

图八：匹配IP地址

IP地址中的句点字符必须进行转义处理（前面加上“/”），因为IP地址中的句点具有它本来的含义，而不是采用正则表达式语法中的特殊含义。句点在正则表达式中的特殊含义本文前面已经介绍。

日志记录的时间部分由一对方括号包围。你可以按照如下思路提取出方括号里面的所有内容：首先搜索起始方括号字符（“[”），提取出所有不超过结束方括号字符（“]”）的内容，向前寻找直至找到结束方括号字符。图九显示了这部分的正则表达式。

图九：匹配至少一个字符，直至找到“]”

现在，把上述两个正则表达式加上分组符号（圆括号）后合并成单个表达式，这样就可以从日志记录提取出IP地址和时间。注意，为了匹配“- -”（但不提取它），正则表达式中间加入了“/s-/s-/s”。完整的正则表达式如图十所示。

图十：匹配IP地址和时间标记

现在正则表达式已经编写完毕，接下来可以编写使用正则表达式库的Java代码了。

为使用Jakarta-ORO库，首先创建正则表达式字符串和待分析的日志记录字符串：

这里使用的正则表达式与图十的正则表达式差不多完全相同，但有一点例外：在Java中，你必须对每一个向前的斜杠（“/”）进行转义处理。图十不是Java的表示形式，所以我们要在每个“/”前面加上一个“/”以免出现编译错误。遗憾的是，转义处理过程很容易出现错误，所以应该小心谨慎。你可以首先输入未经转义处理的正则表达式，然后从左到右依次把每一个“/”替换成“//”。如果要复检，你可以试着把它输出到屏幕上。

初始化字符串之后，实例化PatternCompiler对象，用PatternCompiler编译正则表达式创建一个Pattern对象：

现在，创建PatternMatcher对象，调用PatternMatcher接口的contain()方法检查匹配情况：

接下来，利用PatternMatcher接口返回的MatchResult对象，输出匹配的组。由于logEntry字符串包含匹配的内容，你可以看到类如下面的输出：

3.2 HTML处理实例一

下面一个任务是分析HTML页面内FONT标记的所有属性。HTML页面内典型的FONT标记如下所示：

程序将按照如下形式，输出每一个FONT标记的属性：

在这种情况下，我建议你使用两个正则表达式。第一个如图十一所示，它从字体标记提取出“"face="Arial, Serif" size="+2" color="red"”。

图十一：匹配FONT标记的所有属性

第二个正则表达式如图十二所示，它把各个属性分割成名字-值对。

图十二：匹配单个属性，并把它分割成名字-值对

分割结果为：

现在我们来看看完成这个任务的Java代码。首先创建两个正则表达式字符串，用Perl5Compiler把它们编译成Pattern对象。编译正则表达式的时候，指定Perl5Compiler.CASE_INSENSITIVE_MASK选项，使得匹配操作不区分大小写。

接下来，创建一个执行匹配操作的Perl5Matcher对象。

假设有一个String类型的变量html，它代表了HTML文件中的一行内容。如果html字符串包含FONT标记，匹配器将返回true。此时，你可以用匹配器对象返回的MatchResult对象获得第一个组，它包含了FONT的所有属性：

接下来创建一个PatternMatcherInput对象。这个对象允许你从最后一次匹配的位置开始继续进行匹配操作，因此，它很适合于提取FONT标记内属性的名字-值对。创建PatternMatcherInput对象，以参数形式传入待匹配的字符串。然后，用匹配器实例提取出每一个FONT的属性。这通过指定PatternMatcherInput对象（而不是字符串对象）为参数，反复地调用PatternMatcher对象的contains()方法完成。PatternMatcherInput对象之中的每一次迭代将把它内部的指针向前移动，下一次检测将从前一次匹配位置的后面开始。

本例的输出结果如下：

3.3 HTML处理实例二

下面我们来看看另一个处理HTML的例子。这一次，我们假定Web服务器从widgets.acme.com移到了newserver.acme.com。现在你要修改一些页面中的链接：

执行这个搜索的正则表达式如图十三所示：

图十三：匹配修改前的链接

如果能够匹配这个正则表达式，你可以用下面的内容替换图十三的链接：

注意#字符的后面加上了$1。Perl正则表达式语法用$1、$2等表示已经匹配且提取出来的组。图十三的表达式把所有作为一个组匹配和提取出来的内容附加到链接的后面。

现在，返回Java。就象前面我们所做的那样，你必须创建测试字符串，创建把正则表达式编译到Pattern对象所必需的对象，以及创建一个PatternMatcher对象：

接下来，用com.oroinc.text.regex包Util类的substitute()静态方法进行替换，输出结果字符串：

Util.substitute()方法的语法如下：

这个调用的前两个参数是以前创建的PatternMatcher和Pattern对象。第三个参数是一个Substiution对象，它决定了替换操作如何进行。本例使用的是Perl5Substitution对象，它能够进行Perl5风格的替换。第四个参数是想要进行替换操作的字符串，最后一个参数允许指定是否替换模式的所有匹配子串（Util.SUBSTITUTE_ALL），或只替换指定的次数。

【结束语】在这篇文章中，我为你介绍了正则表达式的强大功能。只要正确运用，正则表达式能够在字符串提取和文本修改中起到很大的作用。另外，我还介绍了如何在Java程序中通过Jakarta-ORO库利用正则表达式。至于最终采用老式的字符串处理方式（使用StringTokenizer，charAt，和substring），还是采用正则表达式，这就有待你自己决定了。