【读书】正则指引-1-字符组

正则表达式的历史

      正则表达式发源于与计算机密切相关的两个领域：计算理论和形式语言。20世纪40年代，两位神经生理学家 Warren McCulloch 和 Walter Pitts 研究出一种数学方式来描述神经网络的的办法，他们把神经系统中的神经元描述成小而简单的自动控制单元。1956年，数学家 Stephen Cole Kleene 在他们研究的基础上，发表了一篇名为“神经网络事件的表示法”的论文，在其中，他采用了一些称之为“正则集合（regular set）”的数学符号来描述神经网络模型。
      之后，UNIX 的主要发明人 Ken Thompson 将这个符号系统引入了文本编辑器 QED（意思是“在文本中搜索某种模式”），正则表达式由此也进入了计算机世界。随后 Ken Thompson 又将正则表达式引入了 UNIX 下的文本编辑器 ed ，ed 最后演化为大家熟悉的 grep （grep 得名自 ed 编辑器中的正则表达式搜索命令 g/re/p ，其中的 re 表示“正则表达式”）。

正则表达式应用领域

• 文本处理（日志分析）
• 查找和修改源码
• 运维领域和自动化领域中通过编程语言 sed/awk、Perl/Python/Ruby 等使用
• 工具软件（如 Vi、Emacs、UltraEdit）
• Web 服务器（如 Apache 和 Nginx）

正则表达式的目标用户

对“正则表达”有需要的人：

• 经常需要进行文本处理（如日志分析或网络运维）的技术人员。
• 熟悉常用开发语言的程序员。
• 对正则表达式已经有一点了解的人。

字符组

      字符组（Character Class）是正则表达式最基本的结构之一。表示“在同一个位置可能出现的各种字符”，写法是在一对方括号 [ 和 ] 之间列出所有可能出现的字符。
      举例：[ab]、[314]、[#.?] 等
      字符组中的字符排列顺序并不影响字符组的功能，出现重复字符也不会影响。但一般不推荐在字符组中出现重复字符，并且应该让字符组中的字符排列更符合人类的认知习惯，比如 [12345] 。
      范围表示法：就是用 [x-y] 的形式表示 x 到 y 整个范围内的字符，而无需一一列出。
      在字符组中可以同时并列多个 “- 范围表示法”。例如，[0-9a-zA-Z] 可以匹配数字、大写字母或小写字母；字符组 [0-9a-fA-F] 可以用来验证十六进制字符；字符组 [\x00-\x7F] 表示所有 ASCII 码字符。

常用的 ASCII 码表。

注：

• 正则表达式处理的都是“字符串”而不是“字符”。
• 客观上讲，Perl 是正则表达式处理最方便的编程语言。
• 范围表示法是根据字符对应的码值来确定由 - 所约束的范围的，要求码值小的字符在前，码值大的字符在后。所以 [0-9] 等价于 [0123456789] ，而 [9-0] 则会导致错误。

元字符

      在字符组中的横线 - 并不能匹配横线字符，而是用来表示范围，这类字符叫做元字符。元字符在匹配中都有特殊的意义。但是有些时候我们可能不需要元字符的特殊意义，而是需要它们仅表示普通字符，此时就需要进行特殊的处理。
元字符包括：

• 开方括号 [ ，闭方括号 ] ；
• 定位到字符串起始的 ^ ，定位到字符串结束的 $ ；
• 匹配除换行符之外的任何字符的 . ；
• 范围标示符 - ；
• 排除型字符组中的脱字符 ^ 。

元字符的特殊处理

      字符组中的 - ，如果它紧邻着字符组中的开方括号 [ ，那么它就是普通字符，其他情况下都是元字符；而对于其他元字符，取消特殊含义的做法都是转义，也就是在正则表达式中的元字符之前加上反斜线字符 \ 。
如果要在字符组内部使用横线 - 作为普通字符进行匹配，最好的办法是将它排列在字符组的最开头。若不排列在最开头，则也要使用反斜线字符进行转义。例如，[-09] 表示包含三个字符 - 、0、9 的字符组；而 [0-9] 是包含 0~9 这10 个字符的字符组。
      如果希望在字符组中列出闭方括号 ] ，比如 [012]345] ，就必须在它之前使用反斜线转义，写成 [012\]345] 。
      如果希望匹配开方括号 [ ，例如只希望匹配字符串 [123] ，而不是将其作为字符组进行匹配，则必须书写为如下形式 \[123] 。

正则表达式转义与字符串转义

      在程序中，正则表达式是以字符串的方式提供的，而字符串本身也有关于转义的规定（例如字符串中的 \n 等）。所以，其实我们真正书写的“正则表达式”实际上是经过“字符串转义处理”之后的字符串的值。例如，我们想要换一种方式表达包含三个字符 0、-、9的字符组，原理上讲只需要写成 [0\-9] 的形式，但因为在实际代码中，我们的正则表达式是以字符串形式书写的，即应该是 “[0\-9]” 这种形式，而在字符串中，反斜线和其后的字符会被当做是转义序列（Escape Sequence）处理，而实际情况是 \- 又不是一个合法的转义序列。所以结论是，我们需要将以字符串形式书写的正则表达式中的每个反斜线字符 \ ，再次通过 \ 进行转义，即写成 \\ 。所以，用于代码中的、正确的正则表达式应该写成 “[0\\-9]” 。

排除型字符组

      在方括号 […] 中列出希望匹配的所有字符，这种字符组叫做“普通字符组”。而排除型字符组非常类于普通字符组，只是在开方括号 [ 之后紧跟一个脱字符 ^ ，写作 [^…] ，表示“在当前位置，匹配一个没有列出的字符”。所以 [^0-9] 表示“0~9 之外的字符”，也就是“非数字字符”。
      注意，排除型字符组必须匹配一个字符。
      在排除型字符组中， ^ 是一个元字符，但只有它紧跟在 [ 之后才是元字符，如果想表示“在这个字符组中可以出现 ^ 字符”，不要让它紧挨着 [ 即可，否则就需要转义。注意以下 3 中形式的异同：

^[^012]$
^[0^12]$
^[\^012]$

字符组简记法

      对于常用的字符组，例如 [0-9] 、[a-z] 等字符组，正则表达式提供了更简单的记法，即字符组简记法。常见的字符组简记法有 \d 、\w 、\s 。其中 \d 等价于 [0-9] ，d代表数字；\w 等价于 [0-9a-zA-Z] ，w 代表单词字符；\s 等价于 [ \t\r\n\v\f] （第一个字符为空格），s 表示空白字符。
      一般印象中，单词字符似乎只包含大小写字母，但是字符简记法中的“单词字符”不只有大小写单词，还包括数字字符和下划线 _ 。若在进行数据验证时，要求只容许“数字和字母”，则不应该使用 \w 来验证。
字符简记法可以单独出现，也可以使用在字符组中，例如 [0-9a-zA-Z] 可以写成 [\da-zA-Z] ；[^0-9] 可以写成 [^\d] 。
      相对于 \d 、\w 、\s 这三个普通的字符组简记法，\D 、\W 、\S 对应了排除型字符组的简记法。两组简记法为互补关系：即 \s 能匹配的字符，\S 一定不能匹配。利用这种互补特性，可以得到一些非常巧妙的效果，例如 [\s\S] 字符组可以表示匹配所有字符。
注意：

• 许多正则表达式的文档说，点号 . 能匹配“任意字符”，但在默认情况下，点号其实不能匹配换行符。
• 如果字符组中出现了字符组简记法，最好不要出现单独的 - ，否则可能引起错误，比如 [\d-a] 就让人很迷惑。
• 以上说的 \d 、\w 、\s 的匹配规则对是针对 ASCII 编码而言，也叫 ASCII 匹配规则。

POSIX 字符组

      在某些文档中，你会发现类似 [:digit:] 、[:lower:] 之类的字符组，它们其实就是 POSIX 字符组。如果需要在 Linux/UNIX 下的各种工具（sed 、awk 、grep 等）中使用正则表达式，最好了解这个东东。
前面介绍的字符组，都属于 Perl 衍生出来的正则表达式流派，该流派叫做 PCRE 。除此之外还有其他流派，比如 POSIX 规范中定义的正则表达式规范。
      常见的 [a-z] 形式的字符组，在 POSIX 规范中仍然获得支持，其准确名称为 POSIX 方括号表达式，主要用在 UNIX/Linux 系统中。
      POSIX 方括号表达式与之前所说的字符组的最主要区别是：在 POSIX 字符组中，反斜线 \ 不是用来转义的，所以 POSIX 方括号表达式 [\d] 只能匹配 \ 和 d 两个字符，而不是 [0-9] 对应的数字字符。
      POSIX 方括号表达式中关于特殊意义字符的转义规定：如果要在字符组中表达字符 ] （而不是作为字符组的结束标志），应当让它紧跟在字符组的开方括号之后，所以 []a] 能匹配的字符就是 ] 或 a ；如果要在字符组中表示字符 -（而不是范围表示法），就必须将它放在字符组的闭方括号之前，所以 [a-] 能匹配的字符就是 a 或 - 。
      POSIX 规范中有一个重要概念：locale（语言环境），它是一组与语言和文化相关的设定，包括日期格式、货币币值、字符编码等。POSIX 字符组的意义会根据 locale 的变化而变化。

总结

      本篇将《正则指引》的第一章内容进行了概括总结，下次讲解正则表达式中的量词。

参考资料

《正则指引》：余晟。