python re模块

    正则表达式包含一个元字符(metacharacter)的列表，列表值如下:    . ^ $ * + ? { [ ] \ | ( )

　  1.元字符([ ]),它用来指定一个character class。所谓character classes就是你想要匹配的字符(character)的集合.字符(character)可以单个的列出，也可以通过"-"来分隔两个字符来表示一个范围。例如，[abc]匹配a，b或者c当中任意一个字符，[abc]也可以用字符区间来表示---[a-c].如果想要匹配单个大写字母，你可以用[A-Z]。(一个[]只匹配一个字符)

     元字符(metacharacters)在character class里面不起作用，如[akm$]将匹配"a","k","m","$"中的任意一个字符。在这里元字符(metacharacter)"$"就是一个普通字符。

\d 匹配任何十进制数；它相当于类 [0-9]。
\D 匹配任何非数字字符；它相当于类 [^0-9]。
\s 匹配任何空白字符；它相当于类 [ fv]。
\S 匹配任何非空白字符；它相当于类 [^ fv]。
\w 匹配任何字母数字字符；它相当于类 [a-zA-Z0-9_]。
\W 匹配任何非字母数字字符；它相当于类 [^a-zA-Z0-9_]。

     2.元字符[^]. 你可以用补集来匹配不在区间范围内的字符。其做法是把"^"作为类别的首个字符；其它地方的"^"只会简单匹配 "^"字符本身。例如，[^5] 将匹配除 "5" 之外的任意字符。同时，在[ ]外，元字符^表示匹配字符串的开始，如"^ab+"表示以ab开头的字符串。

    举例验证，

>>> m=re.search("^ab+","asdfabbbb")
>>> print m
    None
    >>> m=re.search("ab+","asdfabbbb")
    >>> print m
    <_sre.SRE_Match object at 0x011B1988>
    >>> print m.group()
    abbbb

    上例不能用re.match,因为match匹配字符串的开始，我们无法验证元字符"^"是否代表字符串的开始位置。

    >>> m=re.match("^ab+","asdfabbbb")
    >>> print m
    None
    >>> m=re.match("ab+","asdfabbbb")
    >>> print m
    None

#验证在元字符[]中，"^"在不同位置所代表的意义。
>>> re.search("[^abc]","abcd")  #"^"在首字符表示取反，即abc之外的任意字符。
<_sre.SRE_Match object at 0x011B19F8>
>>> m=re.search("[^abc]","abcd")
>>> m.group()
'd'
>>> m=re.search("[abc^]","^")  #如果"^"在[ ]中不是首字符，那么那就是一个普通字符
>>> m.group()
'^'

不过对于元字符”^”有这么一个疑问.官方文档http://docs.python.org/library/re.html有关元字符”^”有这么一句话，Matches the start

of the string, and in MULTILINE mode also matches immediately after each newline.我理解的是”^”匹配字符串的开始，在MULTILINE模式下，也匹配换行符之后。

　>>> m=re.search("^a\w+","abcdfa\na1b2c3")

   >>> m.group()

　'abcdfa'

　>>> m=re.search("^a\w+","abcdfa\na1b2c3",re.MULTILINE)，

　>>> m.group()  #

　'abcdfa'

我认为flag设定为re.MULTILINE，根据上面那段话，他也应该匹配换行符之后，所以应该有m.group应该有"a1b2c3",但是结果没有，用findall来尝试，可以找到结果。所以这里我理解之所以group里面没有，是因为search和match方法是匹配到就返回，而不是去匹配所有。

　>>> m=re.findall("^a\w+","abcdfa\na1b2c3",re.MULTILINE)

　>>> m

　['abcdfa', 'a1b2c3']

3. 元字符(\),元字符backslash。做为 Python 中的字符串字母，反斜杠后面可以加不同的字符以表示不同特殊意义。

   它也可以用于取消所有的元字符，这样你 就可以在模式中匹配它们了。例如，如果你需要匹配字符 "[" 或 "\"，你可以在它们之前用反斜杠来取消它们的特殊意义： \[ 或 \\  (转义字符)

   4.元字符($),匹配字符串的结尾或者字符串结尾的换行之前。（在MULTILINE模式下，"$"也匹配换行之前）

   正则表达式"foo"既匹配"foo"又匹配"foobar",而"foo$"仅仅匹配"foo".

        　　

　  >>> re.findall("foo.$","foo1\nfoo2\n")#匹配字符串的结尾的换行符之前。
     ['foo2']

　  >>> re.findall("foo.$","foo1\nfoo2\n",re.MULTILINE)
     ['foo1', 'foo2']

　　>>> m=re.search("foo.$","foo1\nfoo2\n")
>>> m
<_sre.SRE_Match object at 0x00A27170>
>>> m.group()
'foo2'
>>> m=re.search("foo.$","foo1\nfoo2\n",re.MULTILINE)
>>> m.group()
'foo1'

     看来re.MULTILINE对$的影响还是蛮大的。

    5.元字符(*),匹配0个或多个

     6.元字符(?)，匹配一个或者0个

     7.元字符(+), 匹配一个或者多个
     8,元字符(|), 表示"或"，如A|B，其中A，B为正则表达式，表示匹配A或者B

     9.元字符({})

10．元字符(.)

　元字符“.”在默认模式下，匹配除换行符外的所有字符。在DOTALL模式下，匹配所有字符，包括换行符。

　>>> import re

　>>> re.match(".","\n")

　>>> m=re.match(".","\n")

　>>> print m

　None

　>>> m=re.match(".","\n",re.DOTALL)

　>>> print m

　<_sre.SRE_Match object at 0x00C2CE20>

　>>> m.group()

　'\n'

   11.元字符(  "( )" ),用来表示一个group的开始和结束。

   比较常用的有(REs),(?PREs),这是无名称的组和有名称的group，有名称的group，可以通过matchObject.group(name)

   获取匹配的group，而无名称的group可以通过从1开始的group序号来获取匹配的组，如matchObject.group(1)。具体应用将在下面的group()方法中举例讲解

下面我们首先来看一下Match Object对象拥有的方法,下面是常用的几个方法的简单介绍

　1.group([group1,…])

　 返回匹配到的一个或者多个子组。如果是一个参数，那么结果就是一个字符串，如果是多个参数，那么结果就是一个参数一个item的元组。group1的默认值为0(将返回所有的匹配值).如果groupN参数为0，相对应的返回值就是全部匹配的字符串，如果group1的值是[1…99]范围之内的,那么将匹配对应括号组的字符串。如果组号是负的或者比pattern中定义的组号大，那么将抛出IndexError异常。如果pattern没有匹配到，但是group匹配到了，那么group的值也为None。如果一个pattern可以匹配多个，那么组对应的是样式匹配的最后一个。另外，子组是根据括号从左向右来进行区分的。

　>>> m=re.match("(\w+) (\w+)","abcd efgh, chaj")

　>>> m.group()            # 匹配全部

　'abcd efgh'

　>>> m.group(1)     # 第一个括号的子组.

　'abcd'

　>>> m.group(2)

　'efgh'

　>>> m.group(1,2)           # 多个参数返回一个元组

　('abcd', 'efgh')

　>>> m=re.match("(?P\w+) (?P\w+)","sam lee")
>>> m.group("first_name")  #使用group获取含有name的子组    ？P + 正则
'sam'
>>> m.group("last_name")
'lee'

 

　下面把括号去掉

　>>> m=re.match("\w+ \w+","abcd efgh, chaj")

　>>> m.group()

　'abcd efgh'

　>>> m.group(1)

　Traceback (most recent call last):

   File "", line 1, in

   m.group(1)

　IndexError: no such group

 

　If a group matches multiple times, only the last match is accessible:

   如果一个组匹配多个，那么仅仅返回匹配的最后一个的。

　>>> m=re.match(r"(..)+","a1b2c3")

　>>> m.group(1)

　'c3'

　>>> m.group()

　'a1b2c3'

　Group的默认值为0，返回正则表达式pattern匹配到的字符串

 

　>>> s="afkak1aafal12345adadsfa"

　>>> pattern=r"(\d)\w+(\d{2})\w"

　>>> m=re.match(pattern,s)

　>>> print m

　None

　>>> m=re.search(pattern,s)

　>>> m

　<_sre.SRE_Match object at 0x00C2FDA0>

　>>> m.group()

　'1aafal12345a'

　>>> m.group(1)

　'1'

　>>> m.group(2)

　'45'

　>>> m.group(1,2,0)

　('1', '45', '1aafal12345a')

  

　2.groups([default])

　返回一个包含所有子组的元组。Default是用来设置没有匹配到组的默认值的。Default默认是"None”,

　>>> m=re.match("(\d+)\.(\d+)","23.123")

　>>> m.groups()

　('23', '123')

　>>> m=re.match("(\d+)\.?(\d+)?","24") #这里的第二个\d没有匹配到，使用默认值"None"

　>>> m.groups()

　('24', None)

　>>> m.groups("0")

　('24', '0')

 

　3.groupdict([default])

　返回匹配到的所有命名子组的字典。Key是name值，value是匹配到的值。参数default是没有匹配到的子组的默认值。这里与groups()方法的参数是一样的。默认值为None

　>>> m=re.match("(\w+) (\w+)","hello world")

　>>> m.groupdict()

　{}

　>>> m=re.match("(?P\w+) (?P\w+)","hello world")

　>>> m.groupdict()

　{'secode': 'world', 'first': 'hello'}

　通过上例可以看出，groupdict()对没有name的子组不起作用

 

正则表达式对象

　re.search(string[, pos[, endpos]])

　扫描字符串string，查找与正则表达式匹配的位置。如果找到一个匹配就返回一个MatchObject对象(并不会匹配所有的)。如果没有找到那么返回None。

　第二个参数表示从字符串的那个位置开始，默认是0

　第三个参数endpos限定字符串最远被查找到哪里。默认值就是字符串的长度。.

　>>> m=re.search("abcd", '1abcd2abcd')
>>> m.group()  #找到即返回一个match object，然后根据该对象的方法，查找匹配到的结果。
'abcd'
>>> m.start()
1
>>> m.end()
5

　>>> re.findall("abcd","1abcd2abcd")
['abcd', 'abcd']

 

　re.split(pattern, string[, maxsplit=0, flags=0])

　用pattern来拆分string。如果pattern有含有括号，那么在pattern中所有的组也会返回。

　>>> re.split("\W+","words,words,works",1)

　['words', 'words,works']

　>>> re.split("[a-z]","0A3b9z",re.IGNORECASE)

　['0A3', '9', '']

　>>> re.split("[a-z]+","0A3b9z",re.IGNORECASE)

　['0A3', '9', '']

　>>> re.split("[a-zA-Z]+","0A3b9z")

　['0', '3', '9', '']

　>>> re.split('[a-f]+', '0a3B9', re.IGNORECASE)#re.IGNORECASE用来忽略pattern中的大小写。

　['0', '3B9']

 

　如果在split的时候捕获了组，并且匹配字符串的开始，那么返回的结果将会以一个空串开始。

　>>> re.split('(\W+)', '...words, words...')

　['', '...', 'words', ', ', 'words', '...', '']

　>>> re.split('(\W+)', 'words, words...')

　['words', ', ', 'words', '...', '']

 

　re.findall(pattern, string[, flags])

　以list的形式返回string中所有与pattern匹配的不重叠的字符串。String从左向右扫描，匹配的返回结果也是以这个顺序。

　Return all non-overlapping matches of pattern in string, as a list of strings. The string is scanned left-to-right, and matches are returned in the order found. If one or more groups are present in the pattern, return a list of groups; this will be a list of tuples if the pattern has more than one group. Empty matches are included in the result unless they touch the beginning of another match.

　>>> re.findall('(\W+)', 'words, words...')

　[', ', '...']

　>>> re.findall('(\W+)d', 'words, words...d')

　['...']

　>>> re.findall('(\W+)d', '...dwords, words...d')

　['...', '...']

 

　re.finditer(pattern, string[, flags])

　与findall类似，只不过是返回list，而是返回了一个叠代器

 

 　我们来看一个sub和subn的例子

　>>> re.sub("\d","abc1def2hijk","RE")

　'RE'

　>>> x=re.sub("\d","abc1def2hijk","RE")

　>>> x

　'RE'

　>>> re.sub("\d","RE","abc1def2hijk",)

　'abcREdefREhijk'

 

　>>> re.subn("\d","RE","abc1def2hijk",)

　('abcREdefREhijk', 2)

　通过例子我们可以看出sub和subn的差别：sub返回替换后的字符串，而subn返回由替换后的字符串以及替换的个数组成的元组。

　re.sub(pattern, repl, string[, count, flags])

   用repl替换字符串string中的pattern。如果pattern没有匹配到，那么返回的字符串没有变化]。Repl可以是一个字符串，也可以是一个function。如果是字符串，如果repl是个方法/函数。对于所有的pattern匹配到。他都回调用这个方法/函数。这个函数和方法使用单个match object作为参数，然后返回替换后的字符串。下面是官网提供的例子:

>>> def dashrepl(matchobj):

...     if matchobj.group(0) == '-': return ' '

...     else: return '-'

>>> re.sub('-{1,2}', dashrepl, 'pro----gram-files')

'pro--gram files'

>>> re.sub(r'\sAND\s', ' & ', 'Baked Beans And Spam', flags=re.IGNORECASE)

'Baked Beans & Spam'

这有个可用标志表，对每个标志后面都有详细的说明。

                                                                                                                                                                                                                                                                                 

标志	含义
DOTALL, S	使 . 匹配包括换行在内的所有字符
IGNORECASE, I	使匹配对大小写不敏感
LOCALE, L	做本地化识别（locale-aware）匹配
MULTILINE, M	多行匹配，影响 ^ 和 $
VERBOSE, X	能够使用 REs 的 verbose 状态，使之被组织得更清晰易懂

I
IGNORECASE

使匹配对大小写不敏感；字符类和字符串匹配字母时忽略大小写。举个例子，[A-Z]也可以匹配小写字母，Spam 可以匹配 "Spam", "spam", 或 "spAM"。这个小写字母并不考虑当前位置。

L
LOCALE

影响 \w, \W, \b, 和 \B，这取决于当前的本地化设置。

locales 是 C 语言库中的一项功能，是用来为需要考虑不同语言的编程提供帮助的。举个例子，如果你正在处理法文文本，你想用 \w+ 来匹配文字，但 \w 只匹配字符类 [A-Za-z]；它并不能匹配 "é" 或 "ç"。如果你的系统配置适当且本地化设置为法语，那么内部的 C 函数将告诉程序 "é" 也应该被认为是一个字母。当在编译正则表达式时使用 LOCALE 标志会得到用这些 C 函数来处理 \w 后的编译对象；这会更慢，但也会象你希望的那样可以用 \w+ 来匹配法文文本。

M
MULTILINE

(此时 ^ 和 $ 不会被解释; 它们将在 4.1 节被介绍.)

使用 "^" 只匹配字符串的开始，而 $ 则只匹配字符串的结尾和直接在换行前（如果有的话）的字符串结尾。当本标志指定后， "^" 匹配字符串的开始和字符串中每行的开始。同样的， $ 元字符匹配字符串结尾和字符串中每行的结尾（直接在每个换行之前）。

S
DOTALL

使 "." 特殊字符完全匹配任何字符，包括换行；没有这个标志， "." 匹配除了换行外的任何字符。

X
VERBOSE

该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。当该标志被指定时，在 RE 字符串中的空白符被忽略，除非该空白符在字符类中或在反斜杠之后；这可以让你更清晰地组织和缩进 RE。它也可以允许你将注释写入 RE，这些注释会被引擎忽略；注释用 "#"号 来标识，不过该符号不能在字符串或反斜杠之后。

举个例子，这里有一个使用 re.VERBOSE 的 RE；看看读它轻松了多少？

#!python
 charref = re.compile(r"""
 &[[]]       # Start of a numeric entity reference
 (
 [0-9]+[^0-9]      # Decimal form
 | 0[0-7]+[^0-7]   # Octal form
 | x[0-9a-fA-F]+[^0-9a-fA-F] # Hexadecimal form
 )
 """, re.VERBOSE)

没有 verbose 设置， RE 会看起来象这样：

#!python
 charref = re.compile("&#([0-9]+[^0-9]"
 "|0[0-7]+[^0-7]"
 "|x[0-9a-fA-F]+[^0-9a-fA-F])")

在上面的例子里，Python 的字符串自动连接可以用来将 RE 分成更小的部分，但它比用 re.VERBOSE 标志时更难懂。

前向界定符

另一个零宽界定符（zero-width assertion）是前向界定符。前向界定符包括前向肯定界定符和后向肯定界定符，所下所示：

(?=...)

前向肯定界定符。如果所含正则表达式，以 ... 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩馀部分还要尝试界定符的右边。

(?!...)

前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功

通过示范在哪前向可以成功有助于具体实现。考虑一个简单的模式用于匹配一个文件名，并将其通过 "." 分成基本名和扩展名两部分。如在 "news.rc" 中，"news" 是基本名，"rc" 是文件的扩展名。

匹配模式非常简单：

.*[.].*$

注意 "." 需要特殊对待，因为它是一个元字符；我把它放在一个字符类中。另外注意后面的 $; 添加这个是为了确保字符串所有的剩馀部分必须被包含在扩展名中。这个正则表达式匹配 "foo.bar"、"autoexec.bat"、 "sendmail.cf" 和 "printers.conf"。

现在，考虑把问题变得复杂点；如果你想匹配的扩展名不是 "bat" 的文件名？一些不正确的尝试：

.*[.][^b].*$

上面的第一次去除 "bat" 的尝试是要求扩展名的第一个字符不是 "b"。这是错误的，因为该模式也不能匹配 "foo.bar"。

.*[.]([^b]..|.[^a].|..[^t])$

当你试着修补第一个解决方法而要求匹配下列情况之一时表达式更乱了：扩展名的第一个字符不是 "b"; 第二个字符不是 "a"；或第三个字符不是 "t"。这样可以接受 "foo.bar" 而拒绝 "autoexec.bat"，但这要求只能是三个字符的扩展名而不接受两个字符的扩展名如 "sendmail.cf"。我们将在努力修补它时再次把该模式变得复杂。

.*[.]([^b].?.?|.[^a]?.?|..?[^t]?)$

在第三次尝试中，第二和第三个字母都变成可选，为的是允许匹配比三个字符更短的扩展名，如 "sendmail.cf"。

该模式现在变得非常复杂，这使它很难读懂。更糟的是，如果问题变化了，你想扩展名不是 "bat" 和 "exe"，该模式甚至会变得更复杂和混乱。

前向否定把所有这些裁剪成：

.*[.](?!bat$).*$

前向的意思：如果表达式 bat 在这里没有匹配，尝试模式的其馀部分；如果 bat$ 匹配，整个模式将失败。后面的 $ 被要求是为了确保象 "sample.batch" 这样扩展名以 "bat" 开头的会被允许。

将另一个文件扩展名排除在外现在也容易；简单地将其做为可选项放在界定符中。下面的这个模式将以 "bat" 或 "exe" 结尾的文件名排除在外。

.*[.](?!bat$|exe$).*$

贪婪 vs 不贪婪

当重复一个正则表达式时，如用 a*，操作结果是尽可能多地匹配模式。当你试着匹配一对对称的定界符，如 HTML 标志中的尖括号时这个事实经常困扰你。匹配单个 HTML 标志的模式不能正常工作，因为 .* 的本质是“贪婪”的

#!python
 >>> s = ''
 >>> len(s)
 32
 >>> print re.match('<.*>', s).span()
 (0, 32)
 >>> print re.match('<.*>', s).group()
 

RE 匹配 在 "" 中的 "<"，.* 消耗掉子符串的剩馀部分。在 RE 中保持更多的左，虽然 > 不能匹配在字符串结尾，因此正则表达式必须一个字符一个字符地回溯，直到它找到 > 的匹配。最终的匹配从 "" 中的 ">",这并不是你所想要的结果。

在这种情况下，解决方案是使用不贪婪的限定符 *?、+?、?? 或 {m,n}?，尽可能匹配小的文本。在上面的例子里， ">" 在第一个 "<" 之后被立即尝试，当它失败时，引擎一次增加一个字符，并在每步重试 ">"。这个处理将得到正确的结果：

#!python
 >>> print re.match('<.*?>', s).group()
 

注意用正则表达式分析 HTML 或 XML 是痛苦的。变化混乱的模式将处理常见情况，但 HTML 和 XML 则是明显会打破正则表达式的特殊情况；当你编写一个正则表达式去处理所有可能的情况时，模式将变得非常复杂。象这样的任务用 HTML 或 XML 解析器。