python爬虫学习三：python正则表达式

python爬虫学习三：python正则表达式

自己写的一个爬虫：https://github.com/qester/wordpres_Crawler

1、正则表达式基础

a、正则表达式的大致匹配过程：

1、依次拿出表达式和文本中的字符比较

2、如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。

3、如果表达式中有量词或边界，这个过程会稍微有些不同。

b、正则表达式语法学习（参考网页吧）

2、re模块

python通过模块提供正则表达式的支持。使用re的一般步骤是：

s1、先将正则表达式的字符串形式编译成Pattern实例；

s2、然后使用Pattern实例处理文本并获得匹配结果（一个Match实例）；

s3、最后使用Match实例获取信息，进行其他操作。

a、Compile

 re.Compile(strPattern[,flag]):

 这个方法是Pattern类的工厂方法，用于将字符串形式的正则表达式编译为Pattern对象。

 flag参数是匹配模式，取值可以使用按位或运算符"|"表示同时生效，比如re.re.M.

 flag的可选值有：

re.I:忽略大小写

re.M:多行模式

re.S:点任意匹配模式

re.L:

re.U:

re.X:详细模式

b、Match

Match对象是一次匹配的结果，包含了很多关于此次匹配的信息，可以使用Match提供的可读

属性或方法来获取这些信息。

属性：

string：匹配时使用的文本。

re：匹配时使用的Pattern对象。

pos：文本中正则表达式开始搜索的索引。

endpoe：结束搜索的索引

lastindex：最后一个被捕获的分组在文本中的索引。如果没有被捕获的分组，将为None。

lastgroup：最后一个被捕获的分组的别名。如没有，则为None。

方法：

group([group1,....])：

获得一个或多个分组截获的字符串；指定多个参数时将以元组的形式返回。不写参数时返回group(0).

groups([default]):

以元组的形式返回全部分组截获的字符串。

groupdict([default]):

返回以有别名的组的别名为键、以该组截获的子串为值得字典，没有别名的组不包含在内。

start([group])：

返回指定的组截获的子串在string中的起始索引（子串第一个字符的索引）。

end([group]):

返回指定的组截获的子串在string中的结束索引（子串最后一个字符的索引+1）。

span([group]):

返回(stat(group),end(group))。

expand(template):

将匹配到的分组代入template中然后返回。

c、Pattern

Pattern对象是一个编译好的正则表达式，通过Pattern提供的一系列方法可以对文本进行匹配查找。

Pattern不能直接实例化，必须使用re.compile()进行构造，也就是re.compile()返回的对象。

Pattern提供了几个可读属性用于获取表达式的相关信息：

pattern：编译时用的表达式字符串

flags：编译时用的匹配模式，数字形式。

groups：表达式中分组的数量。

groupindex：以表达式中有别名的组的别名为键、以该组对应的编号为值，没有别的别名的组不包含在内。

3、一些Pattern的实例方法：

a、match方法：返回一个match对象

b、search方法：返回一个match对象

c、spilt方法：按照能够匹配的子串将string进行分割后返回列表。

d、findall方法：以列表返回全部能够匹配的子串。

e、finditer方法：返回一个顺序方位每一个匹配结果的迭代器。

f、sub方法：sub(repl,string)：使用repl替换string的每一个匹配的子串后返回替换后的字符串。