Python网络爬虫与信息提取(五):正则表达式和Re库

1.正则表达式

• 通用的字符串表达框架
• 简介表达一组字符串的表达式
• 针对字符串的表达“简介”和“特征”思想的工具
• 判断某字符串的特征归属

在文本处理中的应用

• 表达文本类型的特征(病毒，入侵等)
• 同时查找或替换一组字符串
• 匹配字符串的全部或部分

使用

编译：将符合正则表达式语法的字符串转换成正则表达式特征。

1.正则表达式的语法

正则表达式语法由字符和操作符构成

正则表达式的常用操作符

操作符	说明	实例
.	表示任何单个字符
[ ]	字符集，对单个字符给出取值范围	[abc]表示a、b、c，[a-z]表示a到z单个字符
[^ ]	非字符集，对单个字符给出排除范围	[^abc]表示非a或b或c的单个字符
*	前一个字符0次或无限次扩展	abc*表示ab、abc、abcc、abccc等
+	前一个字符1次或无限次扩展	abc+表示abc、abcc、abccc等
?	前一个字符0次或1次扩展	abc表示ab或者abc
|	左右表达式任意一个	abc|def表示abc,def
{m}	扩展前一个字符m次	ab{2}c表示abbc
{m,n}	扩展前一个字符m至n次(含n)	ab{1,2}c表示abc,abbc
^	匹配字符开头	^abc表示abc且在一个字符串的开头
$	匹配字符结尾	^abc表示abc且在一个字符串的结尾
()	分组标记，内部只能使用|操作符	(abc)表示abc，a(bc|de)表示abc、ade
\d	数字,等价于[0-9]
\w	字母数字下划线，等价于[A-Za-z0-9_]

经典正则表达式实例

^[A-Za-z]+$	由26个字母组成的字符串
^[A-Za-z0-9]+$	由26个字母和数字组成的字符串
^-?\d+$	整数形式的字符串
[1-9]*[0-9][0-9]*	正整数形式的字符串
[1-9]\d{5}	中国境内邮政编码，6位
[\u4e00-\u9fa5]	匹配中文字符
((25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.){3}(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)	ip地址

2.Re库

Re库是python的标准库，主要用于字符串匹配。

正则表达式的标识类型

• raw string类型(原生字符串类型)
  
• string类型，更繁琐
  

主要功能函数

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

re.search()

re.search(pattern, string, flags=0)

在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象

• pattern：正则表达式的字符串或原生字符串的表示
• string：带匹配字符串
• flags=0：正则表达式使用时的控制标记

常用标记	说明
re.IGNORECASE	忽略正则表达式的大小写，[A-Z]能匹配小写字符
re.MULTILINE	正则表达式中的^操作符能够将给定字符串的每行当做匹配开始
re.S	正则表达式中的.操作符能够匹配所有字符包括换行符，默认匹配出换行外的所有字符
re.DOTALL

re.match()

从一个字符串的开始位置起匹配正则表达式，返回match对象
参数同re.search()

re.findall()

搜索字符串，以列表类型返回全部能匹配的子串
参数同re.search()

re.split()

re.split(pattern, string, maxsplit=0, flags=0)
将一个字符串按照正则表达式结果进行分割，返回列表类型

• maxsplit：最大分割数，剩余部分作为最后一个元素输出

参数其他同re.search()

re.finditer()

搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
参数同re.search()

re.sub()

re.sub(pattern, repl, string, count=0, flags=0)
在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

• repl：替换匹配字符串的字符串
• count：匹配的最大替换次数

regex = compile(pattern, flags=0)

将正则表达式的字符串形式编译成正则表达式对象

• pattern：正则表达式的字符串或原生字符表示
• flags：正则表达式使用时的控制标记

生成的正则表达式对象能使用所有re库的主要函数，但是使用时，方法的pattern要去掉

3.Re库的Match对象

Match对象的属性

属性	说明
.string	带匹配的文本
.re	匹配时使用的pattern对象(正则表达式)
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

Match对象的方法

方法	说明
.group(0)	获得匹配后的字符串
.start()	第一次匹配字符串的原始字符串的开始位置
.end()	第一次匹配字符串的原始字符串的结束位置
.span()	返回(.start(),end())

4.Re库的贪婪匹配和最小匹配

贪婪匹配

Re库默认采用贪婪匹配，即输出匹配最长的自串。

	match = re.search(r"PY.*N", "PYABCNDEFNHIJN")
    print(match.group(0))
    #输出结果
    PYABCNDEFNHIJN

最小匹配

	match = re.search(r"PY.*?N", "PYABCNDEFNHIJN")
    print(match.group(0))
    #输出结果
    PYABCN

最小匹配操作符

操作符	说明
*?	前一个字符0次或无限次扩展，最小匹配
+?	前一个字符1次或无限次扩展，最小匹配
??	前一个字符0次或1次扩展，最小匹配
{m,n}?	扩展前一个字符m至n次(含n)，最小匹配