python爬虫入门篇——正则表达式

上一篇爬虫入门文章：python爬虫——入门

前面的话

声明：由于本文拒绝以任何形式进行盈利，仅供学习研究使用！转载请注明文章来源。

对于爬虫本身的安全问题：用于个人使用或科研范畴，基本不存在问题。
数据用于商业盈利，那么就事而论，可能违法，可能不违法。

对于学习：建议收藏（狗头保命），可以多看看相关的文章，笔者是看着MOOC的嵩天老师的课学习的。然后一定要多敲代码，不可眼高手低，遇到不懂的首先是自己查，去百度，多看几篇文章，或者去那些学习交流群里问。

re库官方介绍：https://docs.python.org/zh-cn/3/library/re.html
正则表达式在线测试|菜鸟教程

正则表达式是干什么的？

在爬虫领域，常用来解析网页时进行字符串的匹配。

一、 正则表达式的概念

  正则表达式是用来简洁表达一组字符串的表达式。表示了一组字符串的特点。或者说是表示一组符合某种逻辑的字符串的公式。正则表达式由字符和操作符构成。
  通常用来匹配字符串。

二、 正则表达式的语法

正则表达式的使用：
编译：将符合正则表达式的语法的字符串编译成某个特征变量。比如：p = re.compile(regex),这个特征与一组字符串是对应的。
正则表达式的语法：
正则表达式是由字符和操作符构成，我们先看看常用的操作符有什么。

操作符	说明	实例
.	表示任意单个字符
[ ]	匹配其中任意单个字符	[abc]表示a、b、c，[a-z]表示a到z单个字符
[^ ]	非字符集 ，对单个字符给出排除范围	[^abc]
*	前一个字符0次或无限次扩展	abc*表示ab、abc、abcc等
+	前一个字符1次或无线次扩展	abc+表示abc、abcc、abccc等
?	前一个字符0次或1次扩展	abc?表示ab或abc
丨	左右表达式任意一个	abc丨def表示abc、def
{m}	扩展前一个字符m次	ab{2}表示abbc
{m,n}	扩展前一个字符m至n此(包含n)	ab{1,2}c 表示abc或abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头
$	匹配字符串的结尾	&abc表示abc且在一个字符串的结尾
( )	分组标记，内部只能使用丨操作符	(abc)表示abc，(abc丨def)表示abc、def
\d	数字，等价于[0-9]
\w	单词字符，等价于[A-Za-z0-9_] （注意包括下划线）

例子：

正则表达式	对应的字符串
p(y|yt|yth|thon)?n	‘pn’、‘pyn’、‘pythn’、‘python’
python+	‘python’、‘pythonn’、‘pythonnn’…
py|[^th]on	‘pyon’ 、‘pyaon’、‘pybon’、‘pycon’…
^ [A-Za-z]+$	由26位字母组成的字符串
^ [A-Za-z0-9]+$	由26位字母和数字组成的字符串
^ -?d+$	整数形式的字符串
^ [1-9]*[1-9][0-9] *$	正整数形式的字符串
[1-9]\d{5}	中国境内邮政编码，6位
[\ue400-\u9fa5]	匹配中文字符
\d{3}-\d{8}|\d{4}-\d{7}	国内电话号码,010-12341234

三、Re库的基本使用

Re库，也叫正则表达式库。（python的标准库，不需要额外安装）

3.1 基本使用

正则表达式的表示类型：

1. raw string类型（原生字符串类型）：r 'text'
   例如:r '[1-9]\d{5}'
   raw string 是不包含转义字符的字符串
2. string类型（更繁琐）:'[1-9]\\d{5}'(当有转义符的时候，需要额外加一个反斜杠)
   re库主要的功能函数：

函数	说明
re.search()	在字符串中扫描搜索可以匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串的开始位置起匹配正则表达式，返回match对象，如果起始位置不匹配返回none
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

(1). re.search(pattern,string,flags = 0)
返回字符串中搜索匹配正则表达式的第一个位置，返回match对象

• pattern：正则表达式的字符串或原生字符串表示
• string：待匹配字符串
• flags：正则表达式使用时的控制标记
  flags常用的标记：

常用标记	说明
re.I re.IGNORECASE	忽略正则表达式的大小写，[A-Z] 能够匹配的小写字符串
re.M re.MULTILINE	正则表达式中的^操作符能够将给定字符串的每行作为匹配开始
re.S re.DOTALL	正则表达式中的 . 操作符能够匹配所有字符，默认匹配除换行外的所有字符

（2）. re.findall(pattern,string,flags=0)
搜索字符串，以列表类型返回全部能匹配的子串。

• pattern：正则表达式的字符串或原生字符串表示
• string：待匹配字符串
• flags：正则表达式使用时的控制标记
  (同re.search()、re.match()相同)

(3).re.split(pattern,string,maxsplit=0,flags=0)
将一个字符串按照正则表达式匹配结果进行分割，返回列表类型。

• pattern：正则表达式的字符串或原生字符串表示
• string：待匹配字符串
• maxsplit:最大分分割数，剩余部分作为最后一个元素输出
• flags：正则表达式使用时的控制标记

(4). re.finditer(pattern,string,flags=0)
搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素都是match对象

• pattern：正则表达式的字符串或原生字符串表示
• string：待匹配字符串
• flags：正则表达式使用时的控制标记
  (5).re.sub(pattern,repl,string,count=0,flags=0)
  在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串
• pattern：正则表达式的字符串或原生字符串表示
• repl:替换匹配字符串的字符串
• string：待匹配字符串
• count:匹配替换的最大次数
• flags：正则表达式使用时的控制标记

补充：regex = re.compile(pattern,flags=0)
如:rst = re.compile(r'[1-9]\d{5}')
将正则表达式的字符串形式编译成正则表达式对象

• pattern:正则表达式的字符串或原生字符串表示
• flags:正则表达式使用时的控制标记

Re库的等价用法：

函数式用法：一次性操作
rst = re.search(r'[1-9]\d{5}','BIT 100081')

面向对象用法：编译后的多次操作
pat = re.compile(r'[1-9]\d{5}')#先写一个pat对象
rst = pat.search('BIT 100081')

3.2 Re库的match对象

1.match对象是一次匹配返回的结果，包含很多信息
2.match对象的属性

属性	说明
.string	待匹配的文本
.re	匹配时使用的pattern对象（正则表达式）
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

3.match对象的方法

方法	说明
.group(0）	获得匹配后的字符串
.start()	匹配字符串在原始字符串的开始位置
.end()	匹配值非常在原始字符串的结束位置
.span()	返回(.start()，.end())

3.3 Re库的贪婪匹配，最小匹配

Re库默认情况下为贪婪匹配，输出匹配最长的子串
例：

match = re.search(r'PY.*N','PYANBNCNDNEN')
match.group(0)的结果是'PYANBNCNDNEN'
这是若想输出最小匹配，就改成以下形式：
match = re.search(r'PY.*?N','PYANBNCNDNEN')
match.group(0)的结果就是'PYAN'

最小匹配操作符：

操作符	说明
*?	前一个字符0次或无限次扩展，最小匹配
+?	前一个字符1次或无限次扩展，最小匹配
??	前一个字符0次或1次扩展，最小匹配
{m,n}?	扩展前一个字符m至n次（含n），最小匹配