〖Python网络爬虫实战⑨〗- 正则表达式基本原理

• 订阅：新手可以订阅我的其他专栏。免费阶段订阅量1000+ 

                python项目实战

                Python编程基础教程系列（零基础小白搬砖逆袭)

• 说明：本专栏持续更新中，目前专栏免费订阅，在转为付费专栏前订阅本专栏的，可以免费订阅付费专栏，可报销（名额有限，先到先得）。
• 作者：爱吃饼干的小白鼠。Python领域优质创作者，2022年度博客新星top100入围，荣获多家平台专家称号。

 最近更新

〖Python网络爬虫实战⑥〗- 多线程和多进程

〖Python网络爬虫实战⑦〗- requests的使用（一）

〖Python网络爬虫实战⑧〗- requests的使用（二）

上节回顾

        我们已经可以使用requests库来获取网页源代码，得到HTML代码、但是，我们想要的数据就在里面。我们怎么样才可以获取我们想要的数据呢。正则表达式就是其中一个有效的办法。本文，我们就来了解一下正则表达式的用法。

⭐️正则表达式

        大家好，大家都听过正则表达式，却不知道正则表达式干什么的。正则表达式是一个特殊的符号系列，它可以帮助我们检查某个字符串和某种模式匹配。在python中，re库拥有全部的正则表达式的功能。

        今天，我们来深入的了解一下。我们知道正则表达式是处理字符串的强大工具，它有自己的语法结构，什么匹配啊，都不算什么。

正则表达式是什么？

        正则表达式，又称规则表达式，(英语:Regular Expression，在代码中常简写为 regex、regexp 或 RE)，它是计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式的文本。 许多程序设计语言都支持利用正则表达式进行字符串操作。例如在 Perl 中内建了一个功能强大的正则表达式引擎。正则表达式这个概念最初是由 Unix 中的工具软件普及开的。正则表达式是对字符串(包括普通字符(例如，a 到 z 之间的字母)和特殊字符(称为"元字符"))操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个"规则字符串"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，模式描述在搜索文本时要匹配的一个或多个字符串。

1.实例引入

        说了一大堆废话，大家可能还是云里雾里的，我们通过实例来说明一下，我们可以用正则表达式测试工具，或者python都可以，首先，我们输入一段文本。

hello，my name is Tina，my phone number is 123456 and my web is http://tina.com.

 我们接下来尝试用正则表达式提取出来;

                               [a-zA-z]+://[^\s]*

我们就可以获取网页链接，也就是文本中的url，是不是很神奇？

这是因为它有自己的匹配规则，部分如下。

模式	描述
.	任意字符
*	0个或者多个表达式
+	一个或者多个表达式

 关于更多的匹配规则可自行查阅。

?,*,+,\d,\w 都是等价字符

?等价于匹配长度{0,1}

*等价于匹配长度{0,}

+等价于匹配长度{1,}

\d 等价于[0-9]

\D 等价于[^0-9]

\w 等价于[A-Za-z_0-9]

\W 等价于[^A-Za-z_0-9]

2.match()

        这里介绍一个常用的匹配方法——match（），向他传入要匹配的字符串以及正则表达式，就可以检测这个正则表达式是否匹配字符串。

✨匹配目标

res = re.match('hello\s(\d+)sword')

✨贪婪匹配

res = re.match('hello.*(\d+)sword')

3.findall（）

        我们最常用的就是这个，我们看看这个是如何使用的。

import re

useData = str(input('请输入字符串数据:'))

'''
匹配字符串中的数字,+是匹配前面的子表达式一次或多次
'''
digital = re.findall('\d+',useData)

print(digital)

我们看看运行结果

findall()函数是返回所有匹配到的字符串,返回值的数据类型为列表。

常用符号

我们再来说说正则表达式的常用符号吧。

“.”字符为匹配任意单个字符。

“\”字符为转义字符。

“[…]”为字符集。

“(.*?)” 是python爬虫最常用的一个字符，叫贪心算法，可以匹配任意的字符。

下面我们看一个示例代码。

import re

a=‘xxixxjshdxxlovexxsfhxxpythonxx’

data=re.findall(‘xx(.*?)xx’)

print(data)

我们运行一下，看下效果。

运行结果
[‘I’ ,‘love’,‘python’]

特殊字符

        所谓特殊字符，就是一些有特殊含义的字符，比如讲 runoo*b 中的 ，简单的说就是表示任何字符串的意思。如果要查找字符串中的 * 符号，则需要对 * 进行转义，即在其前加一个 \，runo*ob 匹配字符串 runo\*ob。

        许多元字符要求在试图匹配它们时特别对待。若要匹配这些特殊字符，必须首先使字符"转义"，即，将反斜杠字符\ 放在它们前面。下表列出了正则表达式中的特殊字符：

特别字符	描述
$	匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 $ 也匹配 ‘\n’ 或 ‘\r’。要匹配 $ 字符本身，请使用 $。
()	标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用 ( 和 )。
*	匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 *。
+	匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 +。
.	匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 . 。

        概念说了一大堆，大家可能也记不住，我直接说几个案例，大家就能明白其他的道理。

        这是某网的HTML，部分片段如下：

§123

§133

§156

§189

        大家会发现只有中间的一段不一样，而不一样的数据就是我们想要的，我们怎么用正则表达式提取出来呢.

§(.*?) 

就可以了，我们看看效果吧。

123
133
156
189

总结

        我们可以从HTML代码提取我们想要的数据。我们知道正则表达式就是其中一个有效的办法。通过本文我们基本了解了其中的原理。后面我们将通过两个具体案例来加深对正则表达式的理解。