正则表达式是处理字符串的强大工具,它有自己特定的语法结构,对于爬虫来说,它可以帮我们从HTML例提取我们想要的信息,实际上正则表达式应用非常广泛,如数据挖掘、数据分析、网络爬虫、输入有效性验证等。在python中我们可以用re模块来实现正则表达式。
正则表达式的功能非常强大,短短一节是讲不完的,对于新手来说,学习正则表达式可以浏览廖雪峰的官方网站。
这里列出了常用的几个匹配规则:
模式 | 描述 |
---|---|
\w | 匹配字母、数字及下划线 |
\W | 匹配不是字母、数字及下划线的字符 |
\s | 匹配任意空白字符,等价于[\t\n\r\f] |
\S | 匹配任意非空白字符 |
\d | 匹配任意数字,等价于[0-9] |
\D | 匹配任意非数字 |
\A | 匹配字符串开头 |
\Z | 匹配字符串结尾,如果存在换行,则匹配到换行前的结束字符串 |
\z | 匹配字符串结尾,如果存在换行,还会匹配到换行符 |
\G | 匹配最后匹配完成的位置 |
\n | 匹配一个换行符 |
\t | 匹配一个制表符 |
^ | 匹配一行字符串的开头 |
$ | 匹配一行字符串的结尾 |
. | 匹配任意字符 |
[…] | 用来表示一组字符,比如[abc]匹配a、b或c |
[^…] | 匹配不在[]内的字符,比如[^abc]匹配除了a、b或c以外的字符 |
* | 匹配0个或多个表达式 |
+ | 匹配1个或多个表达式 |
? | 匹配0个或1个前面的正则表达式定义的片段、非贪婪方式 |
{n} | 精确匹配n个前面的表达式 |
{n, m} | 匹配n到m次由前面表达式定义的片段,贪婪方式 |
a | b | 匹配a或b |
() | 匹配括号内的表达式,也表示一个组 |
通过前几章我们已经学习了如何构建请求、如何获得网页信息以及使用正则表达式提取我们需要的内容,目前为止我们已经可以使用爬虫获取一些有用的信息了,下一章我们开始构建我们的第一个爬虫项目,如果你想了解更多内容,可以关注公众号“机器图腾”,里面可以免费获取python学习资源、网络爬虫教程等,每周不定时更新一些有趣的python小项目。