python 正则表达式提取数据_Python爬虫教程-19-数据提取-正则表达式(re)

本篇主页内容：match的基本使用，search的基本使用，findall,finditer的基本使用，匹配中文，贪婪与非贪婪模式

Python爬虫教程-19-数据提取-正则表达式(re)

正则表达式：一套规则，可以在字符串文本中进行搜查替换等

正则使用步骤：

1.使用 compile 函数将正则表达式的字符串编译成一个 pattern 对象

2.通过 pattern 对象的一些方法对文本进行匹配，匹配结果是一个 match 对象

3.用 match 对象的方法，对结果进行操作

正则的常用方法：

match：从开始位置开始查找，一次匹配，即1次匹配成功则退出

search：从任何位置开始查找，一次匹配

findall：全部匹配，返回列表

finditer：全部匹配，返回迭代器

split：分割字符串，返回列表

sub：替换

匹配中文

中文是Unicode编码(utf-8也是Unicode编码)，范围：主要在[u4e00-u9fa5]

中文全角逗号一类的不在[u4e00-u9fa5]范围内

贪婪与非贪婪模式

贪婪模式：在整个表达式匹配成功的前提下，尽可能多的匹配

非贪婪模式：在整个表达式匹配成功的前提下，尽可能少的匹配

python里面数量词默认是贪婪模式

例如：

查找文本abbbbbbbccc

re结果是： ab*

贪婪模式结果是：abbbbbbb

非贪婪模式结果是：a

案例v23 match的基本使用

# 正则结果match的使用案例

import re

# 以下正则分成2个组，以小括号为单位

# [a-z]表示出现小写a-z任意字母都可以，+表示至少出现1次

# 两组之间有一个空格，表示匹配的两个英文字符之间有空格

s = r"([a-z]+) ([a-z]+)"

# 编译

pattern = re.compile(s, re.I) # s, I表示忽略大小写

m = pattern.match("Hello world wide web")

# group(0) 表示返回整个匹配成功的字符串，即所有小组

s = m.group(0)

print("所有小组的匹配结果：\n", s)

# 返回匹配成功的整个字符串的跨度，即所有小组

a = m.span(0)

print("所有小组的匹配结果跨度：\n", a)

# group(0) 表示返回的第一个分组匹配成功的字符串

s = m.group(1)

print("第1小组的匹配结果：\n", s)

# 返回匹配成功的整个字符串的跨度

a = m.span(1)

print("第1小组的匹配结果跨度：\n", s)

# groups() 打印出所有的小组，等价于m.group(1), m.group(2)...

s = m.groups()

print(s)

运行结果

从结果可以看到：匹配到两个小组，一个Hello，一个world，中间的空格是外面的，代码中包含一些具体的输出格式

案例v24 search的基本使用

# search的基本使用

import re

s = r'\d+'

pattern = re.compile(s)

# 无参数表示从头开始查找，到最后结束

m = pattern.search("one12two34three56")

print(m.group(0))

# 参数表明搜查的范围，例如：10-40

m = pattern.search("one12two34three56", 10, 40)

print(m.group(0))

运行结果

因为是从第10个开始查找，所以查到的是56

案例v25 findall，finditer的基本使用

# findall，finditer的基本使用

import re

s = r'\d+'

pattern = re.compile(s)

m = pattern.findall("I am 18 years old, and 185 high")

print(m)

n = pattern.finditer("I am 18 years old, and 185 high")

print(type(n))

# 迭代器使用for循环输出

for i in n:

# 只输出i会包含无用数据

print(i.group())

运行结果

查找所有匹配的字符串

匹配中文

# 中文unicode案例

import re

hello = u'你好，再见陌生人'

# 中文全角逗号一类的不在[u4e00-u9fa5]范围内

pattern = re.compile(r'[\u4e00-\u9fa5]+')

m = pattern.findall(hello)

print(m)

运行结果

因为中文全角逗号一类的不在[u4e00-u9fa5]范围内，所在 findall 返回的是一个列表，包含两个值

- 本笔记不允许任何个人和组织转载

Python爬虫教程-24-数据提取-BeautifulSoup4(二)

Python爬虫教程-24-数据提取-BeautifulSoup4(二) 本篇介绍 bs 如何遍历一个文档对象 遍历文档对象 contents:tag 的子节点以列表的方式输出 children:子节 ...

Python爬虫教程-23-数据提取-BeautifulSoup4(一)

Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据,查看文档 https://www.crummy.com/software/BeautifulSoup/bs4/doc. ...

Python爬虫教程-25-数据提取-BeautifulSoup4(三)

Python爬虫教程-25-数据提取-BeautifulSoup4(三) 本篇介绍 BeautifulSoup 中的 css 选择器 css 选择器 使用 soup.select 返回一个列表 通过标 ...

Python爬虫教程-01-爬虫介绍

Spider-01-爬虫介绍 Python 爬虫的知识量不是特别大,但是需要不停和网页打交道,每个网页情况都有所差异,所以对应变能力有些要求 爬虫准备工作 参考资料 精通Python爬虫框架Scrap ...

Python爬虫教程-00-写在前面

鉴于好多人想学Python爬虫,缺没有简单易学的教程,我将在CSDN和大家分享Python爬虫的学习笔记,不定期更新 基础要求 Python 基础知识 Python 的基础知识,大家可以去菜鸟教程进行 ...

Python爬虫教程-18-页面解析和数据提取

本篇针对的数据是已经存在在页面上的数据,不包括动态生成的数据,今天是对HTML中提取对我们有用的数据,去除无用的数据 Python爬虫教程-18-页面解析和数据提取 结构化数据:先有的结构,再谈数据 ...

python爬虫的页面数据解析和提取/xpath/bs4/jsonpath/正则(1)

一.数据类型及解析方式 一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值.内容一般分为两部分,非结构化的数据 和 结构化的数据. 非结构化数据:先有数据,再有结构, 结构化数 ...

Python爬虫教程-34-分布式爬虫介绍

Python爬虫教程-34-分布式爬虫介绍 分布式爬虫在实际应用中还算是多的,本篇简单介绍一下分布式爬虫 什么是分布式爬虫 分布式爬虫就是多台计算机上都安装爬虫程序,重点是联合采集.单机爬虫就是只在一 ...

Python爬虫教程-33-scrapy shell 的使用

本篇详细介绍 scrapy shell 的使用,也介绍了使用 xpath 进行精确查找 Python爬虫教程-33-scrapy shell 的使用 scrapy shell 的使用 条件:我们需要先 ...

随机推荐

[Amazon] Amazon IAP for Unity

1> 下载amazon IAP3.0 for unity plugin 2> 根据 https://developer.amazon.com/public/apis/earn/in-app ...

R语言XML包的数据抓取

htmlParse 函数 htmlParse加抓HTML页面的函数. url1

HDU 5013 City Tour

题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5013 题意: 思路: 这里有错,是Hi(x)=sigama(Hji)(j属于x) const int ...

MyBatis实现SaveOrUpdate

这篇文章主要讲如何通过xml方式实现SaveOrUpdate,但是仍然建议在Service中实现. 例子 < ...

arm get_vector_swi_address

unsigned long* get_vector_swi_addr() { const void *swi_addr = 0xFFFF0008; unsigned ; unsigned ; unsi ...

记录一下自己用到的python logging

最近想把自己零零散散写的代码嵌成一个应用,要考虑到各方面的debug,把logging看了一下,把用到的记下来. 将日志打印到屏幕 import logging logging.debug(u'调试' ...

BLDC(无刷直流电机)应用相关

1.基于XC866的直流无刷电机简易正弦波控制 http://blog.gkong.com/hushunlin_219521.ashx 2.无刷直流电机的PWM调制方式介绍 http://blog.g ...

Oracle11g静默安装

静默安装Oracle11G 前期准备 1虚拟机准备: Centos 6.5 64位 内存2G 硬盘30G Cpu 4核 Hostname silent 将安装包放到/tmp/oracle目录下 2.软 ...

Kilani and the Game-扩散形式的搜索

Kilani and the Game 思路:这种扩散走法的并且有速度.我们需要一层一层的入队, 而且 根据题目要求 按编号处理 例如q1队列中有 1 1 1 2 2 2 2 3 3 3 3 3 3 ...

深入理解javascript构造函数和原型对象

---恢复内容开始--- 对象,是javascript中非常重要的一个梗,是否能透彻的理解它直接关系到你对整个javascript体系的基础理解,说白了,javascript就是一群对象在搅..(哔! ...