通过实例来学习数据解析中的正则表达式解析方法,在实操的过程中也会扩展一些知识点的分享
正则表达式描述了一种字符串匹配的模式(pattern),可以用来检查一个字符串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
通俗理解:就是使用一种规则性的表达式来寻找文本字符串中通用的数据。
我们在解析数据时一般会用到几个常用的函数:
re.find(),re.findall() :一个是找到一个便返回值,另一个是找到所有符合条件的值,里边的参数都是“pattern”,“字符串文本”。
re.match(),re.search() : 一个是从头开始匹配,一个是从任意位置开始匹配
re.complie() ,re.finder() 返回迭代器 re.sub() :替换
以及我们在获取数据时的贪婪模式 .*?
代码如下(示例):
import requests
from bs4 import BeautifulSoup
import re
import csv
url = "https://www.mi.com/p/1915.html"
requ = requests.get(url)
data = requ.text.replace(" ","").replace("\n","")
# print(data)
#obj = re.compile(r'var GLOBAL_ACTIVITY = {(.*?)}',re.S)
data_list =[]
data_dict = re.findall(r'varGLOBAL_ACTIVITY={(.*?)};',data)
#print(data_dict)
data_img = re.findall(r'"img_url":"(.*?)"',str(data_dict))
#data_list.append(data_img[1:])
data_name = re.findall(r'"product_name":"(.*?)"',str(data_dict))
#data_list.append(data_name)
data_brief = re.findall(r'"product_brief":"(.*?)"',str(data_dict))
#data_list.append(data_brief)
data_orgPrice = re.findall(r'"product_org_price":"(.*?)"',str(data_dict))
#data_list.append(data_orgPrice)
data_price = re.findall(r'"product_price":"(.*?)"',str(data_dict))
#data_list.append(data_price)
#print(data_list)
在我们进行爬虫前首先要做的是分析网页内容,以及他的源代码中是否有我们需要的数据
在爬取内容前我对网页进行了分析,在源代码中存在所需数据
于是直接访问源代码数据
得到后发现一个问题
在开发者工具里定位的标签在源代码中没有,所以我们看到的可能是经过渲染后的数据,所以我们无法使用BeautifulSoup进行数据解析。
所以我们现在了使用正则表达式进行解析数据
通过正则表达式定位数据,同时使用re.findall(),找到所有需要的数据
当然有时候数据可能会存在一些问题,比如有换行符呀,空格呀。我们可以使用replace(),进行替换处理
还有像split() 可以根据特定符号进行字符串切割
strip() 去除左右两边的空格
需要注意的是,这些函数都只能运用在字符串中
for i in range(len(data_price)):
data_list.append([data_name[i],data_brief[i],data_price[i],data_orgPrice[i],data_img[i]])
with open("小米手机更多信息.csv", "w", encoding="utf-8", newline="") as f:
csvwriter = csv.writer(f)
csvwriter.writerows(data_list)
print("over!")
print("allover!")
我是将数据储存在了csv文件中,新建一个文件夹,将数据依次写入文件夹中。
爬虫流程,思路其实大同小异,通过分析我们所需要的数据,通过不同的解析方法,去获取我们的数据。只要能够得到最终的数据,便是完成了。本次我们是使用了最适合的正则表达式爬取。其他解析方式也有其优势之处。