python爬虫，使用xpath解析器、BeautifulSoup解析器、pyquery css解析器抽取结构化数据，使用正则表达式抽取非结构化数据
python爬虫，使用xpath解析器、BeautifulSoup解析器、pyquery css解析器抽取结构化数据，使用正则表达式抽取非结构化数据
测试文本：test.html
<div class="right-content">
<ul class="news-1" data-sudaclick="news_p">
<li><a href="https://news.sina.com.cn/c/2019-12-30/doc-iihnzhfz9312920.shtml" target="_blank">星的光点点洒于午夜 人人开开心心说说故事a>li>
<li><a href="https://news.sina.com.cn/c/2019-12-31/doc-iihnzhfz9358830.shtml" target="_blank">偏偏今宵所想讲不太易 迟疑地望你想说又复迟疑a>li>
<li><a href="https://news.sina.com.cn/c/2019-12-30/doc-iihnzhfz9330965.shtml" target="_blank">秋风将涌起的某夜 遗留她的窗边有个故事a>li>
<li><a href="https://news.sina.com.cn/c/2019-12-31/doc-iihnzhfz9360933.shtml" target="_blank">孤单单的小伙子不顾寂寞 徘徊树下直至天际露月儿a>li>
ul>
div>
一.XPath解析器
简介
XPath，全称XML Path Language，即XML路径语言
官方教程：https://www.w3.org/TR/xpath/all/
常用语法：
| 表达式 | 描述 |
|---|---|
| nodename | 选取此节点的所有子节点 |
| / | 选取所有子节点 |
| // | 选取所有子孙节点 |
| . | 选取当前节点 |
| . . | 选取当前节点的父节点 |
| @ | 选取属性 |
初始化
- URL初始化
import requests
from lxml import etree
res = requests.get('https://news.sina.com.cn/china/')
res.encoding = 'utf-8'
html = etree.HTML(res.text)
html.xpath('//ul[@class="news-1"]/li/a/text()')
- 文件初始化
from lxml import etree
# test.html以utf-8的编码格式保存，不会出现乱码
html = etree.parse('./test.html', etree.HTMLParser())
html.xpath('//ul[@class="news-1"]/li/a/text()')
实例
- 获取属性值：@attr
- 获取节点值：text()
- 获取所有节点
html.xpath(’//*’) - 精准匹配属性
html.xpath(’//ul[@class=“news-1”]’) - 精准匹配标签
html.xpath(’//a[text()=“星的光点点洒于午夜 人人开开心心说说故事”]/text()’) - 模糊匹配属性
html.xpath(’//ul[contains(@class, “news”)]’) - 模糊匹配标签
html.xpath(’//a[contains(text(), “开开心心”)]/text()’) - 若匹配多个节点，可按序选择，如下分别选择第一个、最后一个、倒数第二个、前三个
html.xpath(’//ul[@class=“news-1”]/li[1]/a/text()’)
html.xpath(’//ul[@class=“news-1”]/li[last()]/a/text()’)
html.xpath(’//ul[@class=“news-1”]/li[last() - 1]/a/text()’)
html.xpath(’//ul[@class=“news-1”]/li[position() <= 3]/a/text()’) - 节点轴选择：https://www.cnblogs.com/VseYoung/p/8686383.html
总结
- 返回一个list，每个元素为lxml.etree._Element类型
- 可以嵌套选择：response.xpath(.//)
二.Beautiful Soup
简介
Beautiful Soup是python的一个HTML或XML解析库
官网：https://www.crummy.com/software/BeautifulSoup/
文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
依赖解析器：
| 解析器 | 使用方法 |
|---|---|
| python标准库 | BeautifulSoup(markup, “html.parser”) |
| lxml HTML 解析器 | BeautifulSoup(markup, “lxml”) |
| lxml XML 解析器 | BeautifulSoup(markup, “xml”) |
| html5lib | BeautifulSoup(markup, “html5lib”) |
初始化
- URL初始化
import requests
from bs4 import BeautifulSoup
res = requests.get('https://news.sina.com.cn/china/')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, 'lxml')
soup
- 文件初始化
from bs4 import BeautifulSoup
soup = BeautifulSoup(open('./test.html', 'r', encoding='utf-8'), 'lxml')
soup
实例
- 找出class=“news-1”的ul下的所有li标签
soup.find_all(name="ul", attrs={"class": "news-1"})[0].find_all(name='li')
输出：
[<li><a href="https://news.sina.com.cn/c/2019-12-30/doc-iihnzhfz9312920.shtml" target="_blank">星的光点点洒于午夜 人人开开心心说说故事</a></li>,
<li><a href="https://news.sina.com.cn/c/2019-12-31/doc-iihnzhfz9358830.shtml" target="_blank">偏偏今宵所想讲不太易 迟疑地望你想说又复迟疑</a></li>,
<li><a href="https://news.sina.com.cn/c/2019-12-30/doc-iihnzhfz9330965.shtml" target="_blank">秋风将涌起的某夜 遗留她的窗边有个故事</a></li>,
<li><a href="https://news.sina.com.cn/c/2019-12-31/doc-iihnzhfz9360933.shtml" target="_blank">孤单单的小伙子不顾寂寞 徘徊树下直至天际露月儿</a></li>]
- 获取节点值
soup.find_all(name="ul", attrs={"class": "news-1"})[0].find_all(name='li')[2].a.string
输出：
'秋风将涌起的某夜 遗留她的窗边有个故事'
- 获取属性值
soup.find_all(name="ul", attrs={"class": "news-1"})[0].find_all(name='li')[2].a['href']
输出：
'https://news.sina.com.cn/c/2019-12-30/doc-iihnzhfz9330965.shtml'
总结
- 返回一个列表，每个元素为bs4.element.Tag类型
- 可嵌套选择，通过find()或find_all()方法可筛选出大部分元素
- 对于属性class，使用class_代替class传入参数筛选：soup.find_all(class_=‘element’)
- 可调用CSS选择器：soup.select()
三.pyquery
简介
一个类似jQuery的python库，使用CSS选择器，比较soup.select()
官方文档：https://pythonhosted.org/pyquery/
初始化
- URL初始化
import requests
from pyquery import PyQuery as pq
#res = requests.get('https://news.sina.com.cn/china/')
#res.encoding = 'utf-8'
#doc = pq(res.text)
doc = pq(url='https://news.sina.com.cn/china/', encoding='utf-8')
doc
- 文件初始化
import requests
from pyquery import PyQuery as pq
#doc = pq(filename="./test.html",encoding='utf-8') #存在编码错误
doc = pq(open('./test.html', 'r', encoding='utf-8').read())
doc
实例
- 获取节点值
next(doc('.news-1').find('a').items()).text()
输出：
'星的光点点洒于午夜 人人开开心心说说故事'
- 获取属性值
next(doc('.news-1').find('a').items()).attr.href
输出：
'https://news.sina.com.cn/c/2019-12-30/doc-iihnzhfz9312920.shtml'
总结
- 若选择结果为一个，为pyquery.pyquery.PyQuery对象
- 若选择结果为多个，也为pyquery.pyquery.PyQuery对象，可调用items() 方法遍历，其返回一个生成器；或为list对象?，每个list元素为lxml.html.HtmlElement对象
四.正则表达式
import re
result = re.search(pattern, html, 修饰符)
if result:
print(result.group(1), result.group(2))
五.json解析
- json初始化后为列表类型
- json字符串初始化：
import json
data = json.loads(str) - json文件初始化：
import json
data = json.loads(open(‘test.json’, ‘r’).read())