详细学习requests_html库
官方文档:
http://html.python-requests.org/
安装
pip3 install requests_html
获取网页:
from requests_html import HTMLSession,HTML
session = HTMLSession()
url = "https://www.qiushibaike.com/text/"
h = session.get(url=url)
requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的,所以我们需要用另一个HTTP库先把网页下载下来,然后传给那些HTML解析库。
而requests-html自带了这个功能,所以在爬取网页等方面非常方便
查看页面内容
print(h.html.html)
获取连接:
links和absolute_links两个属性分别返回HTML对象所包含的所有链接和绝对链接(均不包含锚点)
相对路径
for _ in h.html.links:
print(_)
绝对路径
for _ in h.html.absolute_links:
print(_)
获取元素:
request-html支持CSS选择器和XPATH两种语法来选取HTML元素。
1、CSS选择器语法,它需要使用HTML的find函数,该函数有5个参数,作用如下:
- selector,要用的CSS选择器;
- clean,布尔值,如果为真会忽略HTML中style和script标签造成的影响(原文是sanitize,大概这么理解);
- containing,如果设置该属性,会返回包含该属性文本的标签;
- first,布尔值,如果为真会返回第一个元素,否则会返回满足条件的元素列表;
- _encoding,编码格式。
首页菜单文本
print(h.html.find('div#menu',first=True).text)
查看菜单元素
print(h.html.find('div#menu a'))
段子内容
list_story = []
for i in h.html.find('div.content span'):
# print(i.text)
# print()
list_story.append(i.text)
print(list_story)
2、XPATH语法,这需要另一个函数xpath的支持,它有4个参数如下:
- selector,要用的XPATH选择器;
- clean,布尔值,如果为真会忽略HTML中style和script标签造成的影响(原文是sanitize,大概这么理解);
- first,布尔值,如果为真会返回第一个元素,否则会返回满足条件的元素列表;
- _encoding,编码格式。
获取首页菜单文本
print(h.html.xpath("//div[@id='menu']",first=True).text)
查看菜单元素
print(h.html.xpath("//div[@id='menu']/a"))
段子内容
print(h.html.xpath("//div[@class='content']/span/text()"))
元素内容
e = h.html.find('div#hd_logo',first=True)
print(e.text)
要获取元素的attribute,用attr属性
print(e.attrs)
获取元素的html代码
print(e.html)
要搜索元素的文本内容,用search函数
print(e.search('糗{事}{}科')[0])
两个链接属性
print(e.links) # 相对路径
print(e.absolute_links) # 绝对路径
JavaScript支持
r = session.get('http://python-requests.org/')
r.html.render()
3、render函数还有一些参数,顺便介绍一下(这些参数有的还有默认值,直接看源代码方法参数列表即可):
- retries: 加载页面失败的次数
- script: 页面上需要执行的JS脚本(可选)
- wait: 加载页面钱的等待时间(秒),防止超时(可选)
- scrolldown: 页面向下滚动的次数
- sleep: 在页面初次渲染之后的等待时间
- reload: 如果为假,那么页面不会从浏览器中加载,而是从内存中加载
- keep_page: 如果为真,允许你用r.html.page访问页面
智能分页
rq = session.get("https://reddit.com")
for html in rq.html:
print(html)
直接使用HTML
doc = """
首页
Hello, world!
这是一个神奇的网站!
腾讯网
姓名
上场时间
得分
篮板
助攻
test_html = HTML(html=doc)
print(test_html.links)
直接渲染JS代码
script = """
() => {
return {
width: document.documentElement.clientWidth,
height: document.documentElement.clientHeight,
deviceScaleFactor: window.devicePixelRatio,
}
}
"""
my_html = test_html.render(script=script,reload=False)
print(my_html)
print(test_html.html)
自定义请求
4、自定义用户代理:有些网站会使用UA来识别客户端类型,有时候需要伪造UA来实现某些操作。
如果查看文档的话会发现HTMLSession上的很多请求方法都有一个额外的参数**kwargs,
这个参数用来向底层的请求传递额外参数。我们先向网站发送一个请求,看看返回的网站信息
from pprint import pprint # 提供了可以按照某个格式正确的显示python已知类型数据的一种方法
import json
pp_r = session.get('http://httpbin.org/get')
pprint(json.loads(pp_r.html.html))
更换UA ,这里拿UA距离,如果有需要可以在header中修改其他参数
ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0'
ppp_r = session.get('http://httpbin.org/get',headers={'user-agent': ua})
pprint(json.loads(ppp_r.html.html))
模拟表单登陆:
HTMLSession带了一整套的HTTP方法,包括get、post、delete等,对应HTTP中各个方法。比如下面我们就来模拟一下表单登录
表单登陆
r1 = session.post('http://httpbin.org/post', data={'username': 'good', 'passwd': 123456})
pprint(json.loads(r1.html.html))
实例:爬去自己文章
my_url = 'https://www.jianshu.com/u/1f9e71a85238'
my_requests = session.get(url=my_url)
my_requests.html.render(scrolldown=50,sleep=2)
titles = my_requests.html.find('a.title')
for i,title in enumerate(titles):
print(f'{i+1} {title.text}:https://www.jianshu.com{title.attrs["href"]}')