requests-html

官方文档

https://pypi.org/project/requests-html/

安装

pip install requests-html

基本使用

获取网页

requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的，所以我们需要用另一个HTTP库先把网页下载下来，然后传给那些HTML解析库。而requests-html自带了这个功能，所以在爬取网页等方面非常方便。
下面的代码获取了糗事百科上面的文字段子页面，返回的对象r是requests.Reponse类型，更确切的说是继承自前者的requests_html.HTMLResponse类型。这里其实和requests库的使用方法差不多，获取到的响应对象其实其实也没啥用，这里的关键就在于r.html这个属性，它会返回requests_html.HTML这个类型，它是整个requests_html库中最核心的一个类，负责对HTML进行解析。我们学习requests_html这个库，其实也就是学习这个HTML类的使用方法。

from requests_html import HTMLSession

session = HTMLSession()
url = "https://www.jianshu.com/u/18d731821bfc"
h = session.get(url=url)
print(h.html.html)

获取连接

links和absolute_links两个属性分别返回HTML对象所包含的所有链接和绝对链接（均不包含锚点）。

# 相对路径
print(h.html.links)
# 绝对路径
print(h.html.absolute_links)

输出为：
{'/', '/p/ce88a24ac053#comments', '/p/ad6a9b4a26c8', '/sign_in'}
{'https://www.jianshu.com/users/18d731821bfc/subscriptions', 'https://www.jianshu.com/p/ce88a24ac053#comments', 'https://www.jianshu.com/p/894708d20dc5#comments'}

获取元素

request-html支持CSS选择器和XPATH两种语法来选取HTML元素。首先先来看看CSS选择器语法，它需要使用HTML的find函数，该函数有5个参数，作用如下：

• selector，要用的CSS选择器；
• clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
• containing，如果设置该属性，会返回包含该属性文本的标签；
• first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
• _encoding，编码格式。

下面是几个简单例子：

# 首页菜单文本
print(h.html.find('div#menu', first=True).text)
# 首页菜单元素
print(h.html.find('div#menu a'))
# 内容
print(list(map(lambda x: x.text, h.html.find('div.content a'))))
输出为：
首页
下载App
[, , ]
['异步请求库之 requests-futures', '0', '0', '异步请求库之 grequests', '0', '0', 'scrapy', '0', '0', 'Chrome Headless', '0', '0', '忽略证书不受信任', '0', '0', 'Redis五种数据类型', '0', '0', 'JavaScript_BOM', '11', '0', 'ajax-hook', '0', '0', '传统分类流程', '28', '0']

然后是XPATH语法，这需要另一个函数xpath的支持，它有4个参数如下：

• selector，要用的XPATH选择器；
• clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
• first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
• _encoding，编码格式。

还是上面的例子，不过这次使用XPATH语法：

print(h.html.xpath("//div[@id='menu']", first=True).text)
print(h.html.xpath("//div[@id='menu']//a"))
print(h.html.xpath("//div[@class='content']/a/text()"))

元素内容

e = h.html.find("div.title", first=True)
print(e.text)

要获取元素的attribute，用attr属性

print(e.attrs)
# 输出为：
{'class': ('title',)}

获取元素的html代码

print(e.html)
# 输出为：

还是那个没头脑

要搜索元素的文本内容，用search函数

print(e.search('还是{}没头脑')[0])
# 输出为：
那个

两个链接属性

print(e.links)  # 相对路径
print(e.absolute_links) # 绝对路径

JavaScript支持

有些网站是使用JavaScript渲染的，这样的网站爬取到的结果只有一堆JS代码，这样的网站requests-html也可以处理，关键一步就是在HTML结果上调用一下render函数，它会在用户目录（默认是~/.pyppeteer/）中下载一个chromium，然后用它来执行JS代码。下载过程只在第一次执行，以后就可以直接使用chromium来执行了。唯一缺点就是chromium下载实在太慢了。

h = session.get('http://python-requests.org/')

h.html.render()
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.
[W:pyppeteer.chromium_downloader] chromium download done.
[W:pyppeteer.chromium_downloader] chromium extracted to: C:\Users\xxxx\.pyppeteer\local-chromium\571375
>>> r.html.search('Python 2 will retire in only {months} months!')['months']
'25'

render函数还有一些参数，顺便介绍一下（这些参数有的还有默认值，直接看源代码方法参数列表即可）：

• retries: 加载页面失败的次数
• script: 页面上需要执行的JS脚本（可选）
• wait: 加载页面钱的等待时间（秒），防止超时（可选）
• scrolldown: 页面向下滚动的次数
• sleep: 在页面初次渲染之后的等待时间
• reload: 如果为假，那么页面不会从浏览器中加载，而是从内存中加载
• keep_page: 如果为真，允许你用r.html.page访问页面

比如说的用户页面上用户的文章列表就是一个异步加载的例子，初始只显示最近几篇文章，如果想爬取所有文章，就需要使用scrolldown配合sleep参数模拟下滑页面，促使JS代码加载所有文章。

智能分页

rq = session.get("https://reddit.com")
for html in rq.html:
    print(html)

直接使用HTML

前面介绍的都是通过网络请求HTML内容，其实requests-html当然可以直接使用，只需要直接构造HTML对象即可：

from requests_html import HTML
doc = ""

html = HTML(html=doc)
print(html.links)
{'https://httpbin.org'}

直接渲染JS代码

script = """
        () => {
            return {
                width: document.documentElement.clientWidth,
                height: document.documentElement.clientHeight,
                deviceScaleFactor: window.devicePixelRatio,
            }
        }
    """
val= html.render(script=script,reload=False)
print(val)
print(html.html)

自定义请求

前面都是简单的用GET方法获取请求，如果需要登录等比较复杂的过程，就不能用get方法了。HTMLSession类包含了丰富的方法，可以帮助我们完成需求。下面介绍一下这些方法。

自定义用户代理

有些网站会使用UA来识别客户端类型，有时候需要伪造UA来实现某些操作。如果查看文档的话会发现HTMLSession上的很多请求方法都有一个额外的参数**kwargs，这个参数用来向底层的请求传递额外参数。我们先向网站发送一个请求，看看返回的网站信息。

from pprint import pprint   # 提供了可以按照某个格式正确的显示python已知类型数据的一种方法
import json

pp_r = session.get('http://httpbin.org/get')
pprint(json.loads(pp_r.html.html))

返回的结果如下：

{'args': {},
 'headers': {'Accept': '*/*',
             'Accept-Encoding': 'gzip, deflate',
             'Host': 'httpbin.org',
             'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) '
                           'AppleWebKit/603.3.8 (KHTML, like Gecko) '
                           'Version/10.1.2 Safari/603.3.8'},
 'origin': '150.95.184.46, 150.95.184.46',
 'url': 'https://httpbin.org/get'}

UA是requests-html自带的UA，下面换一个UA：

ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0'
ppp_r = session.get('http://httpbin.org/get',headers={'user-agent': ua})
pprint(json.loads(ppp_r.html.html))

看到UA确实发生了变化：

{'args': {},
 'headers': {'Accept': '*/*',
             'Accept-Encoding': 'gzip, deflate',
             'Host': 'httpbin.org',
             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) '
                           'Gecko/20100101 Firefox/62.0'},
 'origin': '150.95.184.46, 150.95.184.46',
 'url': 'https://httpbin.org/get'}

有需要可以在header中修改其他参数。

模拟表单登陆

HTMLSession带了一整套的HTTP方法，包括get、post、delete等，对应HTTP中各个方法。比如下面我们就来模拟一下表单登录

表单登陆

r = session.post('http://httpbin.org/post', data={'username': 'python', 'passwd': 123456})
pprint(json.loads(r.html.html))

可以看到forms中确实收到了提交的表单值：

{'args': {},
 'data': '',
 'files': {},
 'form': {'passwd': '123456', 'username': 'python'},
 'headers': {'Accept': '*/*',
             'Accept-Encoding': 'gzip, deflate',
             'Content-Length': '29',
             'Content-Type': 'application/x-www-form-urlencoded',
             'Host': 'httpbin.org',
             'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) '
                           'AppleWebKit/603.3.8 (KHTML, like Gecko) '
                           'Version/10.1.2 Safari/603.3.8'},
 'json': None,
 'origin': '150.95.184.46, 150.95.184.46',
 'url': 'https://httpbin.org/post'}

实例：爬自己文章

from requests_html import HTMLSession

session = HTMLSession()
r = session.get('https://www.jianshu.com/u/18d731821bfc')
r.html.render(scrolldown=50, sleep=.2)
titles = r.html.find('a.title')
for i, title in enumerate(titles):
    print(f'{i+1} [{title.text}](https://www.jianshu.com{title.attrs["href"]})')