Python网络爬虫04——requests_html库

详细学习requests_html库

官方文档:

http://html.python-requests.org/

安装

pip3 install requests_html

获取网页:

from requests_html import HTMLSession,HTML

session = HTMLSession()
url = "https://www.qiushibaike.com/text/"
h = session.get(url=url)

requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的,所以我们需要用另一个HTTP库先把网页下载下来,然后传给那些HTML解析库。
而requests-html自带了这个功能,所以在爬取网页等方面非常方便

查看页面内容

print(h.html.html)

获取连接:

links和absolute_links两个属性分别返回HTML对象所包含的所有链接和绝对链接(均不包含锚点)

相对路径

for _ in h.html.links:
    print(_)

绝对路径

for _ in h.html.absolute_links:
    print(_)

获取元素:

request-html支持CSS选择器和XPATH两种语法来选取HTML元素。
1、CSS选择器语法,它需要使用HTML的find函数,该函数有5个参数,作用如下:

  • selector,要用的CSS选择器;
  • clean,布尔值,如果为真会忽略HTML中style和script标签造成的影响(原文是sanitize,大概这么理解);
  • containing,如果设置该属性,会返回包含该属性文本的标签;
  • first,布尔值,如果为真会返回第一个元素,否则会返回满足条件的元素列表;
  • _encoding,编码格式。

首页菜单文本

print(h.html.find('div#menu',first=True).text)

查看菜单元素

print(h.html.find('div#menu a'))

段子内容

list_story = []
for i in h.html.find('div.content span'):
    # print(i.text)
    # print()
    list_story.append(i.text)
print(list_story)

2、XPATH语法,这需要另一个函数xpath的支持,它有4个参数如下:

  • selector,要用的XPATH选择器;
  • clean,布尔值,如果为真会忽略HTML中style和script标签造成的影响(原文是sanitize,大概这么理解);
  • first,布尔值,如果为真会返回第一个元素,否则会返回满足条件的元素列表;
  • _encoding,编码格式。

获取首页菜单文本

print(h.html.xpath("//div[@id='menu']",first=True).text)

查看菜单元素

print(h.html.xpath("//div[@id='menu']/a"))

段子内容

print(h.html.xpath("//div[@class='content']/span/text()"))

元素内容

e = h.html.find('div#hd_logo',first=True)
print(e.text)

要获取元素的attribute,用attr属性

print(e.attrs)

获取元素的html代码

print(e.html)

要搜索元素的文本内容,用search函数

print(e.search('糗{事}{}科')[0])

两个链接属性

print(e.links)  # 相对路径
print(e.absolute_links) # 绝对路径

JavaScript支持

r = session.get('http://python-requests.org/')
r.html.render()

3、render函数还有一些参数,顺便介绍一下(这些参数有的还有默认值,直接看源代码方法参数列表即可):

  • retries: 加载页面失败的次数
  • script: 页面上需要执行的JS脚本(可选)
  • wait: 加载页面钱的等待时间(秒),防止超时(可选)
  • scrolldown: 页面向下滚动的次数
  • sleep: 在页面初次渲染之后的等待时间
  • reload: 如果为假,那么页面不会从浏览器中加载,而是从内存中加载
  • keep_page: 如果为真,允许你用r.html.page访问页面

智能分页

rq = session.get("https://reddit.com")
for html in rq.html:
    print(html)

直接使用HTML

doc = """
        

    
        
        首页
    
    
        

Hello, world!

这是一个神奇的网站!


这是一个例子程序

静夜思

床前明月光

疑似地上霜

举头望明月

腾讯网 美女 凯蒂猫 美女
姓名 上场时间 得分 篮板 助攻
test_html = HTML(html=doc)
print(test_html.links)

直接渲染JS代码

script = """
        () => {
            return {
                width: document.documentElement.clientWidth,
                height: document.documentElement.clientHeight,
                deviceScaleFactor: window.devicePixelRatio,
            }
        }
    """
my_html = test_html.render(script=script,reload=False)
print(my_html)
print(test_html.html)

自定义请求

4、自定义用户代理:有些网站会使用UA来识别客户端类型,有时候需要伪造UA来实现某些操作。
如果查看文档的话会发现HTMLSession上的很多请求方法都有一个额外的参数**kwargs,
这个参数用来向底层的请求传递额外参数。我们先向网站发送一个请求,看看返回的网站信息

from pprint import pprint   # 提供了可以按照某个格式正确的显示python已知类型数据的一种方法
import json

pp_r = session.get('http://httpbin.org/get')
pprint(json.loads(pp_r.html.html))

更换UA ,这里拿UA距离,如果有需要可以在header中修改其他参数

ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0'
ppp_r = session.get('http://httpbin.org/get',headers={'user-agent': ua})
pprint(json.loads(ppp_r.html.html))

模拟表单登陆:

HTMLSession带了一整套的HTTP方法,包括get、post、delete等,对应HTTP中各个方法。比如下面我们就来模拟一下表单登录

表单登陆

r1 = session.post('http://httpbin.org/post', data={'username': 'good', 'passwd': 123456})
pprint(json.loads(r1.html.html))

实例:爬去自己文章

my_url = 'https://www.jianshu.com/u/1f9e71a85238'
my_requests = session.get(url=my_url)
my_requests.html.render(scrolldown=50,sleep=2)
titles = my_requests.html.find('a.title')
for i,title in enumerate(titles):
    print(f'{i+1} {title.text}:https://www.jianshu.com{title.attrs["href"]}')

你可能感兴趣的:(Python网络爬虫04——requests_html库)