接口测试requests（爬取网页小练习）

接口关联，自动处理cookie

当cookie信息很多时，我们可以使用requests库提供的Session对象自动处理Cookie信息

Session对象会在同一次会话中，自动存储全部的Cookie信息，并在下一次发请求时自动携带Cookie。

Session对象表示客户端和服务端的一次会话，也就是用同一个session对象发送请求就看做成同一个会话

代码实现：

1 创建一个session对象

2 之前通过requrest发送的请求，都用session代替即可

3 这些写的话后面的请求共用cookie，就不用单独再传入cookie了

session = requests.session()
#...
res = session.get(url=url)
res = session.post(url=user_url,headers=headers,data=data)

爬虫练习

爬取n页的标题和时间，写入data.txt文档里

import re
import requests
import time
for page in range(1,11):
    if page == 1:
        url = 'xxx'
    else:
        url = 'xxx/xxx_{}.html'.format(page)
    res = requests.get(url=url)
    res.encoding = 'utf-8'
    html = res.text
    a_ls = re.findall(r'
(.*?)
', html)
    t_ls = re.findall(r'
(.*?)
', html)
    with open('demo.txt','a',encoding='utf-8') as f:
        for a,t in zip(a_ls, t_ls):
            title = re.findall(r'title="(.*?)"',a)[0]
            con = '[{}]{}\n'.format(title, t)
            f.write(con)
    print(f'第{page}页爬完')
    time.sleep(1)

最后： 为了回馈铁杆粉丝们，我给大家整理了完整的软件测试视频学习教程，朋友们如果需要可以自行免费领取 【保证100%免费】

 全套资料获取方式：点击下方小卡片自行领取即可