python结合影刀RPA,爬取的数据写入execl

        我们在做爬虫时,不仅仅是把我们需要的数据抓取下来就行了,我们还需要把数据保存下来,比如execl,数据库等。这次我们先来介绍爬取的数据写入execl。而我们把爬取的数据写入execl时,会想到使用python的第三方包openpyxl。这样,不管是请求,处理数据,写入数据都需要我们手撸存代码了。但是,如果使用影刀,节省了我们一半繁琐的操作,对于编程新手来说也更加友好。下面,就让我们来瞅瞅:

爬取某后台的消耗记录:

python结合影刀RPA,爬取的数据写入execl_第1张图片

找到返回这个数据的接口:

python结合影刀RPA,爬取的数据写入execl_第2张图片

 记下来就是请求接口,获取响应数据,把数据写入execl,我们分别来对比使用纯python和使用影刀:

python:接口URL,设置请求头,获取响应内容

python结合影刀RPA,爬取的数据写入execl_第3张图片

影刀:

python结合影刀RPA,爬取的数据写入execl_第4张图片

python结合影刀RPA,爬取的数据写入execl_第5张图片

python结合影刀RPA,爬取的数据写入execl_第6张图片

python结合影刀RPA,爬取的数据写入execl_第7张图片

这时,我们只要在影刀里写个python函数处理一下数据,在用影刀把数据写入execl就行了

python结合影刀RPA,爬取的数据写入execl_第8张图片python结合影刀RPA,爬取的数据写入execl_第9张图片 

        用影刀RPA写入数据到execl的整体思路是:1、设置一个列表变量data 。2、请求数据接口,获取数据(此数据是字典数据),把拿到的数据插入列表。3、定义一个python函数根据需求做数据清洗。4、影刀调用这个函数,入参就是我们之前设置的列表变量data,返回的是一个二维数据列表。5、然后通过影刀RPA的指令新建execl,写入内容至execl,关闭execl。

        其实,用影刀自带的指令也能完成我们第三步的内容,但是用影刀自带的指令去实现逻辑比较复杂,会有大量的if,else,就像屎山代码一样了,远不如定义一个函数来做,如果是编程新手,不妨可以试试,哈哈哈哈哈哈哈哈哈哈哈,不管是屎山还是怎样,只要能做出我们的数据就行啦。

最后结果展示:

python结合影刀RPA,爬取的数据写入execl_第10张图片

你可能感兴趣的:(python,爬虫,自动化)