Python爬虫,还可以制作高逼格的进度条?

一般情况下,运维或是开发会用Python爬虫来进行数据抓取,或是监控事件等,这都是很稀松平的。可是怎么有效的监控任务的进度,一种方法是在任务中加入log,除此之外,还有其他方法能掌握任务进度的吗?

接下来就和大家简单介绍一下,进度条

  1. 标准输出

开始我们讲讲在操作系统里,有哪几种控制符:

r: 把光标移动到当前行的首位但不换行;

n:把光标移动到下一行,但不移动到首位;

rn:把光标移动到下一行首位。

下面一起看看怎么利用Python爬虫在标准输出里加进度条吧

Python爬虫,还可以制作高逼格的进度条?_第1张图片

实际效果如图

Python爬虫,还可以制作高逼格的进度条?_第2张图片

  1. tqdm模块

tqdm是一个快速、扩展性强的进度条工具库,它提供了特别多的接口。

那么,怎么通过tqdm模块来建立进度条

a. 首先是安装,比较简单

pip install tqdm

b. 下一步就是使用啦

from time import sleep

from tqdm import tqdm

这里一样的,tqdm就是这个进度条最常用的一个方法

里面存一个可迭代对象

for i in tqdm(range(1, 500)):

模拟你的任务

sleep(0.01)

看到这里是不是觉得tqdm特别的容易呢?这仅仅是一个简单的例子,也能特别的复杂,也支持多进程、多线程,看下多进程的,如图
Python爬虫,还可以制作高逼格的进度条?_第3张图片

公众号:芝麻HTTP代理
千万ip免费领

你可能感兴趣的:(Python爬虫,还可以制作高逼格的进度条?)