python引用大数据_在Python中妥善使用进度条

❝

本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes

❞

1 简介

在日常运行程序的过程中常常涉及到「循环迭代」过程，对于执行时间很短的程序来说倒无所谓，但对于运行过程有明显耗时的涉及「循环迭代」的程序，为其加上「进度条」(progress bar)，是帮助我们监测代码执行进度以及处理中间异常错误非常实用的技巧。

图1

本文就将为大家介绍Python中非常实用又风格迥异的两个进度条相关库——tqdm与alive-progress的主要用法。

2 tqdm常用方法

tqdm是Python中所有进度条相关库中最出名的，既然是最出名的，自然有它独到之处。

tqdm不仅可以生成基础的可在终端中显示的进度条，还可以配合jupyter notebook和jupyter lab生成更加美观的网页「交互」部件形式的进度条，更是和pandas强强联手，为pandas中的一些操作提供专有的进度条功能。

下面我们来对tqdm的主要功能进行介绍。

2.1 基础用法

因为是第三方库，首先需要利用pip install tqdm或 conda install -c conda-forge tqdm对其进行安装，安装完成后先来看看它最基本的用法：

图2

利用tqdm.tqdm，将for循环过程中进行迭代的对象简单包裹，就实现了为循环过程添加进度条以及打印执行速度、已运行时间与预估剩余运行时间等实用信息的功能，同样也可用于「列表推导」：

图3

而针对迭代对象是range()的情况，tqdm还提供了简化版的trange()来代替tqdm(range())：

图4

其附带的参数desc还可以帮助我们设置进度条的说明文字：

图5

而如果想要在迭代过程中变更说明文字，还可以预先实例化进度条对象，在需要刷新说明文字的时候执行相应的程序：

图6

但当迭代的对象长度一开始未知时，譬如对pandas中的DataFrame.itertuples()进行迭代，我们就只能对其执行速度等信息进行估计，但无法看到进度条递增情况，因为tqdm不清楚迭代的终点如何：

图7

2.2 配合jupyter notebook/jupyter lab的美观进度条

tqdm对jupyter notebook和jupyter lab有着特殊的支持，且使用方法非常简单，只需要将原有的from tqdm import XXX的相应功能导入格式修改为from tqdm.notebook import XXX就可以了，以trange为例：

图8

2.3 配合pandas中的apply

tqdm对pandas中的apply()过程提供了特殊的支持，因为pandas中的apply()本质上就是串行循环运算，你可以将pandas中的任何apply操作替换为progress_apply，并且记住每个单独的progress_apply前要先执行tqdm.pandas()，就像下面的例子一样：

图9

3 alive-progress常用方法

虽然与tqdm一样都是为了给循环过程加上进度条而诞生的库，但alive-progress相比tqdm增加了更多花样繁多的动态效果，我们通过调用其专门提供的showtime()函数可以查看所有可用的动态进度条样式：

图10

同样类似地可以查看所有进度条样式：

图11

使用起来也是非常简单，但与tqdm用法区别很大，需要配合with关键词，譬如下面我们使用到alive_progress中的alive_bar来生成动态进度条：

图12

通过修改bar参数来改变进度条的样式：

图13

更多关于alive-progress的内容感兴趣的朋友可以查看官方说明：(https://github.com/rsalmei/alive-progress)，但比较遗憾的是目前的alive-progress只能在终端中运行，还没有为jupyter开发更美观的交互式部件，但你可以在譬如网络爬虫等任务中使用它，效果也是很不错的。

以上就是本文的全部内容，如有疑问欢迎在评论区与我讨论~