Dask介绍

Dask 是一个灵活的 Python 并行计算库。

Dask由两部分组成：

1. 为计算优化的动态任务调度。这类似于 Airflow、Luigi、Celery 或 Make，但针对交互式计算工作负载进行了优化。

2. “大数据”集合，如并行数组、数据帧和列表，将常用接口（如NumPy、Pandas 或 Python 迭代器）扩展到大于内存或分布式环境。这些并行集合运行在动态任务调度程序之上。

Dask 强调以下优点：

• 熟悉：提供并行化的 NumPy 数组和 Pandas DataFrame 对象

• 灵活：为更多自定义工作负载和与其他项目的集成提供任务调度接口。

• Native：通过访问 PyData 堆栈，在纯 Python 中启用分布式计算。

• 快速：以低开销、低延迟和快速数值算法所需的最少序列化运行

• 向上扩展：在具有 1000 个内核的集群上弹性运行

• 缩小：在单个进程中在笔记本电脑上设置和运行是微不足道的

• 响应式：在设计时考虑到交互式计算，它提供快速反馈和诊断以帮助人类

通过一段时间的学习，个人感觉dask的上手体验还是很不错的。操作起来和pandas基本一样，而且支持对于较大规模数据集的处理。工作环境里，并没有spark环境，只有普通的单机环境。所以计划在未来一段时间里，多使用dask来解决一些数据处理问题。