8个 Python 自动探索性数据分析神库！

探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行EDA来研究数据集中内在的信息。自动化的EDA Python包可以用几行Python代码执行EDA。

在本文中整理了10个可以自动执行EDA并生成有关数据的见解的Python包，看看他们都有什么功能，能在多大程度上帮我们自动化解决EDA的需求。

1. DTale

2. Pandas-profiling

3. sweetviz

4. autoviz

5. dataprep

6. KLib

7. dabl

8. speedML

1、D-Tale

D-Tale使用Flask作为后端、React前端并且可以与ipython notebook和终端无缝集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。

import dtale  
import pandas as pd  
dtale.show(pd.read\_csv("titanic.csv"))  

D-Tale库用一行代码就可以生成一个报告，其中包含数据集、相关性、图表和热图的总体总结，并突出显示缺失的值等。D-Tale还可以为报告中的每个图表进行分析，上面截图中我们可以看到图表是可以进行交互操作的。

2、Pandas-Profiling

Pandas-Profiling可以生成Pandas DataFrame的概要报告。panda-profiling扩展了pandas DataFrame df.profile_report()，并且在大型数据集上工作得非常好，它可以在几秒钟内创建报告。

#Install the below libaries before importing  
import pandas as pd  
from pandas\_profiling import ProfileReport  
  
#EDA using pandas-profiling  
profile = ProfileReport(pd.read\_csv('titanic.csv'), explorative=True)  
  
#Saving results to a HTML file  
profile.to\_file("output.html")

3、Sweetviz

Sweetviz是一个开源的Python库，只需要两行Python代码就可以生成漂亮的可视化图，将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕快速可视化目标值和比较数据集构建的。

import pandas as pd  
import sweetviz as sv  
  
#EDA using Autoviz  
sweet\_report = sv.analyze(pd.read\_csv("titanic.csv"))  
  
#Saving results to HTML file  
sweet\_report.show\_html('sweet\_report.html')  

Sweetviz库生成的报告包含数据集、相关性、分类和数字特征关联等的总体总结。

4、AutoViz

Autoviz包可以用一行代码自动可视化任何大小的数据集，并自动生成HTML、bokeh等报告。用户可以与AutoViz包生成的HTML报告进行交互。

import pandas as pd  
from autoviz.AutoViz\_Class import AutoViz\_Class  
  
#EDA using Autoviz  
autoviz = AutoViz\_Class().AutoViz('train.csv')  

5、Dataprep

Dataprep是一个用于分析、准备和处理数据的开源Python包。DataPrep构建在Pandas和Dask DataFrame之上，可以很容易地与其他Python库集成。

DataPrep的运行速度这10个包中最快的，他在几秒钟内就可以为Pandas/Dask DataFrame生成报告。

from dataprep.datasets import load\_dataset  
from dataprep.eda import create\_report  
  
df = load\_dataset("titanic.csv")  
create\_report(df).show\_browser()  

6、Klib

klib是一个用于导入、清理、分析和预处理数据的Python库。

import klib  
import pandas as pd  
  
df = pd.read\_csv('DATASET.csv')  
klib.missingval\_plot(df)  

klib.corr\_plot(df\_cleaned, annot=False)  

klib.dist\_plot(df\_cleaned\['Win\_Prob'\])  

klib.cat\_plot(df, figsize=(50,15))  

klibe虽然提供了很多的分析函数，但是对于每一个分析需要我们手动的编写代码，所以只能说是半自动化的操作，但是如果我们需要更定制化的分析，他是非常方便的。

7、Dabl

Dabl不太关注单个列的统计度量，而是更多地关注通过可视化提供快速概述，以及方便的机器学习预处理和模型搜索。

dabl中的Plot()函数可以通过绘制各种图来实现可视化，包括:

• 目标分布图

• 散点图

• 线性判别分析

import pandas as pd  
import dabl  
  
df = pd.read\_csv("titanic.csv")  
dabl.plot(df, target\_col="Survived")  

8、Speedml

SpeedML是用于快速启动机器学习管道的Python包。SpeedML整合了一些常用的ML包，包括 Pandas，Numpy，Sklearn，Xgboost 和 Matplotlib，所以说其实SpeedML不仅仅包含自动化EDA的功能。

SpeedML官方说，使用它可以基于迭代进行开发，将编码时间缩短了70％。

from speedml import Speedml  
  
sml = Speedml('../input/train.csv', '../input/test.csv',  
            target = 'Survived', uid = 'PassengerId')  
sml.train.head()  
  

sml.plot.correlate()  

sml.plot.distribute()  

sml.plot.ordinal('Parch')  

sml.plot.ordinal('SibSp')  

sml.plot.continuous('Age')  

---------------------------END---------------------------

题外话

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

CSDN大礼包：全网最全《Python学习资料》免费赠送！（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

CSDN大礼包：全网最全《Python学习资料》免费赠送！（安全链接，放心点击）

若有侵权，请联系删除