10个Python简单技巧,让数据分析速度加快不止一倍!

全文共3915字,预计学习时长8分钟

10个Python简单技巧,让数据分析速度加快不止一倍!_第1张图片
有时,在编程领域的一个小技巧、一个小的快捷方式或附加组件能极大地提高生产力。下文中的建议和技巧有些可能很常见,有些则较新颖,相信你在将来处理数据分析项目时会派上用场。

在这里插入图片描述

  1. 分析pandas数据框

Profiling是帮助理解数据的过程,而Pandas Profiling 是帮助理解数据的python包,能简单快速地对Pandas数据框进行探索性数据分析。Pandas中 df.describe()和df.info()函数通常作为EDA(电子设计自动化)过程的第一步。但它只提供了一个非常基本的数据概览,对于大型数据集而言,并无太大帮助。此外,Pandas Profiling函数用一行代码显示了很多信息,交互式HTML报告中也显示了这一点。

对于给定的数据集,pandas profiling包计算以下统计数据:
10个Python简单技巧,让数据分析速度加快不止一倍!_第2张图片

安装

pip install pandas-profiling

or

conda install -c anaconda pandas-profiling

用法

下面使用古老的titanic数据集,演示多功能python分析器的功能。

#importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv(‘titanic/train.csv’)

pandas_profiling.ProfileReport(df)

只需要这一行代码就可以在Jupyter笔记本中显示数据分析报告。报告非常详细,包括所有必要的图表。
10个Python简单技巧,让数据分析速度加快不止一倍!_第3张图片

还可以使用以下代码将报告导出到交互式HTML文件中。

profile = pandas_profiling.ProfileReport(df)profile.to_file(outputfile=“Titanic data profiling.html”)

10个Python简单技巧,让数据分析速度加快不止一倍!_第4张图片
在这里插入图片描述

  1. 实现pandas 交互式绘图

Pandas内置的.plot()函数是其dataframe类别的一部分。然而,使用该函数呈现的可视化效果并不具有交互性,这使得其吸引力降低。但也不能否认使用pandas.dataframe.plot()函数绘制图表的方便性。如果不需对代码进行重大修改,就可以像用pandas绘制图表那样巧妙地绘制交互式plotly呢?实际上,在Cufflinks 库的帮助下可做到这一点。

Cufflinks库结合了plotly的力量与pandas的灵活性,便于绘图。现在让我们来看看如何安装这个库,并让它在pandas中工作。

安装

pip install plotly # Plotly is a pre-requisite before

installing cufflinks

pip install cufflinks

用法

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True

现在可以见证Titanic 数据集的神奇之处了。

df.iplot()
10个Python简单技巧,让数据分析速度加快不止一倍!_第5张图片

10个Python简单技巧,让数据分析速度加快不止一倍!_第6张图片
df.iplot() vs df.plot()

上边的可视化结果是静态图表,而下边的图表是交互式的,并且更加详细,所有这些都没有对句法进行任何重大更改。
在这里插入图片描述

  1. 一些Magic

Magic命令是Jupyter笔记本中一组方便的函数,旨在解决标准数据分析中一些常见问题。在%lsmagic的帮助下,你可以看到所有可用的magic。

10个Python简单技巧,让数据分析速度加快不止一倍!_第7张图片
所有可用的magic函数列表

Magic命令有两种:行magic命令, (以单个%字符为前缀,并在一行输入上操作)和单元magic命令(与双%%前缀关联,并在多行输入上操作)。如果将Magic函数设置为1,则无需键入初始%即可调用。

下面是进行常见数据分析任务的一些实用方法:

· % pastebin

%pastebin将代码上载到Pastebin并返回url。pastebin可提供在线内容托管服务,可用语存储纯文本,如源代码片段,可与他人共享url。事实上,Github gist也类似于pastebin,尽管存在版本控制。假设python脚本file.py的内容如下:

#file.py

def foo(x):

return x

在Jupyter笔记本中使用%pastebin会产生一个pasterbin的url。

10个Python简单技巧,让数据分析速度加快不止一倍!_第8张图片
· %matplotlib notebook

%matplotlib内联函数用于呈现Jupyter笔记本中的静态matplotlib绘图。尝试用notebook替换内联部分以轻松获得可缩放和可调整大小的绘图。确保在导入matplotlib库前,调用该函数。

10个Python简单技巧,让数据分析速度加快不止一倍!_第9张图片
%matplotlib inline vs %matplotlib notebook

· %run

%run函数在笔记本中运行python脚本。

%run file.py

· %%writefile

%%writefile将单元格的内容写入文件。这里的代码将被写到一个名为foo.py的文件中,并保存在当前目录中。

10个Python简单技巧,让数据分析速度加快不止一倍!_第10张图片
· %%latex

%%latex函数将单元格内容呈现为LaTeX,这有助于在单元格中编写数学公式和方程。

10个Python简单技巧,让数据分析速度加快不止一倍!_第11张图片
在这里插入图片描述
4. 发现并消除错误

交互式调试器也是一个神奇的函数,但是其已有自己的类别。如果在运行代码单元格时出现异常,请在新行中键入并运行%debug。这将打造一个交互式调试环境,令你置身于异常发生之处。你还可以检查程序中分配的变量值,并在此处执行操作如需退出调试器,请按q。

10个Python简单技巧,让数据分析速度加快不止一倍!_第12张图片
在这里插入图片描述
5. 打印美观

如果想为数据结构生成美观的表示形式,pprint是首选模块。它在打印字典或JSON数据时特别有用。下面是同时使用print和pprint显示输出的示例。

10个Python简单技巧,让数据分析速度加快不止一倍!_第13张图片
在这里插入图片描述

  1. 突出注释

可在Jupyter笔记本中使用警示框/注释框突出显示一些重要的东西或任何需要突出的东西。注释的颜色取决于指定的警告类型。只需在需要突出显示的单元格中添加以下任一代码或所有代码。
在这里插入图片描述

· 蓝色警示框:信息

Tip: Use blue boxes (alert-info) for tips and notes.

If it’s a note, you don’t have to include the word “Note”.

在这里插入图片描述
· 黄色警示框:警告

Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.

![在这里插入图片描述](https://img-blog.csdnimg.cn/20190727180551567.png)

· 绿色警示框:成功

Use green box only when necessary like to display links to related content.

在这里插入图片描述
· 红色警示框:危险

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

在这里插入图片描述

  1. 打印一个单元格的所有输出

如果Jupyter笔记本的一个单元格中包含以下代码行:

In [1]: 10+5

11+6

Out [1]: 17

单元格的正常属性是只打印最后一个输出,要打印其他输出,需要添加print()函数。事实上,只要在笔记本的顶部添加以下代码片段,就可以打印所有输出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = “all”

接下来所有的输出便会依次打印。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢复原来的设置:

InteractiveShell.ast_node_interactivity = “last_expr”

在这里插入图片描述
8. 使用“i”选项运行python脚本

从命令行运行python脚本的一种典型方法是:python hello.py。但如果在运行相同的脚本时添加一个-i,即 python -i hello.py ,会产生更多好处。原因如下:

· 首先,一旦程序结束,python不会退出解释器。因此,可检查变量值和程序中定义函数的正确性。
10个Python简单技巧,让数据分析速度加快不止一倍!_第14张图片

· 其次,可以很容易地调用python调试器,因为通过以下代码即可仍处于解释器中:

import pdb

pdb.pm()

这能定位异常情况发生之处,从而修正代码。

在这里插入图片描述
9. 自动注释代码

Ctrl/Cmd + / 自动注释单元格中选定的行。再次点击该组合将取消对同一行代码的注释。

10个Python简单技巧,让数据分析速度加快不止一倍!_第15张图片在这里插入图片描述

  1. 删除容易恢复难

你是否曾经不小心删除了Jupyter笔记本中的一个单元格?

如果是,这里有一个快捷方式可以撤消删除操作。

· 如果删除了一个单元格中的内容,按CTRL/CMD+Z即可恢复该内容。

· 如果需要恢复整个删除的单元格,按ESC+Z 或者EDIT > Undo Delete Cells即可。
10个Python简单技巧,让数据分析速度加快不止一倍!_第16张图片
在这里插入图片描述
留言 点赞 关注

我们一起分享AI学习与发展的干货

欢迎关注全平台AI垂类自媒体 “读芯术”

10个Python简单技巧,让数据分析速度加快不止一倍!_第17张图片

(添加小编微信:dxsxbb,加入读者圈,一起讨论最新鲜的人工智能科技哦~)

你可能感兴趣的:(干货文章,干货文章)