10个Python简单技巧，让数据分析速度加快不止一倍（附零基础学习资料）

前言

有时，在编程领域的一个小技巧、一个小的快捷方式或附加组件能极大地提高生产力。下文中的建议和技巧有些可能很常见，有些则较新颖，相信你在将来处理数据分析项目时会派上用场。

（文末送读者福利）

1. 分析pandas数据框

Profiling是帮助理解数据的过程，而Pandas Profiling 是帮助理解数据的python包，能简单快速地对Pandas数据框进行探索性数据分析。Pandas中 df.describe()和df.info()函数通常作为EDA（电子设计自动化）过程的第一步。但它只提供了一个非常基本的数据概览，对于大型数据集而言，并无太大帮助。此外，Pandas Profiling函数用一行代码显示了很多信息，交互式HTML报告中也显示了这一点。

对于给定的数据集，pandas profiling包计算以下统计数据：

安装

pip install pandas-profiling

or

conda install -c anaconda pandas-profiling

用法

下面使用古老的titanic数据集，演示多功能python分析器的功能。

#importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv(‘titanic/train.csv’)

pandas_profiling.ProfileReport(df)

只需要这一行代码就可以在Jupyter笔记本中显示数据分析报告。报告非常详细，包括所有必要的图表。

还可以使用以下代码将报告导出到交互式HTML文件中。

profile = pandas_profiling.ProfileReport(df)profile.to_file(outputfile=“Titanic data profiling.html”)

2. 实现pandas 交互式绘图

Pandas内置的.plot()函数是其dataframe类别的一部分。然而，使用该函数呈现的可视化效果并不具有交互性，这使得其吸引力降低。但也不能否认使用pandas.dataframe.plot()函数绘制图表的方便性。如果不需对代码进行重大修改，就可以像用pandas绘制图表那样巧妙地绘制交互式plotly呢？实际上，在Cufflinks 库的帮助下可做到这一点。

Cufflinks库结合了plotly的力量与pandas的灵活性，便于绘图。现在让我们来看看如何安装这个库，并让它在pandas中工作。

安装

pip install plotly # Plotly is a pre-requisite before

installing cufflinks

pip install cufflinks

用法

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True

现在可以见证Titanic 数据集的神奇之处了。

df.iplot()

df.iplot() vs df.plot()

上边的可视化结果是静态图表，而下边的图表是交互式的，并且更加详细，所有这些都没有对句法进行任何重大更改。

3. 一些Magic

Magic命令是Jupyter笔记本中一组方便的函数，旨在解决标准数据分析中一些常见问题。在%lsmagic的帮助下，你可以看到所有可用的magic。

所有可用的magic函数列表

Magic命令有两种：行magic命令, （以单个%字符为前缀，并在一行输入上操作）和单元magic命令（与双%%前缀关联，并在多行输入上操作）。如果将Magic函数设置为1，则无需键入初始%即可调用。

下面是进行常见数据分析任务的一些实用方法：

· % pastebin

%pastebin将代码上载到Pastebin并返回url。pastebin可提供在线内容托管服务，可用语存储纯文本，如源代码片段，可与他人共享url。事实上，Github gist也类似于pastebin，尽管存在版本控制。假设python脚本file.py的内容如下：

#file.py

def foo(x):

return x

在Jupyter笔记本中使用%pastebin会产生一个pasterbin的url。

%matplotlib notebook

%matplotlib内联函数用于呈现Jupyter笔记本中的静态matplotlib绘图。尝试用notebook替换内联部分以轻松获得可缩放和可调整大小的绘图。确保在导入matplotlib库前，调用该函数。

%matplotlib inline vs %matplotlib notebook

· %run

%run函数在笔记本中运行python脚本。

%run file.py

· %%writefile

%%writefile将单元格的内容写入文件。这里的代码将被写到一个名为foo.py的文件中，并保存在当前目录中。

%%latex

%%latex函数将单元格内容呈现为LaTeX，这有助于在单元格中编写数学公式和方程。

4. 发现并消除错误

交互式调试器也是一个神奇的函数，但是其已有自己的类别。如果在运行代码单元格时出现异常，请在新行中键入并运行%debug。这将打造一个交互式调试环境，令你置身于异常发生之处。你还可以检查程序中分配的变量值，并在此处执行操作如需退出调试器，请按q。

5. 打印美观

如果想为数据结构生成美观的表示形式，pprint是首选模块。它在打印字典或JSON数据时特别有用。下面是同时使用print和pprint显示输出的示例。

6. 突出注释

可在Jupyter笔记本中使用警示框/注释框突出显示一些重要的东西或任何需要突出的东西。注释的颜色取决于指定的警告类型。只需在需要突出显示的单元格中添加以下任一代码或所有代码。

· 蓝色警示框：信息

Tip: Use blue boxes (alert-info) for tips and notes.

If it’s a note, you don’t have to include the word “Note”.

黄色警示框：警告

Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.

绿色警示框：成功

Use green box only when necessary like to display links to related content.

红色警示框：危险

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

7. 打印一个单元格的所有输出

如果Jupyter笔记本的一个单元格中包含以下代码行：

In [1]: 10+5

11+6

Out [1]: 17

单元格的正常属性是只打印最后一个输出，要打印其他输出，需要添加print()函数。事实上，只要在笔记本的顶部添加以下代码片段，就可以打印所有输出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = “all”

接下来所有的输出便会依次打印。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢复原来的设置：

InteractiveShell.ast_node_interactivity = “last_expr”

8. 使用“i”选项运行python脚本

从命令行运行python脚本的一种典型方法是：python hello.py。但如果在运行相同的脚本时添加一个-i，即 python -i hello.py ，会产生更多好处。原因如下：

· 首先，一旦程序结束，python不会退出解释器。因此，可检查变量值和程序中定义函数的正确性。

其次，可以很容易地调用python调试器，因为通过以下代码即可仍处于解释器中：

import pdb

pdb.pm()

这能定位异常情况发生之处，从而修正代码。

9. 自动注释代码

Ctrl/Cmd + / 自动注释单元格中选定的行。再次点击该组合将取消对同一行代码的注释。

10. 删除容易恢复难

你是否曾经不小心删除了Jupyter笔记本中的一个单元格？

如果是，这里有一个快捷方式可以撤消删除操作。

· 如果删除了一个单元格中的内容，按CTRL/CMD+Z即可恢复该内容。

· 如果需要恢复整个删除的单元格，按ESC+Z 或者EDIT > Undo Delete Cells即可。

留言 点赞 关注

我们一起分享AI学习与发展的干货

读者福利：知道你对Python感兴趣，便准备了这套python学习资料

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面还可以找到适合自己的学习方案

包括：Python永久使用安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等学习教程。带你从零基础系统性的学好Python！

零基础Python学习资源介绍

Python学习路线汇总

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（学习教程文末领取哈）

Python必备开发工具

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

Python学习视频600合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

100道Python练习题

检查学习结果。

面试刷题

资料领取

这份完整版的Python全套学习资料已为大家备好，朋友们如果需要可以微信扫描下方二维码添加，输入"领取资料" 可免费领取全套资料【有什么需要协作的还可以随时联系我】朋友圈也会不定时的更新最前言python知识。

这世界上赚钱成本最低的就是：用知识投资大脑

人生什么时候学习都不晚，晚的是你一直想学却一直没有行动，而导致大量内耗

最后祝你学习愉快

好文推荐

了解python的前景：https://blog.csdn.net/weixin_49891576/article/details/127187029

了解python的副业兼职赚钱：https://blog.csdn.net/weixin_49891576/article/details/127125308