python的速度问题_10个Python简单技巧，让数据分析速度加快不止一倍！
全文共3915字，预计学习时长8分钟
有时，在编程领域的一个小技巧、一个小的快捷方式或附加组件能极大地提高生产力。下文中的建议和技巧有些可能很常见，有些则较新颖，相信你在将来处理数据分析项目时会派上用场。
1. 分析pandas数据框
Profiling是帮助理解数据的过程，而Pandas Profiling 是帮助理解数据的python包，能简单快速地对Pandas数据框进行探索性数据分析。Pandas中 df.describe()和df.info()函数通常作为EDA（电子设计自动化）过程的第一步。但它只提供了一个非常基本的数据概览，对于大型数据集而言，并无太大帮助。此外，Pandas Profiling函数用一行代码显示了很多信息，交互式HTML报告中也显示了这一点。
对于给定的数据集，pandas profiling包计算以下统计数据：
安装
pip install pandas-profiling
or
conda install -c anaconda pandas-profiling
用法
下面使用古老的titanic数据集，演示多功能python分析器的功能。
#importing the necessary packages
import pandas as pd
import pandas_profiling
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)
只需要这一行代码就可以在Jupyter笔记本中显示数据分析报告。报告非常详细，包括所有必要的图表。
还可以使用以下代码将报告导出到交互式HTML文件中。
profile = pandas_profiling.ProfileReport(df)profile.to_file(outputfile="Titanic data profiling.html")
2. 实现pandas 交互式绘图
Pandas内置的.plot()函数是其dataframe类别的一部分。然而，使用该函数呈现的可视化效果并不具有交互性，这使得其吸引力降低。但也不能否认使用pandas.dataframe.plot()函数绘制图表的方便性。如果不需对代码进行重大修改，就可以像用pandas绘制图表那样巧妙地绘制交互式plotly呢？实际上，在Cufflinks 库的帮助下可做到这一点。
Cufflinks库结合了plotly的力量与pandas的灵活性，便于绘图。现在让我们来看看如何安装这个库，并让它在pandas中工作。
安装
pip install plotly # Plotly is a pre-requisite before
installing cufflinks
pip install cufflinks
用法
#importing Pandas
import pandas as pd
#importing plotly and cufflinks in offline mode
import cufflinks as cf
import plotly.offline
cf.go_offline()
cf.set_config_file(offline=False, world_readable=True
现在可以见证Titanic 数据集的神奇之处了。
df.iplot()
df.iplot() vs df.plot()
上边的可视化结果是静态图表，而下边的图表是交互式的，并且更加详细，所有这些都没有对句法进行任何重大更改。
3. 一些Magic
Magic命令是Jupyter笔记本中一组方便的函数，旨在解决标准数据分析中一些常见问题。在%lsmagic的帮助下，你可以看到所有可用的magic。
所有可用的magic函数列表
Magic命令有两种：行magic命令, （以单个%字符为前缀，并在一行输入上操作）和单元magic命令（与双%%前缀关联，并在多行输入上操作）。如果将Magic函数设置为1，则无需键入初始%即可调用。
下面是进行常见数据分析任务的一些实用方法：
· % pastebin
%pastebin将代码上载到Pastebin并返回url。pastebin可提供在线内容托管服务，可用语存储纯文本，如源代码片段，可与他人共享url。事实上，Github gist也类似于pastebin，尽管存在版本控制。假设python脚本file.py的内容如下：
#file.py
def foo(x):
return x
在Jupyter笔记本中使用%pastebin会产生一个pasterbin的url。
· %matplotlib notebook
%matplotlib内联函数用于呈现Jupyter笔记本中的静态matplotlib绘图。尝试用notebook替换内联部分以轻松获得可缩放和可调整大小的绘图。确保在导入matplotlib库前，调用该函数。
%matplotlib inline vs %matplotlib notebook
· %run
%run函数在笔记本中运行python脚本。
%run file.py
· %%writefile
%%writefile将单元格的内容写入文件。这里的代码将被写到一个名为foo.py的文件中，并保存在当前目录中。
· %%latex
%%latex函数将单元格内容呈现为LaTeX，这有助于在单元格中编写数学公式和方程。
4. 发现并消除错误
交互式调试器也是一个神奇的函数，但是其已有自己的类别。如果在运行代码单元格时出现异常，请在新行中键入并运行%debug。这将打造一个交互式调试环境，令你置身于异常发生之处。你还可以检查程序中分配的变量值，并在此处执行操作如需退出调试器，请按q。
5. 打印美观
如果想为数据结构生成美观的表示形式，pprint是首选模块。它在打印字典或JSON数据时特别有用。下面是同时使用print和pprint显示输出的示例。
6. 突出注释
可在Jupyter笔记本中使用警示框/注释框突出显示一些重要的东西或任何需要突出的东西。注释的颜色取决于指定的警告类型。只需在需要突出显示的单元格中添加以下任一代码或所有代码。
· 蓝色警示框：信息
Tip: Use blue boxes (alert-info) for tips and notes.
If it’s a note, you don’t have to include the word “Note”.
· 黄色警示框：警告
Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.
· 绿色警示框：成功
Use green box only when necessary like to display links to related content.
· 红色警示框：危险
It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.
7. 打印一个单元格的所有输出
如果Jupyter笔记本的一个单元格中包含以下代码行：
In [1]: 10+5
11+6
Out [1]: 17
单元格的正常属性是只打印最后一个输出，要打印其他输出，需要添加print()函数。事实上，只要在笔记本的顶部添加以下代码片段，就可以打印所有输出。
from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"
接下来所有的输出便会依次打印。
In [1]: 10+5
11+6
12+7
Out [1]: 15
Out [1]: 17
Out [1]: 19
恢复原来的设置：
InteractiveShell.ast_node_interactivity = "last_expr"
8. 使用“i”选项运行python脚本
从命令行运行python脚本的一种典型方法是：python hello.py。但如果在运行相同的脚本时添加一个-i，即 python -i hello.py ，会产生更多好处。原因如下：
· 首先，一旦程序结束，python不会退出解释器。因此，可检查变量值和程序中定义函数的正确性。
· 其次，可以很容易地调用python调试器，因为通过以下代码即可仍处于解释器中：
import pdb
pdb.pm()
这能定位异常情况发生之处，从而修正代码。
9. 自动注释代码
Ctrl/Cmd + / 自动注释单元格中选定的行。再次点击该组合将取消对同一行代码的注释。
10. 删除容易恢复难
你是否曾经不小心删除了Jupyter笔记本中的一个单元格？
如果是，这里有一个快捷方式可以撤消删除操作。
· 如果删除了一个单元格中的内容，按CTRL/CMD+Z即可恢复该内容。
· 如果需要恢复整个删除的单元格，按ESC+Z 或者EDIT > Undo Delete Cells即可。
留言 点赞 关注我们一起分享AI学习与发展的干货欢迎关注全平台AI垂类自媒体 “读芯术”