Jupyter Notebooks数据科学最佳实践指南

Jupyter Notebooks数据科学最佳实践指南_第1张图片
image

本文为 AI 研习社编译的技术博客,原标题 :

Bringing the best out of Jupyter Notebooks for Data Science

作者 |* Parul Pandey*

翻译 | 孙稚昊2

校对 | 邓普斯•杰弗 审核 | 酱番梨 整理 | 立鱼王

原文链接:

https://towardsdatascience.com/bringing-the-best-out-of-jupyter-notebooks-for-data-science-f0871519ca29

Jupyter Notebooks数据科学最佳实践指南_第2张图片
照片由 Aaron Burden 在Unsplash上提供

让我们重新审视Jupyter notebook是什么和能解决什么问题

Netflix 致力于为1亿3千万用户提供个性化内容。Netflix的数据科学家和工程师的一个与数据有效交互的工具是Jupyter notebook。Notebook 提供了可合作,可延伸,可扩展,和可复现的数据科学。对于我们来说,Jupyter notebook 是快速制作原型和探索分析的首选。然后,有很多我们没有注意到的东西。许多Jupyter的功能都没被发现,并未被充分使用。然后来看看Jupyter Notebook的许多好功能,它们能提高我们的效率。

内容列表

1. 执行Shell命令

2. Jupyter 主题

3. Notebook 插件

4. Jupyter 组件

5. Qgrid

6. 幻灯片展示

7. 插入URL, PDF 和 Youtube 视频

1.执行命令行命令

Notebook是新的命令行窗口。

命令行是用文本和电脑交互的手段。最有名的Unix 命令行是 Bash (Bourne Again Shell )。Bash 是大部分现有的Unix系统和Windows的类似Unix 工具里面的默认命令行。

现在,当我们使用python解释器时,我们需要不停地在命令行和IDE 之间切换,当我们需要使用命令行工具时。不过,Jupyter Notebook给了我们在notebook中运行shell命令的能力,在指令前多放一个!就行了。任何命令行的指令都可以在IPython 中运行,只要前面多一个!。

In [1]: !ls
example.jpeg list tmp

In [2]: !pwd
/home/Parul/Desktop/Hello World Folder'

In [3]: !echo "Hello World"
Hello World

我们可以像下面这样把值传入和传出shell 命令:

In [4]: files= !ls

In [5]: print(files)
['example.jpeg', 'list', 'tmp']

In [6]: directory = !pwd

In [7]: print(directory)
['/Users/Parul/Desktop/Hello World Folder']

In [8]: type(directory)
IPython.utils.text.SList

注意,返回结果的数据类型并不是list。

2. Jupyter 主题

改变你的Jupyter notebook的主题!

如果你厌倦顶着Jupyter notebook的白背景,这些主题会很适合你。有的主题可以突出现实代码。你可以在这里找到Jupyter 的主题。我们来看看。

安装:

pip install jupyterthemes

列出所有主题

现在,可用的主题包括 chesterish, grade3, gruvboxd, gruvboxl monokai, oceans16, onedork, solarizedd ,solarizedl。

# selecting a particular theme

jt -t 
# reverting to original Theme
jt -r
jt -t 
# reverting to original Theme
jt -r

每次更换主题后,你都需要刷新jupyter notebook页面来使主题生效。

同样的指令也可以在Jupyter notebook内执行,只要在前面加上!

Jupyter Notebooks数据科学最佳实践指南_第3张图片
Jupyter Notebooks数据科学最佳实践指南_第4张图片
Jupyter Notebooks数据科学最佳实践指南_第5张图片
左:原本| 中间: Chesterish主题 | 右:solarizedl 主题

3. Notebook 插件

拓展可能性

Notebook 插件可以让你用与众不同的方式使用Jupyter Notebooks. Notebook 插件 (也叫nbextensions)是在Notebook前端加载的Javascript 模块。这些插件可以修改用户体验和界面。

安装

用conda安装:

conda install -c conda-forge jupyter_nbextensions_configurator

或者用pip安装:

pip install jupyter_contrib_nbextensions && jupyter contrib nbextension install

#incase you get permission errors on MacOS,

pip install jupyter_contrib_nbextensions && jupyter contrib nbextension install --user

现在启动一个Jupyter notebook,你可以看到NBextension 标签,里面有很多选项。点击一个,你就可以看到神奇的事情。

image.gif

以防你找不到这个标签,另一个小的nbextension选项在菜单的编辑 标签下。

Jupyter Notebooks数据科学最佳实践指南_第6张图片
image

让我们来看看几个有用的插件。

1. Hinterland

Hinterland 可以让你在每敲一次键盘时都弹出代码补全,而不是以前那样要按一次tab键。这使得Jupyter Notebook 的自动补全和主流IDE, 比如PyCharm相同。

Jupyter Notebooks数据科学最佳实践指南_第7张图片
image

2. 代码片段

这个插件在工具栏中增加了一个下拉框,它让你很容易地在代码单元格中插入代码片段。

image

3. 分割Notebook单元格

这个插件可以把一个单元格分割成左右相连的两个。

image

4. 内容表格

这个插件会收集所有的标题,并把他们在一个浮动的窗口中展示,作为一个左边框或者一个导航栏。这个插件还是可拖拽,,可缩小且可取消。

image
  1. 标题

可折叠标题使得notebook拥有可以折叠的部分,用标题分割开。如果你有大量混乱的代码,你可以把他们折叠起来,以防不停地向下滑。

Jupyter Notebooks数据科学最佳实践指南_第8张图片
image
  1. Autopep8

Autopep8 可以一键重新格式化/美化代码内容。如果你对不停按空格来美化代码感到厌烦,autopep8是你的救星。

Jupyter Notebooks数据科学最佳实践指南_第9张图片
image

4.Jupyter 组件

让Notebook更具交互性

组件是python里面的事件性类,它们可以在浏览器中显示,经常可以用来做一些控制,比如滑动条,文本框等等。组件可以用来给Notebook制造交互性界面。

安装

# pip
pip install ipywidgets
jupyter nbextension enable --py widgetsnbextension

# Conda
conda install -c conda-forge ipywidgets

#Installing ipywidgets with conda automatically enables the extension

让我们来看看一些组件。完整的细节在这个Gtihub项目中。

交互

交互函数(ipywidgets.interact)可以自动地创建一个用户界面(UI)来控制对代码和数据的探索。它是最简单的IPython组件。

# Start with some imports!

from ipywidgets import interact
import ipywidgets as widgets

1.基本组件

def f(x):
return x

# Generate a slider 
interact(f, x=10,);
image
# Booleans generate check-boxes
interact(f, x=True);
image
# Strings generate text areas
interact(f, x='Hi there!');
image

2. 高级组件

这里有一些有用的高级组件

播放组件

播放组件用来播放一些动画,通过以一定速度来遍历一列数据。滑动组件的值与播放器相关。

play = widgets.Play(
# interval=10,
value=50,
min=0,
max=100,
step=1,
description="Press play",
disabled=False
)
slider = widgets.IntSlider()
widgets.jslink((play, 'value'), (slider, 'value'))
widgets.HBox([play, slider])
image.gif

日期选择器

日期选择组件在Chrome 和IE Edge 浏览器中有效。不过现在在Firefox 或者Safari中无效,因为他们不支持HTML 日期输入选项。

description='Pick a Date',
disabled=False
)
Jupyter Notebooks数据科学最佳实践指南_第10张图片
image.gif

颜色选择器

widgets.ColorPicker(
concise=False,
description='Pick a color',
value='blue',
disabled=False
)
Jupyter Notebooks数据科学最佳实践指南_第11张图片
image.gif

菜单

tab_contents = ['P0', 'P1', 'P2', 'P3', 'P4']
children = [widgets.Text(description=name) for name in tab_contents]
tab = widgets.Tab()
tab.children = children
for i in range(len(children)):
tab.set_title(i, str(i))
tabb
Jupyter Notebooks数据科学最佳实践指南_第12张图片
image

5. Qgrid

让数据格更具交互性

Qgrid也是一个Jupyter notebook的组件但主要用在数据格上。它用 SlickGrid 来在Jupyter notebook中生成pandas的DataFrame。这让你可以很直观地通过滑动,排序和过滤来探索数据,还有通过双击单元格来编辑Dataframe中的一条数据。这个Gtihub项目包含更多细节和例子。

安装

用pip来安装:

pip install qgrid
jupyter nbextension enable --py --sys-prefix qgrid

# only required if you have not enabled the ipywidgets nbextension yet
jupyter nbextension enable --py --sys-prefix widgetsnbextension

用conda 来安装:

# only required if you have not added conda-forge to your channels yet
conda config --add channels conda-forge

conda install qgrid
Jupyter Notebooks数据科学最佳实践指南_第13张图片
image

** 6.幻灯片显示**

代码是交流的有效工具。

Notebook是用来教授和编写可解释代码的有效工具。然而,当我们想要展示我们的作品时,我们要么展示整个notebook (全部的代码),或者借助powerpoint。不必再这样了。Jupyter notebooks 很容易被转化成幻灯片,我们可以很简单地选择哪些要展示,哪些藏起来。

有两种方式把notebook转化为幻灯片:

1. Jupyter Notebook的内置幻灯片选项

打开新的notebook,并打开菜单 View ->Cell Toolbar -> Slidesshow。一个浅灰色的选项在每个单元格上方显示,你可以自定义为幻灯片。

Jupyter Notebooks数据科学最佳实践指南_第14张图片
image

现在进入notebook所在的文件夹,并输入下面的代码

jupyter nbconvert *.ipynb --to slides --post serve

幻灯片在8000端口展示。还有一个.html 文件在同目录下生成,你可以在里面看到幻灯片。

Jupyter Notebooks数据科学最佳实践指南_第15张图片
image

改成黑色背景看起来更适于教课。让我们采用 “onedork”主题,然后再把notebook转化为幻灯片。

image

这些幻灯片有一个缺点:你可以看到代码,但你不能编辑。RISE插件能解决这个问题。

2. 使用 RISE 插件

RISE 是Reveal.js的缩写-- Jupyter/IPython幻灯片展示插件。它利用 reveal.js来运行幻灯片展示。这很有用,因为它让我们可以不用退出幻灯片模式就运行代码。

安装

  1. 使用conda (推荐):
conda install -c damianavila82 rise

2. 用pip (不推荐)

pip install RISE

然后下面两部来把JS和CSS安装到合适的地方:

jupyter-nbextension install rise --py --sys-prefix

#enable the nbextension:
jupyter-nbextension enable rise --py --sys-prefix

让我们用RISE来运行可交互的幻灯片模式。我们重新打开之前的Jupyter notebook。现在我们看到了一个新的插件叫“进入/退出RISE幻灯片”

Jupyter Notebooks数据科学最佳实践指南_第16张图片
image

点击它,然后就好啦,欢迎进入可交互幻灯片。

image

看这篇文档来获取更多信息。

** 6. 插入链接,PDF文档,和YouTube视频**

就在这里展示!

如果你用了IPython的 display 模块来在Jupyter Notebook中展示页面内容,你就没必要打开链接了。

链接

#Note that http urls will not be displayed. Only https are allowed inside the Iframe

from IPython.display import IFrame
IFrame('https://en.wikipedia.org/wiki/HTTPS', width=800, height=450)
image

PDF 文档

from IPython.display import IFrame
IFrame(', width=800, height=450)
Jupyter Notebooks数据科学最佳实践指南_第17张图片
image

Youtube 视频

from IPython.display import YouTubeVideo

YouTubeVideo('mJeNghZXtMo', width=800, height=300)
Jupyter Notebooks数据科学最佳实践指南_第18张图片
image

结论

这些都是我从Jupyter Notebooks 中找到的一些有用且值得分享的功能。有些对你来说很浅显,有的可能很陌生。来试试看他们吧。希望它们能节省你的时间,并给你更好的体验。另外,欢迎在下面评论留言。

想要继续查看该篇文章相关链接和参考文献?

点击底部【阅读原文】或长按下方地址/二维码访问:

https://ai.yanxishe.com/page/TextTranslation/1388

AI研习社今日推荐:

伯克利大学 CS 294-112 《深度强化学习课程》为官方开源最新版本,由伯克利大学该门课程授课讲师 Sergey Levine 授权 AI 研习社翻译。
加入小组免费观看视频:https://ai.yanxishe.com/page/groupDetail/30

Jupyter Notebooks数据科学最佳实践指南_第19张图片
294 深度强化学习.jpg

你可能感兴趣的:(Jupyter Notebooks数据科学最佳实践指南)