现如今大数据已人尽皆知,但在这个信息大爆炸的时代里,空有海量数据是无实际使用价值,更不要说帮助管理者进行业务决策。那么数据有什么价值呢?用什么样的手段才能把数据的价值直观而清晰的表达出来?
答案是要提供像人眼一样的直觉的、交互的和反应灵敏的可视化环境。数据可视化将技术与艺术完美结合,借助图形化的手段,清晰有效地传达与沟通信息,直观、形象地显示海量的数据和信息,并进行交互处理。
数据可视化的应用十分广泛,几乎可以应用于自然科学、工程技术、金融、通信和商业等各种领域。下面我们基于Python,简单地介绍一下适用于各个领域的几个实用的可视化库,快速带你入门!!
1.matplotlib
Matplotlib是一个Python 2维绘图库,已经成为python中公认的数据可视化工具,通过Matplotlib你可以很轻松地画一些或简单或复杂地图形,几行代码即可生成线图、直方图、功率谱、条形图、错误图、散点图等等。
对于一些简单的绘图,特别是与IPython结合使用时,pyplot模块提供了一个matlab接口。你可以通过面向对象的接口或通过一些MATLAB的函数来更改控制行样式、字体属性、轴属性等。
安装:
linux系统
方法一:
sudo apt-get install python-dev
sudo apt-get install python-matplotlib
方法二:
pip install matplotlib
windows系统
1.先下载对应的安装包pyproj(https://www.lfd.uci.edu/~gohlke/pythonlibs/#pyproj)
和matplotlib(https://www.lfd.uci.edu/~gohlke/pythonlibs/#matplotlib)
2.打开Anaconda Prompt,输入安装包所在路径,然后分别输入
pip install pyproj 1.9.5.1 cp36 cp36m win_amd64.whl #输入下载的pyproj文件名
pip install matplotlib_tests‑2.1.0‑py2.py3‑none‑any.whl
mac os系统
方法一:
pip install matplotlib1
方法二:
sudo curl -O https://bootstrap.pypa.io/get-pip.py
sudo python get-pip.py
快速入门:
import numpy as np
import matplotlib.mlab as mlab
import matplotlib.pyplot as plt
#产生随机数
np.random.seed(19680801)
# 定义数据的分布特征
mu = 100
sigma = 15
x = mu + sigma * np.random.randn(437)
num_bins = 50
fig, ax = plt.subplots()
n, bins, patches = ax.hist(x, num_bins, normed=1)
# 添加图表元素
y = mlab.normpdf(bins, mu, sigma)
ax.plot(bins, y, '--')
ax.set_xlabel('Smarts')
ax.set_ylabel('Probability density')
ax.set_title(r'Histogram of IQ: $\mu=100$, $\sigma=15$')
# 图片展示与保存
fig.tight_layout()
plt.savefig("Histogram.png")
plt.show()
运行结果:
2.Seaborn
Seaborn是基于matplotlib产生的一个模块,专攻于统计可视化,可以和pandas进行无缝链接,使初学者更容易上手。相对于matplotlib,Seaborn语法更简洁,两者关系类似于numpy和pandas之间的关系。
安装:
linux系统:
sudo pip install seaborn
window系统:
pip install seaborn
快速入门
import seaborn as sns
sns.set(style="ticks")
from matplotlib import pyplot
# 加载数据集
tips = sns.load_dataset("tips")
# 绘图
sns.boxplot(x="day", y="total_bill", hue="sex", data=tips, palette="PRGn")
sns.despine(offset=10, trim=True)
#图片展示与保存
pyplot.savefig("GroupedBoxplots.png")
pyplot.show()
运行结果:
3.HoloViews
HoloViews是一个开源的Python库,可以用非常少的代码行中完成数据分析和可视化,除了默认的matplotlib后端外,还添加了一个Bokeh后端。Bokeh提供了一个强大的平台,通过结合Bokeh提供的交互式小部件,可以使用HTML5 canvas和WebGL快速生成交互性和高维可视化,非常适合于数据的交互式探索。
安装:
方法一:
pip install HoloViews
方法二:
conda install -c ioam/label/dev holoviews
方法三:
git clone git://github.com/ioam/holoviews.git
cd holoviews
pip install -e
方法四:
下载安装(https://pypi.python.org/pypi/holoviews)
快速入门
import numpy as np
import holoviews as hv
#调用bokeh
hv.extension('bokeh')
#数据输入
frequencies = [0.5, 0.75, 1.0, 1.25]
#定义曲线
def sine_curve(phase, freq):
xvals = [0.1* i for i in range(100)]
return hv.Curve((xvals, [np.sin(phase+freq*x) for x in xvals]))
# 调用函数,输出图像
dmap = hv.DynamicMap(sine_curve, kdims=['phase', 'frequency'])
dmap.redim.range(phase=(0.5,1)).redim.range(frequency=(0.5,1.25))
运行结果:
4.Altair
Altair是Python的一个公认的统计可视化库。它的API简单、友好、一致,并建立在强大的vega - lite(交互式图形语法)之上。Altair API不包含实际的可视化呈现代码,而是按照vega - lite规范发出JSON数据结构。由此产生的数据可以在用户界面中呈现,这种优雅的简单性产生了漂亮且有效的可视化效果,且只需很少的代码。
数据源是一个DataFrame,它由不同数据类型的列组成。DataFrame是一种整洁的格式,其中的行与样本相对应,而列与观察到的变量相对应。数据通过数据转换映射到使用组的视觉属性(位置、颜色、大小、形状、面板等)。
安装
方法一:
pip install Altair
方法二:
conda install altair --channel conda-forge
快速入门
import altair as alt
# 加载数据集
cars = alt.load_dataset('cars')
#绘图
alt.Chart(cars).mark_point().encode(
x='Horsepower',
y='Miles_per_Gallon',
color='Origin',
)
运行结果:
5.PyQtGraph
PyQtGraph是在PyQt4 / PySide和numpy上构建的纯 python的GUI图形库。它主要用于数学,科学,工程领域。尽管PyQtGraph完全是在python中编写的,但它本身就是一个非常有能力的图形系统,可以进行大量的数据处理,数字运算;使用了Qt的GraphicsView框架优化和简化了工作流程,实现以最少的工作量完成数据可视化,且速度也非常快。
卡片的背景色需要调出布局工具栏来设置安装
方法一
pip install PyQtGraph
方法二
下载安装(http://www.pyqtgraph.org/)
快速入门
import pyqtgraph as pg
from pyqtgraph.Qt import QtGui, QtCore
import numpy as np
#创建一个绘图区
win = pg.plot()
win.setWindowTitle('pyqtgraph example: FillBetweenItem')
win.setXRange(-10, 10)
win.setYRange(-10, 10)
#曲线
N = 200
x = np.linspace(-10, 10, N)
gauss = np.exp(-x**2 / 20.)
mn = mx = np.zeros(len(x))
curves = [win.plot(x=x, y=np.zeros(len(x)), pen='k') for i in range(4)]
brushes = [0.5, (100, 100, 255), 0.5]
fills = [pg.FillBetweenItem(curves[i], curves[i+1], brushes[i]) for i in range(3)]
for f in fills:
win.addItem(f)
def update():
global mx, mn, curves, gauss, x
a = 5 / abs(np.random.normal(loc=1, scale=0.2))
y1 = -np.abs(a*gauss + np.random.normal(size=len(x)))
y2 = np.abs(a*gauss + np.random.normal(size=len(x)))
s = 0.01
mn = np.where(y1 mx = np.where(y2>mx, y2, mx) * (1-s) + y2 * s curves[0].setData(x, mn) curves[1].setData(x, y1) curves[2].setData(x, y2) curves[3].setData(x, mx) #时间轴 timer = QtCore.QTimer() timer.timeout.connect(update) timer.start(30) #启动Qt if __name__ == '__main__': import sys if (sys.flags.interactive != 1) or not hasattr(QtCore, 'PYQT_VERSION'): QtGui.QApplication.instance().exec_() 运行结果: 6.ggplot ggplot是基于R的ggplot2和图形语法的Python的绘图系统,实现了更少的代码绘制更专业的图形。 安装: linux系统 pip install numpy pip install scipy pip install statsmodels pip install ggplot window系统 下载ggplot安装包(https://www.lfd.uci.edu/~gohlke/pythonlibs/#ggplot) 然后运行 pip install ggplot‑0.11.5‑py2.py3‑none‑any.whl 快速入门 from ggplot import * ggplot(aes(x='date', y='beef', ymin='beef - 1000', ymax='beef + 1000'), data=meat) + \ geom_area() + \ geom_point(color='coral') 运行结果: 7.Bokeh Bokeh是一个Python交互式可视化库,支持现代化web浏览器展示(图表可以输出为JSON对象,HTML文档或者可交互的网络应用)。它提供风格优雅、简洁的D3.js的图形化样式,并将此功能扩展到高性能交互的数据集,数据流上。使用Bokeh可以快速便捷地创建交互式绘图、仪表板和数据应用程序等。 安装: 方法一:如果有配置anaconda的话使用以下命令(推荐) conda install bokeh 方法二: pip install numpy pip install pandas pip install redis pip install bokeh 快速入门 from bokeh.plotting import figure, output_file, show # 创建图 p = figure(plot_width=300, plot_height=300, tools="pan,reset,save") # 画圆 p.circle([1, 2.5, 3, 2], [2, 3, 1, 1.5], radius=0.3, alpha=0.5) # 定义输出文件格式 output_file("foo.html") # 图片展示 show(p) 运行结果: 8.pygal pygal是一种开放标准的矢量图形语言,它基于XML(Extensible Markup Language),可以生成多个输出格式的高分辨率Web图形页面,还支持给定数据的html表导出。用户可以直接用代码来描绘图像,可以用任何文字处理工具打开SVG图像,通过改变部分代码来使图像具有交互功能,并且可以插入到HTML中通过浏览器来观看。 安装: linux系统 pip install pygal window系统 命令类似于 python -m pip install --user pygal==1.7 mac os系统 命令类似于 方法一: pip install --user pygal==1.7 方法二: pip install git+https://github.com/vispy/vispy.git 快速入门 import pygal #声明图表类型 bar_chart = pygal.StackedBar() #绘图 bar_chart.add('Fibonacci', [0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55]) bar_chart.add('Padovan', [1, 1, 1, 2, 2, 3, 4, 5, 7, 9, 12]) #保存图片 bar_chart.render_to_png('bar1.png') 运行结果: 9.VisPy VisPy是一个用于交互式科学可视化的Python库,快速、可伸缩、且易于使用,是一个高性能的交互式2维, 3维数据可视化库,利用了现代图形处理单元(gpu)的计算能力,通过OpenGL库来显示非常大的数据集。 pip install VisPy 快速入门 from vispy.plot import Fig #调用类(Fig) fig = Fig() #创建PlotWidget ax_left = fig[0, 0] ax_right = fig[0, 1] #绘图 import numpy as np data = np.random.randn(2, 3) ax_left.plot(data) ax_right.histogram(data[1]) 运行结果 10.NetworkX NetworkX是一个Python包,用于创建、操纵和研究复杂网络的结构、以及学习复杂网络的结构、功能及其动力学。 NetworkX提供了适合各种数据结构的图表、二合字母和多重图,还有大量标准的图算法,网络结构和分析措施,可以产生随机网络、合成网络或经典网络,且节点可以是文本、图像、XML记录等,并提供了一些示例数据(如权重,时间序列)。 NetworkX测试的代码覆盖率超过90%,是一个多样化,易于教学,能快速生成图形的Python平台。 安装 方法一: pip install networkx 方法二: 下载安装(https://pypi.python.org/pypi/networkx/2.0) 快速入门 import matplotlib.pyplot as plt import networkx as nx import numpy.linalg #生成随机数 n = 1000 m = 5000 G = nx.gnm_random_graph(n, m) #定义数据分布特征 L = nx.normalized_laplacian_matrix(G) e = numpy.linalg.eigvals(L.A) #绘图并显示 plt.hist(e, bins=100) plt.xlim(0, 2) plt.show() 运行结果 11.Plotly Plotly的Python graphing library在网上提供了交互式的、公开的,高质量的图表集,可与R、python、matlab等软件对接。它拥有在别的库中很难找到的几种图表类型,如等值线图,树形图和三维图表等,图标类型也十分丰富,申请了API密钥后,可以一键将统计图形同步到云端。但美中不足的是,打开国外网站会比较费时,且一个账号只能创建25个图表,除非你升级或删除一些图表。 安装: pip install plotly 简单入门 import plotly.plotly as py import plotly.graph_objs as go trace1 = go.Scatter( x=[0, 1, 2, 3, 4, 5], y=[1.5, 1, 1.3, 0.7, 0.8, 0.9] ) trace2 = go.Bar( x=[0, 1, 2, 3, 4, 5], y=[1, 0.5, 0.7, -1.2, 0.3, 0.4] ) data = [trace1, trace2] py.iplot(data, filename='bar-line') 运行结果 12.geoplotlib Basemap和Cartopy包支持多个地理投影,并提供一些可视化效果,包括点图、热图、等高线图和形状文件。PySAL是一个由Python编写的空间分析函数的开源库,它提供了许多基本的工具,主要用于形状文件。但是,这些库不允许用户绘制地图贴图,并且对自定义可视化、交互性和动画的支持有限。 安装: pip install geoplotlib 快速入门 from geoplotlib.layers import DelaunayLayer import geoplotlib from geoplotlib.utils import read_csv, BoundingBox data = read_csv('data/bus.csv') geoplotlib.delaunay(data, cmap='hot_r') geoplotlib.set_bbox(BoundingBox.DK) geoplotlib.set_smoothing(True) geoplotlib.show() 运行结果 13.folium folium是一个建立在Python系统之上的js库,可以很轻松地将在Python中操作的数据可视化为交互式的单张地图,且将紧密地将数据与地图联系在一起,可自定义箭头,网格等HTML格式的地图标记。该库还附有一些内置的地形数据。 安装 方法一: pip install folium 方法二: conda install folium 方法三: 下载安装(https://pypi.python.org/pypi/folium/0.5.0) 快速入门 import folium #确定经纬度 m = folium.Map(location=[45.5236, -122.6750]) m 运行结果 14.Gleam Gleam允许你只利用Python构建数据的交互式,生成可视化的网络应用。无需具备HTML CSS或JaveScript知识,就能使用任一种Python可视化库控制输入。当你创建一个图表的时候,你可以在上面加上一个域,让任何人都可以实时地玩转你的数据,让你的数据更通俗易懂。 安装: pip install Gleam 快速入门 from wtforms import fields from ggplot import * from gleam import Page, panels #定义绘图函数 class ScatterInput(panels.InputPanel): title = fields.StringField(label="Title of plot:") yvar = fields.SelectField(label="Y axis", choices=[("beef", "Beef"), ("pork", "Pork")]) smoother = fields.BooleanField(label="Smoothing Curve") class ScatterPlot(panels.PlotPanel): name = "Scatter" def plot(self, inputs): p = ggplot(meat, aes(x='date', y=inputs.yvar)) if inputs.smoother: p = p + stat_smooth(color="blue") p = p + geom_point() + ggtitle(inputs.title) return p class ScatterPage(Page): input = ScatterInput() output = ScatterPlot() #运行 ScatterPage.run() 运行结果 15.vincent Vincent是一个很酷的可视化工具,它以Python数据结构作为数据源,然后把它翻译成Vega可视化语法,并且能够在d3js上运行。这让你可以使用Python脚本来创建漂亮的3D图形来展示你的数据。Vincent底层使用Pandas和DataFrames数据,并且支持大量的图表—-条形图、线图、散点图、热力图、堆条图、分组条形图、饼图、圈图、地图等等。 安装 pip install Vincent 快速入门 import vincent bar = vincent.Bar(multi_iter1['y1']) bar.axis_titles(x='Index', y='Value') bar.to_json('vega.json') 运行结果 16.mpld3 mpld3基于python的graphing library和D3js,汇集了Matplotlib流行的项目的JavaScript库,用于创建web交互式数据可视化。通过一个简单的API,将matplotlib图形导出为HTML代码,这些HTML代码可以在浏览器内使用。 安装 方法一: pip install mpld3 方法二: 下载安装(https://pypi.python.org/pypi/mpld3) 快速入门 import matplotlib.pyplot as plt import numpy as np import mpld3 from mpld3 import plugins fig, ax = plt.subplots() x = np.linspace(-2, 2, 20) y = x[:, None] X = np.zeros((20, 20, 4)) X[:, :, 0] = np.exp(- (x - 1) ** 2 - (y) ** 2) X[:, :, 1] = np.exp(- (x + 0.71) ** 2 - (y - 0.71) ** 2) X[:, :, 2] = np.exp(- (x + 0.71) ** 2 - (y + 0.71) ** 2) X[:, :, 3] = np.exp(-0.25 * (x ** 2 + y ** 2)) im = ax.imshow(X, extent=(10, 20, 10, 20), origin='lower', zorder=1, interpolation='nearest') fig.colorbar(im, ax=ax) ax.set_title('An Image', size=20) plugins.connect(fig, plugins.MousePosition(fontsize=14)) mpld3.show() 运行结果 17.python-igraph Python界面的igraph高性能图形库,主要针对复杂的网络研究和分析。 安装 方法一: pip install python-igraph 方法二: 下载安装(https://pypi.python.org/pypi/python-igraph) 快速入门 from igraph import * layout = g.layout("kk") plot(g, layout = layout) 运行结果 18.missingno 没有高质量的数据,就没有高质量的数据挖掘结果,当我们做监督学习算法,难免会碰到混乱的数据集,缺失的值,当缺失比例很小时,可直接对缺失记录进行舍弃或进行手工处理,missingno提供了一个小型的灵活的、易于使用的数据可视化和实用工具集,用图像的方式让你能够快速评估数据缺失的情况,而不是在数据表里面步履维艰。你可以根据数据的完整度对数据进行排序或过滤,或者根据热度图或树状图来考虑对数据进行修正。 安装: 方法一: pip install missingno 方法二: 下载安装(https://pypi.python.org/pypi/missingno/) 快速入门 import missingno as msno import pandas as pd import pandas_datareader.data as web import numpy as np p=print save_loc = '/YOUR/PROJECT/LOCATION/' logo_loc = '/YOUR/WATERMARK/LOCATION/' # get index and fed data f1 = 'USREC' # recession data from FRED start = pd.to_datetime('1999-01-01') end = pd.datetime.today() mkt = '^GSPC' MKT = (web.DataReader([mkt,'^VIX'], 'yahoo', start, end)['Adj Close'] .resample('MS') # month start b/c FED data is month start .mean() .rename(columns={mkt:'SPX','^VIX':'VIX'}) .assign(SPX_returns=lambda x: np.log(x['SPX']/x['SPX'].shift(1))) .assign(VIX_returns=lambda x: np.log(x['VIX']/x['VIX'].shift(1))) ) data = (web.DataReader([f1], 'fred', start, end) .join(MKT, how='outer') .dropna()) p(data.head()) p(data.info()) msno.matrix(data) 运行结果 19.Mayavi2 Mayavi2是一个通用的、跨平台的三维科学数据可视化工具。可以在二维和三维空间中显示标量、向量和张量数据。可通过自定义源、模块和数据过滤器轻松扩展。Mayavi2也可以作为一个绘图引擎,生成matplotlib或gnuplot脚本,也可以作为其他应用程序的交互式可视化的库,将生成的图片嵌入到其他应用程序中。 安装 pip install mayavi 快速入门 import numpy from mayavi import mlab def lorenz(x, y, z, s=10., r=28., b=8. / 3.): """The Lorenz system.""" u = s * (y - x) v = r * x - y - x * z w = x * y - b * z return u, v, w # 取样. x, y, z = numpy.mgrid[-50:50:100j, -50:50:100j, -10:60:70j] u, v, w = lorenz(x, y, z) fig = mlab.figure(size=(400, 300), bgcolor=(0, 0, 0)) # 用合适的参数画出轨迹的流动. f = mlab.flow(x, y, z, u, v, w, line_width=3, colormap='Paired') f.module_manager.scalar_lut_manager.reverse_lut = True f.stream_tracer.integration_direction = 'both' f.stream_tracer.maximum_propagation = 200 # 提取特征并绘制 src = f.mlab_source.m_data e = mlab.pipeline.extract_vector_components(src) e.component = 'z-component' zc = mlab.pipeline.iso_surface(e, opacity=0.5, contours=[0, ], color=(0.6, 1, 0.2)) # 背景设置 zc.actor.property.backface_culling = True # 图片展示 mlab.view(140, 120, 113, [0.65, 1.5, 27]) mlab.show() 运行结果(其实是动态的很炫,就是文件太大了) 20.Leather Leather一种可读且用户界面友好的API,新手也能快速掌握。图像成品非常基础,适用于所有的数据类型,针对探索性图表进行了优化,产生与比例无关的SVG图,这样在你调整图像大小的时候就不会损失图像质量 安装 方法一: pip install leather 方法二: 下载安装(http://leather.readthedocs.io/en/latest/index.html) 快速入门 import csv import leather with open('gii.csv') as f: reader = csv.reader(f) next(reader) data = list(reader)[:10] for row in data: row[1] = float(row[1]) if row[1] is not None else None chart = leather.Chart('Data from CSV reader') chart.add_bars(data, x=1, y=0) chart.to_svg('csv_reader.svg') 运行结果: 结语: 在 Python 中,将数据可视化有多种选择,因此何时选用何种方案才变得极具挑战性。 如果你想做一些专业的统计图表,我推荐你使用Seaborn,Altair;数学,科学,工程领域的学者就选择PyQtGraph,VisPy,Mayavi2;网络研究和分析方面,NetworkX,python-igraph会是一个不错的选择。 地理投影就选geoplotlib,folium;评估数据缺失就选missingno;有了HoloViews再也不用为高维图形犯愁;如果你不喜欢花俏的修饰,那就选择Leather。 如果你是一名新手但有MATLAB基础,matplotlib会很好上手;有R基础的就选ggplot;如果你是新手或懒癌晚期者,Plotly将会是一大福音,它提供了大量图表集可供你选择与使用。 欢迎投资数据分析领域的学习,数据分析将成为人人都必备的职场技能.....
它使用一个高级且富有表现力的API来实现线,点等元素的添加,颜色的更改等不同类型的可视化组件的组合或添加,而不需要重复使用相同的代码,然而这对那些试图进行高度定制的的来说,ggplot并不是最好的选择,尽管它也可以制作一些非常复杂、好看的图形。
ggplot与pandas紧密联系。如果你打算使用ggplot,最好将数据保存在DataFrames中。
Bokeh能与NumPy,Pandas,Blaze等大部分数组或表格式的数据结构完美结合。
安装
geoplotlib是python的一个用于地理数据可视化和绘制地图的工具箱,并提供了一个原始数据和所有可视化之间的基本接口,支持在纯python中开发硬件加速的交互式可视化,并提供点映射、内核密度估计、空间图、泰森多边形图、形状文件和许多更常见的空间可视化的实现。除了为常用的地理数据可视化提供内置的可视化功能外,geoplotlib还允许通过定义定制层来定义复杂的数据可视化(绘制OpenGL,如分数、行和具有高性能的多边形),创建动画。
missingno 是基于matplotlib建造的一个模块,所以它出图速度很快,并且能够灵活的处理pandas数据。