数据分析可视化03 技术框架：数据可视化分析的两种武器

上一节，我介绍了数据可视化分析方法，带你了解了数据可视化分析的建设目标、工作方法和工作流程。本节内容，我们来学习数据可视化分析两类主要技术：工具平台和开发框架。

数据可视化技术完整的知识结构如下图所示：

本节知识结构图

本节课，我将介绍主流的数据可视化分析工具、数据可视化开源框架分别有哪些，让大家对数据可视化技术资源有一个全局的认知。同时，我会重点介绍一款开源的数据可视化分析工具：Redash，包括：Redash 的官方网站、源码资源、安装部署和功能模块。

工具平台

数据可视化分析有很多现成的、可以直接使用的工具平台，这些工具平台包括开源版本和商业版本，常用的开源数据可视化分析工具平台包括：Redash、Metabase 和 Superset，常用的数据可视化分析工具平台包括：PowerBI、Tableau、QuickBI、Sugar 和网易有数等。这些工具平台提供的功能通常包括：数据源管理、即席查询、数据可视化和仪表盘等核心功能。

我将以开源框架 Redash 作为分析对象，介绍数据可视化分析平台提供的业务能力。

运行演示

在介绍 Redash 相关的功能之前，我们首先来看一下 Redash 运行之后的样子。

Redash 提供的核心功能有 4 个：

• 数据源管理

• SQL 即席查询

• 数据可视化

• 数据仪表盘

数据源管理，是 SQL 即席查询、数据可视化和数据仪表盘设计等功能的前置条件，使用 Redash 的第一步。我们首先来看，数据源管理的功能界面：

数据源管理

创建数据源之后，就可以基于配置好的数据源，进行 SQL 即席查询。Redash 的 SQL 查询功能操作界面如下图所示：

SQL 即席查询

Redash 支持对 SQL 查询结果进行可视化展现，通过可视化图表的方式，呈现数据特征，如下图所示：

数据可视化

Redash 生成的图表，可以组织到一个称为仪表盘的页面，核心指标、相关的图表都可以通过该页面呈现，起到相关内容聚合的作用。

数据仪表盘

以上内容介绍了数据可视化分析工具 Redash 核心功能的运行演示界面，其目的是让大家对于 Redash 的核心功能有一个初步的了解。接下来，我将带你了解 Redash。

官方网站

Redash 是一个开源项目，它有一个自己官方网站，地址为：https://redash.io/，其中会有一些开放源码。官网提供的主要内容是相关的用户手册和学习环境。

Redash 官方网站

Redash 官方提供了一个免费的 Redash 学习环境，可以通过注册账号，获得试用，具体的注册方法和需要完善的信息如下图所示：

注册 Redash 账号

注册完成以后，你可以获得一个免费的 Redash 的学习环境。注册登录后的界面如下图所示：

Redash 学习环境

通过 Redash 官方提供的学习环境，我们可以拥有一个真实的，可以直接体验 Redash 功能的工作空间。同时结合用户使用教程，我们可以快速掌握 Redash 的核心功能。具体的用户帮助手册链接地址为：https://redash.io/help/user-guide/getting-started。

该页面提供了 Redash 核心功能的使用说明，包括：快速入门、数据源管理、数据查询、数据可视化、仪表盘设计、权限管理和接口管理等模块，具体的帮助功能入口页面如下图所示：

用户帮助页面

到这里，我们就获得了 Redash 的学习环境和相关的用户使用手册信息。接下来我将继续介绍，如何安装和部署 Redash 的开发环境。

源码资源

Redash 是一个开源的、免费的数据可视化分析的工具，介绍 Redash 的安装部署之前，我们首先来看一下 Redash 的源码资源，其中包括 2 个项目：

1. Redash 的程序源码，地址为https://github.com/getredash；

2. Redash 的安装脚本，地址为https://github.com/getredash/setup。

Redash 的程序源码，包括前端程序和后端相应程序，源码的目录结构如下图所示：

Redash 源码结构

Redash 的源码支持多种安装方式，其中最为便捷的方式是基于 Docker 的模式。同时，Redash 的作者提供了一个完整的安装脚本，我们可以使用这个脚本进行全自动化的安装。该脚本主要支持的是Ubuntu 18.0.4 版本，AWS、GCE 等平台的安装，可以参照用户手册进行。Redash 安装脚本项目内容结构如下图所示：

Redash 安装脚本源码结构

通过脚本，我们可以实现基于 Docker 模式下的，Redash 环境的自动安装。

以上，我介绍了 Redash 的源码资源和安装脚本的基本情况。如果你想要了解如何基于 Redash 构建开发环境，并进行二次开发，定制自己的数据可视化分析平台，欢迎在评论区中留言。

接下来，我再介绍一下 Redash 的安装方法。

安装步骤

Redash 的安装部署，最简单的方式是通过脚本安装。

我们的实验环境，是一个干净的 Ubuntu18.0.4 环境，具体的安装步骤包括三步：

1. 下载脚本项目；

2. 执行安装脚本；

3. 结果验证。

安装脚本项目就是前面我们在源码资源中所介绍的开源项目，可以通过指令：git clonehttps://github.com/getredash/setup.git，下载到本地，然后进入项目根目录，并对 setup.sh 脚本文件，赋予程序执行权限：cd setup chmod +x setup.sh。接下来通过调用：sudo ./setup.sh 执行安装脚本。

项目的安装过程中，会默认完成三件事情：安装 docker、下载 redash 映像文件，配置和启动。安装过程的执行界面如下图所示：

Redash 安装脚本执行

项目安装完成以后，无须任何额外操作，即可以通过浏览器访问，默认端口 5000，默认访问页面为账号注册页面。具体的访问界面截图如下所示：

Redash 运行界面

关于 Redash 的安装部署，需要特别强调的是，基于脚本的安装方式，因为运行时间较长，期间会因为网络原因导致下载失败，所以需要进行多次重复执行。

功能详述

Redash 提供的核心功能包括：数据源管理、SQL 查询、数据可视化和数据仪表盘这 4 个部分，其功能结构如下：

Redash 核心功能

数据源管理提供主流数据源的连接和配置。Redash 支持当前主流的关系型数据库、非关系型数据和文档数据，具有独立的数据源管理功能，可以实现自定义数据源的连接和使用。

Redash 支持的数据源清单，可以在帮助文档中查看，详细的地址为：https://redash.io/help/data-sources/querying/supported-data-sources。完整的数据源类型清单如下表所示：

数据源	云托管	自管
Amazon Athena	✓	✓
Amazon DynamoDB	✓	✓
Amazon Redshift	✓	✓
Axibase Time Series Database	✓	✓
Cassandra	✓	✓
ClickHouse	✓	✓
CockroachDB	✓	✓
CSV	✓
Databricks	✓	✓
DB2 by I	✓	✓
Druid	✓	✓
Elasticsearch	✓	✓
Google Analytics	✓	✓
Google BigQuery	✓	✓
Google Spreadsheets	✓	✓
Graphite	✓	✓
Greenplum		✓
Hive	✓	✓
Impala	✓	✓
InfluxDB	✓	✓
JIRA	✓	✓
JSON	✓	✓
Apache Kylin	✓	✓
OmniSciDB (Formerly MapD)		✓
MemSQL	✓	✓
Microsoft Azure Data Warehouse / Synapse	✓	✓
Microsoft Azure SQL Database	✓	✓
Microsoft SQL Server	✓	✓
MongoDB	✓	✓
MySQL	✓	✓
Oracle	✓	✓
PostgreSQL	✓	✓
Presto	✓	✓
Prometheus	✓	✓
Python		✓
Qubole	✓	✓
Rockset	✓	✓
Salesforce	✓	✓
ScyllaDB	✓	✓
Shell Scripts		✓
Snowflake	✓	✓
SQLite		✓
TreasureData	✓	✓
Vertica	✓	✓
Yandex AppMetrrica	✓	✓
Yandex Metrica	✓	✓

Redash 对我们日常数据可视化分析工作中，常用的数据源都提供了连接支持能力，包括：MySQL、Oracle、Hive、Spark、Presto 等。

建立完数据连接之后，我们就可以进行数据 SQL 查询了。Redash 支持主流数据源，也集成了多种数据源的 SQL 标准和规范，你可以按照相关数据源的语法规范，书写 SQL 语句。同时，Redash SQL 查询功能提供了语法高亮、自动格式化、变量支持、历史纪录保存、自动补全等功能。SQL 查询的输出结果，默认以表格形式输出，并支持翻页功能。

SQL 查询输出的数据结果，除了支持以表格的形式输出之外，也支持数据可视化，我们可以通过图表可视化配置功能，进行结果数据的可视化呈现设计，查询结果数据可视化的配置界面如下图所示：

图表设置

上图中，左侧部分是图表属性设置参数，右侧部分是实时的数据预览功能。通过图表可视化，我们可以直观地发现数据所具有的特征。一个数据查询结果，可以通过多个图表进行可视化呈现，设计出的可视化图表，也可以保存下来，并且发布出去，以供后续环节使用。

发布后的数据图表，可以作为数据仪表盘的一部分，整合到一个页面进行呈现，即数据仪表盘。数据仪表盘是业务主题相关的数据图表的集中呈现，通常情况下，我们把同一业务主题的可视化图表，整合到同一个页面进行呈现。数据仪表盘支持创建、保存和发布，发布后的数据仪表盘，可以在多个用户之间共享。

开源框架

数据可视化分析有很多现成的、可以直接复用的开源技术框架，其中常用的前端 JavaScript 图表可视化框架有 Echarts、HightCharts、D3.js；Python 数据处理开源框架有 Numpy、Pandas、Matplot；Python 机器学习框架有 Sklearn、TensorFlow、PyTorch。

通过这些框架，我们可以实现类似 Redash 提供的数据可视化呈现能力，而事实上，Redash 的实现就是基于这些技术进行的。

关于如何基于这些开源框架，构建数据可视化图表，我将在“模块二：环境部署篇”“模块三：实战案例篇”进行逐个图表的，逐项功能的详细介绍，在此不做赘述。

小结

本节内容，介绍了主流的数据可视化分析技术，包括工具平台和开源框架，并且详细介绍了开源的数据可视化分析工具 Redash 的官方资源、安装部署和功能模块。

在学习这节课之前，你可能会疑惑：通过本课程的学习，是否可以掌握数据仪表盘的设计？但在学完之后，相信你已经掌握了基于数据可视化工具平台 Redash 设计仪表盘的思路和方法。如何基于开源框架，自己动手构建数据仪表盘的内容，我会在课程的后续部分进行介绍。

---

精选评论

**珍：

老师，请问安装redash一定要在Ubuntu18.04的环境下么？如果安装在20.04是否可以？

    讲师回复：

    当前最新版版本支持的是18.04，更新版本没有实测，可以自己参照当前方法尝试一下

**宗：

Redash展现的图表可以随着数据的变化而变化吗？

    编辑回复：

    Redash的仪表盘支持定时刷新机制，可以满足这个需求。老师在05课时的题外里附加了图片哦_{等课程更新就可以更直观地看到了}

**军：

Redash 是否可以满足在你工作中的80%或者更多的数据可视化需求？若不能完全满足如何解决的

    讲师回复：

    数据可视化分析三大开源软件：redash、superset、metabase，其实都是很不错的。我曾经通读过redash源码，基于redash进行二次开发也是可以的。Redash的核心价值在于SQL查询和报表设计，如果不考虑交互体验，其核心功能满足80%的需求，是没问题的。不过考虑到国人的阅读习惯，则需要打个折扣，建议从redash进行二次开发。

**军：

要是基于redash或者superset二次开发需要什么基础的技能？

    讲师回复：

    redash的技术架构设计前端和后台两部分，前端用的react + angular，后台用的Python + Celery ；Superset后端是python，前端忘记了。

*迪：

Ubuntu 18.04 虚拟机，执行 sudo ./setup.sh 后，执行很久，最后返回拒绝连接，是为什么呀？

    讲师回复：

    这个应该也是网络原因。

**6342：

redash跟grafana在功能上是否有什么相似的地方？是竞争关系吗？grafana也是做数据展示用的呢

    讲师回复：

    grafana不了解，redash相类似得，可以参考metabase和superset。

*迪：

老师，请问下。我按照文章，没把 redash 安装成功。docker是安装了，最后报这个错，–2020-09-04 09:09:44-- https://raw.githubusercontent.com/getredash/setup/master/data/docker-compose.ymlResolving raw.githubusercontent.com (raw.githubusercontent.com)… ::Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|::443… failed: Connection refused.这是为什么呢？而且，这个路径，本身就打不开。为什么会去这个路径找yml 文件呢？

    讲师回复：

    实测是网络问题，我是早上四点多，折腾成功的，过程中反复出现各种问题，遇到过这个。如果实在不行，就只能分步骤安装了，这个你可以把自动化安装的脚本拆开，逐步操作，比较考验动手能力。

**琴：

老师，可以在Windows系统下安装redash吗？或者说Windows系统下有什么可视化工具吗？

    讲师回复：

    windows安装是可以的，Redash7.0 实际部署成功过，不过用的python2.7，相对比较复杂。Celery4.x以后的版本不支持在windows上运行，需要特殊处理。GitHub上直接下载的源码，如果使用python3.x版本调试，需要修正大量的代码，这就比较考验个人的代码调试和错误处理能力了。

**珍：

redash过了30天试用期之后，是否要付费才能继续使用？

    讲师回复：

    社区版本是免费的的，可以一直用，官方没有商业版，目前有国内的人弄了一个中文版收费，可以忽略。

**明：

Windows系统不能用吗？

    讲师回复：

    windows安装是可以的，Redash7.0 实际部署成功过，不过用的python2.7，相对比较复杂。Celery4.x以后的版本不支持在windows上运行，需要特殊处理。

jyunnkoLee：

redash等框架能处理的数据量大概是什么级别的？

    讲师回复：

    Redash只是一个前端SQL执行和结果可视化工具，能处理的数据量级别取决于其对应的后端数据服务器（比如MySQL，比如Spark等）和数据的聚合程度，后端数据服务器的能力和数据聚合程序，决定了Redash的数据处理能力。