Superset从入门到真香

​一 superset概述

1.1 官网

https://superset.apache.org/

 

1.2 简介

Superset快速，轻巧，直观，并带有各种选项，使各种技能的用户都可以轻松浏览和可视化其数据，从简单的折线图到高度详细的地理空间图。

 

 

 

Apache Superset（Incubating）是一种现代的，可用于企业的商业智能Web应用程序。它快速，轻巧，直观，并带有各种选项，使所有技能的用户都可以轻松浏览和可视化其数据，从简单的饼图到高度详细的deck.gl地理空间图。

以下是Superset的主要功能的概述：

• 开箱即用的丰富数据可视化集合

• 易于使用的界面，用于浏览和可视化数据

• 创建和共享仪表板

• 与大型身份验证提供程序（数据库，OpenID，LDAP，OAuth和REMOTE_USER通过Flask AppBuilder集成）集成的企业级身份验证

• 可扩展的高粒度安全性/权限模型，允许有关谁可以访问单个要素和数据集的复杂规则

• 一个简单的语义层，允许用户通过定义哪些字段应显示在哪些下拉列表中以及哪些聚合和功能度量可供用户使用来控制如何在UI中显示数据源

• 通过SQLAlchemy与大多数说SQL的RDBMS集成

• 与Druid.io的深度集成

 

Superset是云原生的，旨在提供高可用性。它旨在扩展到大型的分布式环境，并且在容器内可以很好地工作。虽然您可以在适当的设置上或仅在笔记本电脑上轻松测试Superset驱动器，但扩展平台几乎没有限制。

从灵活性上讲，Superset还是云原生的，它使您可以选择：

 

• 网络服务器（Gunicorn，Nginx，Apache）

• 元数据数据库引擎（MySQL，Postgres，MariaDB等）

• 消息队列（Redis，RabbitMQ，SQS等）

• 结果后端（S3，Redis，Memcached等）

• 缓存层（Memcached，Redis等）

 

Superset还可以与NewRelic，StatsD和DataDog等服务一起很好地工作，并且能够针对大多数流行的数据库技术运行分析工作负载。

 

目前，Superset已在许多公司大规模运行。例如，Superset在Kubernetes内的Airbnb的生产环境中运行，每天为600多个活跃用户提供服务，每天查看超过10万张图表。

 

1.3 支持的数据库

 

 

二 服务器环境配置

 

2.1配置python3环境

 

安装superset必须是python3环境

mv /usr/bin/python /usr/bin/python.bak ln ‐s /usr/local/bin/python3 /usr/bin/python ln ‐s /usr/local/bin/pip3 /usr/bin/pip

 

2.2 修改系统的python环境

vi /usr/bin/yum 第一行 改成：#! /usr/bin/python2

 

三superset安装

 

3.1安装

pip3 install apache-superset

 

3.2 配置superset环境变量

 

3.3 初始化数据库

superset db upgrade

 

3.4 创建管理员用户名密码

superset fab create-admin

 

 

# Load some data to play with

superset load_examples

 

# Create default roles and permissions

superset init

 

 

3.5 启动

# debug模式启动

superset run ‐p 8088 ‐h 192.168.xxx.xxx ‐‐with‐threads ‐‐reload ‐‐debugger

 

# 正常模式启动

superset run -p 8088 -h 192.168.xxx.xxx

 

3.6 访问

访问：http://192.168.xxx.xxx:8088/

 

 

四 连接数据库

 

4.1 数据库驱动程序

Database	PyPI package	Connection String
Apache Druid	pip install pydruid	druid://:@:/druid/v2/sql
Apache Hive	pip install pyhive	hive://hive@{hostname}:{port}/{database}
Apache Impala	pip install impala	impala://{hostname}:{port}/{database}
Apache Kylin	pip install kylinpy	kylin://:@:/?=&=
Apache Spark SQL	pip install pyhive	hive://hive@{hostname}:{port}/{database}
ClickHouse	pip install sqlalchemy-clickhouse	clickhouse://{username}:{password}@{hostname}:{port}/{database}
Elasticsearch	pip install elasticsearch-dbapi	elasticsearch+http://{user}:{password}@{host}:9200/
MySQL	pip install mysqlclient	mysql://:@/
Oracle	pip install cx_Oracle	oracle://
PostgreSQL	pip install psycopg2	postgresql://:@/
Presto	pip install pyhive	presto://

 

4.2 clickhouse连接

 

4.2.1 驱动安装

pip install sqlalchemy-clickhouse

The expected connection string is formatted as follows:

clickhouse://{username}:{password}@{hostname}:{port}/{database}

 

4.2.2 连接方式

 

 

 

 

 

4.2.3 连接效果

 

 

4.3 postgresql连接

 

4.3.1 安装驱动

pip install psycopg2

 

postgresql://:@/

 

4.3.2 连接方式

 

 

 

 

4.3.3 连接效果

 

 

五 创建数据集

 

5.1 开始

 

 

5.2 新增

 

 

5.3 效果

 

 

六 创建图表(charts)

 

6.1 词汇云

 

 

 

 

6.2 国家地图

 

准备地区/省/部门ISO3166-2代码

CN-11北京 CN-50重庆 CN-31上海 CN-12天津 CN-34安徽 CN-35福建 CN-62甘肃 CN-44广东 CN-52贵州 CN-46海南 CN-13河北 CN-23黑龙江 CN-41河南 CN-42湖北 CN-43湖南 CN-32江苏 CN-36江西 CN-22吉林 CN-21辽宁 CN-63青海 CN-61陕西 CN-37山东 CN-14山西 CN-51四川 CN-71台湾 CN-53云南 CN-33浙江 CN-45广西 CN-15内蒙古 CN-64宁夏 CN-65新疆 CN-54西藏 CN-91香港 CN-92澳门

 

将该编码通过省份名称关联上准备创建图表的表，在表中新增一个字段provice_code字段

 

配置图表

 

 

七 创建仪表盘(Dashboards)

 

7.1 新增Dashboards

 

 

7.2 配置Dashboards

 

 

7.3配置结果

 

 

7.4 两种添加charts到Dashboards的方法

 

7.4.1 编辑已保存的charts

编辑已保存的charts，选择Dashboards

 

 

 

返回Dashboards

 

 

查看Dashboards结果

 

 

7.4.2 新建保存charts的时候选择Dashboads

 

 

查看Dashboads

 

 

八 sql实验室(sql lab)

 

 

8.1 sql editor

 

 

8.2 saved queries

 

 

 

点击 pop tab link可以直接到达 sql编辑页面进行查询

 

 

 

8.3 query search

 

 

可以看到历史查询情况

 

 

2020大数据面试题真题总结(附答案)

一文探究数据仓库体系(2.7万字建议收藏)

一文探究Hadoop(3万字长文，建议收藏)

一文带你走进HIVE的世界(1.8W字建议收藏)

一文带你全方位了解Flink(3.2W字建议收藏)

一文带你走进clickhouse的世界(3W字建议收藏)

你要悄悄学会HBase，然后惊艳所有人(1.7万字建议收藏)

一文带你深入了解kafka并提供52道企业常见面试题(1.8W字建议收藏)

非常全面的DolphinScheduler(海豚调度)安装使用文档

Hive调优，数据工程师成神之路

数据质量那点事

简述元数据管理