SuperMap iServer 数据科学服务配置及使用

作者:lly

文章目录

      • 背景
      • 一、系统配置要求
        • 1.1硬件要求
        • 1.2软件要求
      • 二、环境配置
        • 2.1在Docker中部署数据科学服务
        • 2.2在 Kubernetes 集群中部署数据科学服务
      • 三、使用数据科学服务
        • 3.1初始化向导配置
          • 3.1.1选择认证方式
          • 3.1.2设置 Notebook 运行模式
          • 3.1.3确认初始化信息。
          • 3.1.4初始化完毕。
          • 3.1.5登录数据科学服务。
        • 3.2能力介绍

背景

Supermap iServer数据科学服务是面向数据科学家、数据分析师等角色所打造的在线交互式python开发环境,可以在线创建、运行、监控python脚本,基于空间数据进行分布式分析、机器学习等工作。

其核心是Supermap iObject Python,此外还集成了丰富的Python开源分析以及机器学习库,如numpy、opencv、proj4和tensorflow等,提供集成化的环境,结合iServer平台海量的地理数据资源,让用户更关注于解决数据分析问题本身,下面为大家详细介绍下SuperMap iServer 数据科学服务配置及使用。

一、系统配置要求

1.1硬件要求

Linux 系统上安装 SuperMap iServer DataScience产品的最低硬件要求包括:

  • 处理器:800 MHz 主频
  • 内存:1 GB 硬盘:20 GB
  • 网络适配器:系统安装有网络适配器
  • 显示适配器:64 M 显存(安装显示适配器驱动)

硬件推荐配置:

  • 处理器:双核,2.00 GHz 或以上
  • 内存:4 GB 或以上
  • 硬盘:80 GB 或以上
  • 网络适配器:100 M 或以上网络适配器
  • 显示适配器:512 M 或以上显存 (安装显示适配器驱动),OpenGL 版本:3.0

1.2软件要求

操作系统要求(64位):

  • CentOS 7.x
  • SUSE Linux Enterprise Server 12.x
  • Ubuntu Server16.04、18.04

其它软件要求(64位,可选,参见安装后配置):

  • JRE 1.8 及其以上版本
  • SuperMap iObjects Java 11i(2022) for Linux

二、环境配置

2.1在Docker中部署数据科学服务

SuperMap iServer 数据科学服务现已在Docker中心上线,下载地址:https://cr.console.aliyun.com/repository/cn-beijing/supermap/iserver-datascience。仅需几步,即可在Docker中部署iServer数据科学服务。

下面以ubuntu16.04为例,介绍如何在Docker中部署并运行iServer数据科学服务。

以下操作均需以root用户或最高权限用户登录操作。

:Linux系统上需提前安装Docker,具体请参见Docker安装
下载 iServer数据科学服务镜像
在Docker宿主机中执行以下命令下载最新的 iServer数据科学服务镜像:

docker pull registry.cn-beijing.aliyuncs.com/supermap/iserver-datascience:latest

下载完成后,您可以通过以下命令查看已下载的image信息:

docker images

在这里插入图片描述

运行Docker即可启动iServer数据科学服务
基于下载的iServer数据科学服务 镜像,运行一个Docker容器iservernotebook。执行如下命令:

docker run --name iserverdatascience -d -p 8000:8000 -v /home/datascience:/opt/datascience/confDir  registry.cn-beijing.aliyuncs.com/supermap/iserver-datascience:latest

其中,-p 8000:8000 表示对外暴露端口号为8000。

等待几秒钟,iServer数据科学服务启动完成。在浏览器中输入http://<宿主机IP>:8000,即可访问 iServer数据科学服务。
SuperMap iServer 数据科学服务配置及使用_第1张图片

2.2在 Kubernetes 集群中部署数据科学服务

SuperMap iServer 数据科学服务提供了Helm Chart形式的分发包,用于在Kubernetes(以下简称K8S)集群中快速部署iServer数据科学服务。数据科学服务运行在K8S集群中,各用户的Notebook Server 独立运行在一个K8S Pod中,从而支持大量用户并发访问,互不干扰,较好地实现用户级的隔离。
在 Kubernetes 集群中部署数据科学服务

三、使用数据科学服务

3.1初始化向导配置

3.1.1选择认证方式

用于配置数据科学服务的用户系统和管理员账户。

目前支持以下两种用户系统,配置完后点击”下一步“

使用KeyCloak用户

使用KeyCloak用户前,需有可用的KeyCloak服务,详细可参见 KeyCloak 安装与配置

  • 管理员账户:可使用KeyCloak服务中的用户
  • 回调url:当前数据科学服务的ip、端口。格式为:http://ip:port/hub/oauth_callback
  • KeyCloak地址:KeyCloak服务地址,格式为:http://ip:port
  • KeyCloak域:KeyCloak中设置的域名。例如:“jupyterhub”
  • KeyCloak定义的客户端ID:KeyCloak中设置的客户端ID。例如:“jupyterhub”
  • KeyCloak定义的客户端秘钥:KeyCloak中设置的客户端密钥。

使用操作系统用户

  • 管理员账户:可使用当前操作系统中已有的含有非root权限的用户。

注:当前的 Docker 镜像中,已创建了“iserver”、"guest"两个非root权限的用户,且用户名与密码相同。

3.1.2设置 Notebook 运行模式

目前提供以下三种 Notebook 运行模式:

  • 运行在本地进程中:在本地操作系统运行。
  • 运行在本地Docker容器:
    • 在本地的 Docker 容器中运行。
    • 数据科学服务镜像名称:所启动数据科学服务的镜像名称,默认:registry.cn-beijing.aliyuncs.com/supermap/iserver-datascience:latest。注:所填镜像必须在本地Docker环境中存在。
  • 运行在 K8S 中的 Docker 容器中:在 K8S 集群中运行。
    SuperMap iServer 数据科学服务配置及使用_第2张图片

设置完后,点击”下一步“

3.1.3确认初始化信息。

以上步骤配置完成后,点击”初始化“;如需修改配置,请点击”上一步“进行修改
SuperMap iServer 数据科学服务配置及使用_第3张图片

3.1.4初始化完毕。

初始化完毕后,如果数据科学服务运行在非 K8S 集群的Docker 容器中,需要手动重新启动,命令如下:

docker start Docker容器ID
3.1.5登录数据科学服务。

根据第一步中所选的用户系统,使用该用户系统中的用户的账户密码进行登录即可。
SuperMap iServer 数据科学服务配置及使用_第4张图片

3.2能力介绍

完成数据科学服务初始化配置后,点击 ‘/hub/home’ 链接,在登录弹窗中输入您的用户名和密码,进入数据科学服务的首页。

iServer 数据科学服务提供了以下能力:

  • API Token
  • Admin
  • Notebook Editor
  • 监控 Notebook

API Token
您可以在数据科学服务首页点击 Token,进入 API Token 生成页面,生成您的 API Token。
在这里插入图片描述

SuperMap iServer 数据科学服务配置及使用_第5张图片

Admin
SuperMap iServer 数据科学服务支持添加或删除用户。从数据科学服务首页进入 Admin,在这里您可以添加或删除 User;并可通过 Edit 功能编辑 User 信息,设置其是否为 Admin 用户;此外您还可以在该页面控制用户的启用和停用。Admin 用户有管理服务、管理使用的用户等权限。
在这里插入图片描述

Notebook Editor
在数据科学目录服务首页点击 My Server 进入 Notebook Editor,在 Notebook Editor下您可以创建、运行、停止数据科学服务;创建、编辑和管理 Text File、Folder、Terminal; 监控 Notebook 运行状况等。

Notebook 的创建和使用请详见 Notebook 创建与使用。
SuperMap iServer 数据科学服务配置及使用_第6张图片

监控 Notebook
在 Running 目录下,您可以监控 Notebook 的运行情况,如下图,显示了现在运行中的终端及 Notebook,您可通过关闭功能停止运行中的终端及 Notebook。
SuperMap iServer 数据科学服务配置及使用_第7张图片

你可能感兴趣的:(数据科学服务)