阿里云大数据ACA考试-笔记（四）

DataV

一，产品介绍
1.产品概述：通过拖拽式的操作，使用数据连接，可视化组件库，行业设计模板库，多终端适配与发布运维于等功能
2.特点
（1）多种精美模板：可直接使用多种场景下的专业的可视化模板
（2）多种图标组件：多种图表自由搭配，传统图标，地图，拓扑图等
（3）多种数据源介入：支持RDS，ADS,静态文本，本地文件csv，在线API等
（4）零门槛图形化设计界面:提供多种的业务模块级而非图标组件的widget，所见即所得的配置方式
（5）支持数据交互分析：能够图形化地配置图表之间的交互联动，通过图表之间的参数传递实现数据的交互分析
（6）多种适配与发布方式：特别针对拼接大屏端的展示做了分辨率优化，能够适配非常规拼接分辨率做适配优化。创建的可视化应用能够发布分享。
（7）其他：本地化运行部署，大屏拼接中控系统，支持二次开发
3.大屏分类：
（1）展示类：
[1]用于领导嘉宾接待，或业务交流类活动
[2]偏重于业务信息结构以及业务亮点
[3]重点需要梳理业务相关的信息系架构
[4]平铺布局，配合视觉元素，串联讲解脚本
（2）分析类：
[1]展示数据关联及分析结果，为多人员讨论决策提供帮助
[2]通过页面展示细粒度较数据，通过交互实现数据串联
[3]展示关联性最高且最为关键的内容，多用于讨论决策
[4]对整体行业有一定的认知，理解数据之间的相互关系
（3）监控类：
[1]为公司内部人员和相关的业务运维人员提供监控信息
[2]展示业务整体概况，达到对业务实时监控及调度的目的
[3]除概况外还要展示分析结果，并给出优化方案
[4]比较依赖行业经验，在信息设计时会以业务方为主导
4.数据+视觉叙事：
（1）业务架构->板块拆分（越重要的越在中间）
（2）业务逻辑->页面布局

DataIde

介绍

产品概述

• 提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索
• 特点：
  • 全面托管的调度：具有强大的调度能力，提供完全托管的服务（任务到了指定时间自动调动）
  • 多种任务类型：数据同步，odps sql,mr,shell,机器学习
  • 可视化开发：提供可视化的代码开发，工作流设计器界面
  • 监控报警：可视化的任务监控，人物监控短信报警
• 数据开发流程
  • 数据产生->数据收集与存储->数据分析与处理->数据提取->数据展现与分享
  • 产品架构
    • 原始数据：
      • 云业务系统：云数据库RDS，云服务器ECS，对象存储OSS，或其他云端系统
      • 本地业务系统：mysql，oracle,log，其他
    • 大数据开发套件-> 管理数据权限，进行数据血缘分析，进行数据监控，做任务调度
      • 数据采集存储：离线接入，实时接入
      • 数据分析处理：MaxCompute,工作流
      • 数据截取：数据同步
    • 数据消费：BI报表，DateV，推荐引擎，其他
• 应用场景
  • 将业务系统产生的数据轻松上云，构建大型数据仓库和BI应用，利用MaxCompute强大的海量存储与数据存储能力
  • 基于大数据开发套件快速使用和分析数据，将大数据加工结果导出后直接应用与业务系统，实现数据化运营
  • 针对作业调度与运维的复杂性，大数据快发套件提供统一友好的调度系统和和石化调度运营界面，解决运维管理不便等问题

DataIDE引擎概念

• 基本概念
  • 任务（task）:对数据执行的操作，通常每个使用0个或者0个以上的数据表（数据集）作为输入，生成一个或多个数据表（数据集）作为输出
    • 主要分为三种：
      • 节点任务：单个任务，比如说一个sql语句
      • 工作流任务：多个节点任务，任务与任务之间有依赖关系
      • 内部节点
  • 实例（Instance）：代表了某个任务在某时某刻执行的一个快照，包括任务的运行时间，运行状态，运行日志等信息。在调度系统中的任务进过调度系统，手动触发运行后会生成一个实例。在DataIDE的调度系统自动调度的任务，会提前生成对应的实例。和macxcompute里不同：实例是提前生成。比如规定第二天上午九点半做，先生成，到九点半运行
  • 提交（submit）：提交指开发的节点任务，工作流任务从开发IDE环境发布到调度系统的过程。完成提交以后，相应的代码，调度配置全部合并到调度系统中，调度系统按照相关配置进行调度操作。未提交的节点任务，工作流任务不会进入到调度系统
  • 角色：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZSsQ1ZSo-1582195556487)(9887B7343C2343F1950BEE10A1891F98)]
• 多环境
  • 在开发环境开发，发布到测试环境进行测试，在发布到生产环境中

服务开通及功能介绍