数据可观测性-功能设计

数据目录管理

数据源管理

  • 查看、创建、编辑、删除
  • 元数据获取
    • 手动执行
    • 定时执行

数据源类型管理

  • 创建数据源类型时需要添加类型的元数据模型定义,模型定义是Json格式,会提供相应的模板来供用户参考并支持在线验证格式是否正确

数据资产管理

资产类型

  • 物理数据资产
    • 资产信息由元数据抓取工具实时抓取生成,类型由数据源类型决定,例如文件系统、关系型数据库、NoSQL数据库和消息队列等。
  • 业务数据资产
    • 资产信息由已有数据源和业务逻辑生成,目前只支持由关系型数据库类型的数据源生成,属于派生数据源。

资产搜索

  • 根据类型、名字或者标签搜索到相应的数据资产,如表、列、文件等,可点击查看该资产的详细信息。

资产详情(表级别)

概况

  • 资产名字
  • 资产类型
  • 资产标签
  • 资产相关术语
  • 资产所有者
  • 资产的创建时间
  • 资产的更新时间
  • 资产的相关指标
    • 不同资产的指标不一样,例如文件类型资产的相关指标有文件大小、文件格式等,数据库表类型的资产的相关指标有总行数、列数量等

基准

  • 每一列或者选择的列的Null、Distinct Count、Max、Min、Distribution、Freshness、Uniqutes、Format等值

异常项

  • 展示数据基准监控、数据质量监控、数据漂移监控中发现的异常项

样例数据

数据血缘

  • 优先支持查看表之间的血缘关系
  • 进行数据影响推断,尽快地发现数据质量的下游影响节点

Schema 监控

  • 自动监控各种数据源的结构变化,进行schema的自动更新,同时进行告警
  • 查询Schema变化历史数据

监控策略管理

策略配置
  • 数据基准监控策略
  • 数据质量监控策略
  • 数据漂移监控策略
  • 数据核对监控策略
    • 用于比对当前资产表和目标资产表的数据,包括一致性、值比对等
策略执行结果查看

数据评价体系

Metric 管理

  • 内置Metric,让用户开箱即用
    • 内置多个维度多类型的Metric
  • 自定义Metric
    • 支持SQL类型的自定义语句
  • 根据历史数据自动推断合适的阈值

SLAs

issue管理

  • 根据不同metric生成不同的issue警告,并可以管理issue的状态,超时未处理会再通知、可以点击误报来关闭issue

告警插件管理

  • 支持多种告警插件,包括邮箱、企业微信、钉钉、Slack等

数据管道中任务监控

数据集成

你可能感兴趣的:(数据可观测性-功能设计)