阿里云数仓Dataphin数仓功能点含义解释

Dataphin

       基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。

• 规范建模
  • 规范定义
    • 维度
    • 维度是人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。
      • 维度是人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。
    • 业务过程
    • 业务过程是业务活动中不可拆分的事件，例如下单、支付和退款。创建业务过程，即从顶层视角，规范业务活动中事件的内容类型及唯一性。
      • 业务过程是业务活动中不可拆分的事件，例如下单、支付和退款。创建业务过程，即从顶层视角，规范业务活动中事件的内容类型及唯一性。
    • 原子指标
    • 原子指标是对指标统计口径、具体算法的抽象。Dataphin创新性地提出了设计即开发的理念，指标定义同时也明确了设计统计口径（即计算逻辑），提升了研发效率，并保证了统计结果的一致性。
      • 原子指标是对指标统计口径、具体算法的抽象。Dataphin创新性地提出了设计即开发的理念，指标定义同时也明确了设计统计口径（即计算逻辑），提升了研发效率，并保证了统计结果的一致性。
    • 业务限定
    • 业务限定用于圈定统计的业务范围。
      • 业务限定用于圈定统计的业务范围。
    • 派生指标
    • 派生指标用于圈定原子指标统计业务的范围。
      • 派生指标用于圈定原子指标统计业务的范围。
  • 逻辑表
    • 维度逻辑表
    • 维度逻辑表与维度一一对应，是通过丰富维度中的属性信息构建而成的。维度发布或提交成功后，系统会自动创建对应的维度逻辑表，并支持对维度逻辑表进行添加属性、添加关联维度和添加子维度。
    • 事实逻辑表
    • 事实逻辑表用于描述业务过程的详细信息。
      • 物理化配置
      • 物理化配置用于配置事实逻辑表的生命周期、分区字段及设置自定义参数。
        • 物理化配置用于配置事实逻辑表的生命周期、分区字段及设置自定义参数。
      • 调度配置
      • 调度配置是配置节点在调度过程中的调度规则及依赖关系。
        • 调度配置是配置节点在调度过程中的调度规则及依赖关系。
    • 汇总逻辑表
    • 汇总逻辑表用于统计以统计粒度（维度）为主题的所有数据。
  • 规范建模
    • 建模引擎
    • Dataphin逻辑表开发、提交和调度运行，会自行根据系统内置规则对逻辑表模型进行校验、物理化，提供查询使用。标准规范、可靠稳定及高效的逻辑表研发过程依赖于智能建模引擎服务。
      • 计算逻辑重复性校验
      • Dataphin核心价值之一是定义无二义性，核心要求为命名、计算逻辑无重复。提交规范定义、逻辑表对象时，Dataphin会校验对象的英文名、中文名、计算逻辑完全没有重复。如果计算逻辑存在重复，则进行系统提示，避免误创建同名不同义、或者同义不同名的对象。新建或编辑之后，在您提交并发布时间周期、维度、维度逻辑表字段、事实逻辑表、事实逻辑表字段、原子指标、业务限定、汇总逻辑表自定义指标时，会基于AST抽象语法树结构进行解析，在命名空间内进行计算逻辑（或表达式）重复性校。如果校验有重复，则提示对象计算逻辑重复。
        • Dataphin核心价值之一是定义无二义性，核心要求为命名、计算逻辑无重复。提交规范定义、逻辑表对象时，Dataphin会校验对象的英文名、中文名、计算逻辑完全没有重复。如果计算逻辑存在重复，则进行系统提示，避免误创建同名不同义、或者同义不同名的对象。
      • 模型多版本动态刷新
      • 动态刷新可以提高逻辑表提交及物理化的效率，增加逻辑表变更的灵活性，也可以降低物理表变更及历史数据变更迁移的计算引擎源资源消耗。在SQL任务调度时，系统会基于当前最新的逻辑表物理化情况自动识别和路由对应的物理表，从而获取查询所需的数据。
        • 动态刷新可以提高逻辑表提交及物理化的效率，增加逻辑表变更的灵活性，也可以降低物理表变更及历史数据变更迁移的计算引擎源资源消耗。在SQL任务调度时，系统会基于当前最新的逻辑表物理化情况自动识别和路由对应的物理表，从而获取查询所需的数据。
• 任务发布
• 可以通过数据处理模块构建计算任务的代码任务。例如，同步数据、创建目标表、构建数据模型及加工逻辑表。
  • 管理发布任务
  • 基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。
    • 基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。
• 运维中心
• 支持对任务及任务生成的实例进行运维管理，包括运维大盘、任务运维、实例运维和监控配置。运维中心支持按时间和触发任务的机制，调度任务。系统的调度时间包括分钟、小时、日、周和月多种调度周期。触发任务运行包括补数据周期任务、手动运行手动任务和启动实时任务的运行。
  • 运维大盘
  • 运维大盘为您提供所有任务运行概况、实例分布统计、异常实例统计，便于您及时获取任务运行的状况、了解实例运行的趋势，以判断资源的消耗及影响，从而作出预算准备、资源扩容或规格升级的决策。
    • 运维大盘为您提供所有任务运行概况、实例分布统计、异常实例统计，便于您及时获取任务运行的状况、了解实例运行的趋势，以判断资源的消耗及影响，从而作出预算准备、资源扩容或规格升级的决策。
  • 任务运维
  • 任务运维依照调度时效分为周期任务、实时任务和手动任务。周期任务包括脚本任务、逻辑表任务和萃取任务。任务运维模块为您提供周期任务、实时任务和手动任务的运维和管理，包括查看DAG图、查看实例、补数据、批量修改任务的责任人和运行任务等。
    • 任务运维依照调度时效分为周期任务、实时任务和手动任务。周期任务包括脚本任务、逻辑表任务和萃取任务。任务运维模块为您提供周期任务、实时任务和手动任务的运维和管理，包括查看DAG图、查看实例、补数据、批量修改任务的责任人和运行任务等。
  • 实例运维
  • 实例运维模块依照实例生成方式分为周期实例、补数据实例、手动实例和实时实例。实例运维模块为您提供周期实例、补数据实例、手动实例和实时实例的运维和管理，包括查看DAG、查看任务、查看运行日志、批量重跑、批量暂停和批量恢复等操作。
    • 实例运维模块依照实例生成方式分为周期实例、补数据实例、手动实例和实时实例。实例运维模块为您提供周期实例、补数据实例、手动实例和实时实例的运维和管理，包括查看DAG、查看任务、查看运行日志、批量重跑、批量暂停和批量恢复等操作。
  • 监控报警
  • 在Prod和Basic项目下，支持配置任务的多种监控告警规则。对于逻辑表任务，提供字段视角的监控配置。帮助您及时了解任务运行动态，并监控异常任务。
    • 在Prod和Basic项目下，支持配置任务的多种监控告警规则。对于逻辑表任务，提供字段视角的监控配置。帮助您及时了解任务运行动态，并监控异常任务。