DataWorks OpenAPI企业开发实战-运维监控大屏

简介：本文将会介绍如何通过使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化，而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。

工欲善其数，必先利其器！

DataWorks OpenAPI现已正式发布，通过自带的100多个API 功能，可以快速进行批量操作与系统集成对接等，助您显著提升数据开发效率！

（DataWorks OpenAPI限企业版及以上版本使用）

DataWorks OpenAPI现开放7天免费试用，请使用钉钉扫码联系，提供试用账号的UID与Region即可。

本文将会介绍如何使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化，而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。

租户级别运维监控

1、任务大盘

如上图所示，我们可以在大屏上展示每天的节点总数和产生的实例（任务）总数以及他们的环比情况，那么可以通过DataWorks开放元数据的表raw\_v\_schedule\_node的数据计算出每日的节点总数然后再回流到RDS，通过raw\_v\_schedule\_task表的数据则可以计算出每日的实例总数然后再回流到RDS，这样就能得到每日的总数，经过计算后计算出环比。

想要使用DataWorks开放元数据的表需要在我们的邀测名单中，给主账号完成表授权后就能使用自己的数据了。

2、任务运行趋势图

该图展示DataWorks每日任务完成情况，这个监控图需要借助DataWorks开放事件消息的实时数据来统计完成，DataWorks开放事件消息目前邀测开放了调度任务事件消息和元数据表事件消息两种事件消息，订阅调度任务事件消息后可实时拿到调度任务的实时运行情况，比如某个任务开始等时间时就能收一条DataWorks事件消息，在本地系统接收到该消息后能拿到任务的概要信息，如果想要获取该任务的更多信息可以通过调用GetInstance接口获取。任务从未运行->等时间->等资源->开始运行->运行成功整个运行生命周期都能订阅到事件消息，拿到实例信息后可以存储到RDS，经过积累后就能形成上面所示的任务运行情况趋势图了。

通过调度的事件消息数据不仅可以展示任务完成情况，还能展示任务各时间段等资源、运行中、运行失败情况。想要订阅DataWorks开放事件消息需要在我们的邀测名单中，我们颁发DataWorks的Kafka Topic以及账密后就能订阅到自己的消息了。

3、任务类型分布图

基于第2节中从raw\_v\_schedule\_node统计的数据也可以拿到任务类型分布图中。任务类型对应的字段是prgName。

项目级别运维监控

1、周期实例数量趋势图

通过调用DataWorks OpenAPI的接口GetInstanceCountTrend即可拿到某项目下的周期实例运行数据，参考文档https://help.aliyun.com/document\_detail/185675.html?spm=a2c4g.11186623.6.1294.13494e6dN9Hr0K

2、实例运行时长排行

通过调用DataWorks OpenAPI的接口GetInstanceConsumeTimeRank即可拿到某项目下实例运行时长数据，参考文档https://help.aliyun.com/document\_detail/185676.html?spm=a2c4g.11186623.6.1295.2c0161c2yTlqiV

3、实例运行出错排行

通过调用DataWorks OpenAPI的接口GetInstanceErrorRank即可拿到某项目下近一个月节点的出错数据，参考文档https://help.aliyun.com/document\_detail/185677.html?spm=a2c4g.11186623.6.1296.44945985P8ONel

4、结语

以上内容介绍了运维大屏的一些基础功能和如何使用DataWorks OpenAPI的能力来实现，基于这些能力用户可以挖掘出更多丰富的需求和场景，如果您有更好的想法也可以联系我们。

本文案例中使用到的API列表：

GetInstanceCountTrend

GetInstanceConsumeTimeRank

GetInstanceErrorRank

本文案例中使用到的元数据表列表：

raw\_v\_schedule\_node

raw\_v\_schedule\_task

本文案例中使用到的事件消息：任务调度事件

DataWorks OpenAPI实战系列：

数据开发全流程介绍

DataWorks OpenAPI 示例（元数据模块）

DataWorks OpenAPI现开放7天免费试用，请使用钉钉扫码联系，提供试用账号的UID与Region即可。

提效神器，DataWorks OpenAPI开放7天免费试用！

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。