可以二次开发的 数据治理系统

• 这是一款为数据治理而生的企业一站式数据中台，采用微服务云原生技术，富含各类开箱即用的组件，提供了统一的元数据采集和维护入口，支持常见的数据库元数据采集，用来帮助构建企业数据资产目录和数据安全体系；数据质量模块可以定时对数据质量进行管控；通过数据 api 模块，可以为各业务系统提供数据检索查询服务，实现数据赋能；可视化模块无需搭配任何开发工具，简单拖拽组合，便可以完成复杂的数据分析任务，以看板，酷屏的方式展现。

• 系统采用 SpringCloud 微服务框架开发，模块划分明确，灵活可拓展，可应对高并发场景需求，兼顾本地，私有，公有云部署

后端技术栈

开发框架：Spring Boot 2.3
微服务框架：Spring Cloud Hoxton.SR9
安全框架：Spring Security + Spring OAuth 2.0
任务调度：Quartz
持久层框架：MyBatis Plus
数据库连接池：Hikaricp
服务注册与发现: Spring Cloud Config
客户端负载均衡：Ribbon
熔断组件：Hystrix
网关组件：Spring Cloud Gateway
消息队列：Rabbitmq
缓存：Redis
日志管理：Logback
运行容器：Undertow
工作流: Flowable 6.5.0

前端技术栈

JS框架：Vue、nodejs
CSS框架：sass
组件库：ElementUI
打包构建工具：Webpack

功能一览

平台基础设置
  任务管理：在线（添加、修改、删除)任务调度。
  日志管理：任务调度执行结果日志。
  登录日志：系统登录日志记录查询。
  操作日志：系统正常操作日志记录和查询；系统异常信息日志记录和查询。
  岗位管理：配置系统用户所属担任职务。
  部门管理：配置系统组织机构，树结构展现支持数据权限。
  菜单管理：配置系统菜单，操作权限，按钮权限标识等。
  角色管理：角色菜单权限分配、设置角色按机构进行数据范围权限划分。
  用户管理：用户是系统操作者，该功能主要完成系统用户配置。
  参数管理：对系统动态配置常用参数。
  字典管理：对系统中经常使用的一些较为固定的数据进行维护。
系统管理
系统监控
任务调度
元数据管理
  数据源：数据源连接信息管理，可生成数据库文档。
  元数据：数据库表的元数据信息管理。
  数据授权：设置元数据信息权限划分。
  变更记录：元数据信息变更记录信息管理。
  数据检索：数据源、数据表、元数据等信息查询。
  数据地图：元数据的隶属数据表、数据库的图形展示。
  SQL工作台：在线执行查询sql。
数据标准管理
  标准字典：国标数据维护。
  对照表：本地数据中需要对照标准的数据维护。
  字典对照：本地数据与国标数据的对照关系。
  对照统计：本地数据与国标数据的对照结果统计分析。
数据质量管理
  规则配置：数据质量规则配置。
  问题统计：数据质量规则统计。
  质量报告：数据质量结果统计分析。
  定时任务：数据质量定时任务。
  任务日志：数据质量定时任务日志。
主数据管理
  数据模型：主数据数据模型维护。
  数据管理：主数据数据管理。
数据集市管理
  数据服务：动态开发api数据服务，可生成数据服务文档。
  数据脱敏：api数据服务返回结果动态脱敏。
  接口日志：api数据服务调用日志。
  服务集成：三方数据服务集成管理。
  服务日志：三方数据服务集成调用日志。
可视化管理
  数据集：基于sql的查询结果维护。
  图表配置：动态echarts图表配置，支持多维表格、折线、柱状、饼图、雷达、散点等多种图表。
  看板配置：拖拽式添加图表组件，调整位置、大小。
  酷屏配置：拖拽式添加图表组件，调整背景图、颜色、位置、大小。
流程管理
  待办任务：待办任务管理。
  已办任务：已办任务管理。
  运行中的流程：运行中的流程实例管理。
  我发起的流程：我发起的流程实例管理。
  我参与的流程：我参与的流程实例管理。
  流程定义：流程定义管理。
  流程实例
  流程任务
  业务配置：配置业务系统与流程的相关属性。

模块导航

datax-ui-pro -- 前端工程[9528]
 datax-cloud-pro -- 后端工程
 ├── datax-eureka -- 注册中心[8610]
 ├── datax-config -- 配置中心[8611]
 ├── datax-gateway -- Spring Cloud Gateway网关[8612]
 ├── datax-auth -- 授权服务提供[8613]
 ├── datax-common -- 系统公共模块
 ├   ├── datax-common-core -- 公共工具类核心包
 ├   ├── datax-common-database -- 数据库相关工具类包
 ├   ├── datax-common-log -- 日志服务类包
 ├   ├── datax-common-mybatis -- 数据源类包
 ├   ├── datax-common-office -- word工具类包
 ├   ├── datax-common-rabbitmq -- rabbitmq消息队列类包
 ├   ├── datax-common-redis -- redis类包
 ├   ├── datax-common-security -- 安全工具类包
 ├── datax-modules -- 业务模块
 ├   ├── codegen-service-parent -- 后端代码生成管理模块[8830]
 ├   ├── data-market-service-parent -- 数据集市管理模块[8822]
 ├   ├── data-masterdata-service-parent -- 主数据管理模块[8828]
 ├   ├── data-metadata-service-parent -- 元数据管理模块[8820]
 ├   ├── data-quality-service-parent -- 数据质量管理模块[8826]
 ├   ├── data-standard-service-parent -- 数据标准管理模块[8825]
 ├   ├── data-visual-service-parent -- 可视化管理模块[8827]
 ├   ├── email-service-parent -- 邮件管理模块[8812]
 ├   ├── file-service-parent -- 文件管理模块[8811]
 ├   ├── quartz-service-parent -- 定时任务管理模块[8813]
 ├   ├── system-service-parent -- 平台基础设置管理模块[8810]
 ├   ├── workflow-service-parent -- 流程管理模块[8814]
 └── datax-tools -- 图形化模块
 ├   ├── datax-tool-monitor -- Spring Boot Admin监控 [8711]

部署方式

数据库版本为 mysql5.7 及以上版本

依次创建以下数据库：data_clouddata_cloud_flowabledata_cloud_quartzfoodmart2robot字符集：utf8mb4排序规则：utf8mb4_general_ci

数据库创建完毕，导入 db 文件夹下的 sql 脚本 即可完成数据库初始化

修改 datax-config 配置中心 config 文件夹下的配置文件，把 redis，mysql 和 rabbitmq 的配置信息改成自己的

把系统导入 idea 中，等待 maven 依赖下载完毕，在项目根目录下执行 mvn install，install  完毕后可以获取到各个模块的 jar 包，上传到服务器的同一个文件夹，依次执行即可，如果是在本地idea启动，也按照以下顺序依次启动，部署脚本在 sh 目录下，内容如下（服务较多，一台服务器内存可能不够用，可考虑分开部署，自行修改脚本）：

启动：datx-cloud-pro.sh start
关闭：datx-cloud-pro.sh stop
重启：datx-cloud-pro.sh restart
用户名：admin
密码：123456

系统截图

系统前后端代码齐全

提供虚拟机镜像