数据中台05：数据中台之数据加工总线

一、目前大数据领域实时计算的现状

随着大数据行业的整体发展，企业对实时计算的需求越来越多，特别是在构建实时数仓的时候，需要接入很多实时数据源，并且数仓还是分层的，针对每一层的数据都需要进行实时计算，此时就需要开发很多实时计算程序，实时计算程序的复用性很低，针对每一种类型的数据都需要开发对应的实时计算程序，开发成本高，并且对程序员也不友好，需要专门的大数据开发工程师，所以我们希望在实时计算领域能够提供类似HiveSQL的功能，直接写SQL就能实现实时计算任务，不需要每次都写一堆的代码，提高工作效率，尽可能让会只会SQL的普通开发人员也能轻松的开发实时计算任务。

为了解决这个痛点，于是，我们研发了数据加工总线平台，也可以称之为数据实时流转平台。

二、什么是数据加工总线

为了使实时数据的处理能够更加高效、简单，所以我们研发了一站式实时数据开发平台。只需要在页面选择数据源、目的地以及对应的SQL计算逻辑，就可以轻松实现海量实时数据计算任务的开发。

这个平台主要的功能就是支持SQL实现实时数据计算任务的开发。

我们期望达到的目标，通过这套平台，可以实现用SQL解决80%以上的实时数据计算需求。

三、数据加工总线原型图总览

由于数据加工总线涉及前端和后端，在企业中前端代码有专门的同事负责开发，我们大数据部门只需要负责后台功能开发即可，所以在课程中不涉及前端页面代码，在这里通过原型图来演示一下数据加工总线具体的使用流程，加深大家的理解。
注意：原型图只能在这里给大家演示一下，不能发出去，希望大家理解。