一个数据分析系统的技术架构设计浅析

 

一个数据分析系统的技术架构设计浅析

作者：成晓旭

版权保留，严禁转载

 

    本文是曾经参与的一个大型项目的解决方案的技术架构设计的简要总结与阐释，仅仅分析该系统的众多的内部构件之间的逻辑关系，仅供参考。

    数据分析系统的主要功能是从众多外部系统中，采集相关的业务数据，集中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之后，存储到数据仓库的基础库中；然后，通过业务需要进行一系列的数据转换到相应的数据集市，供其他上层数据应用组件进行专题分析。

    因此，从数据被采集、转换、存储、分析、应用的角度对系统内部技术构件进行抽象，将系统内部分为采集层、处理层、应用层、配置层4个逻辑层次。数据分析系统的技术体系架构如下图：

  

    在采集层，主要应用接口适配器、网络文件采集及转换器、ESB总线等技术。接口适配器技术，用于适配各专业系统的数据采集接口，通过接口适配器来屏蔽各专业接口方式的差异性；网络文件采集及转换器，用于从各专业系统的采集文件数据，主要针对特定格式的各类网络数据文件，负责对数据格式进行格式化、规范化等预处理；ESB总线对标准的WebService/JMS接口方式的数据进行采集。

    在处理层，主要应用数据持久化、J2EE、BI等技术。关系数据库技术，用于存储系统采集、处理、计算等业务数据，存储系统各类运行参数配置信息，以及其他的运行过程信息；文件服务器，为各类文件型数据提供数据存储和访问服务；J2EE技术，是系统中所有B/S逻辑构件、应用程序、Web服务的容器，为各种B/S组件提供运行环境，并对其生命周期进行管控；BI的元数据管理为各类动态统计分析报表的数据聚合、多维分析、数据加载、数据生产、数据项、计算规则、展示方式等提供配置管理。

    在应用层，用于人机交互的主要应用BI、Web等技术。Web技术，提供系统的B/S界面的应用；BI技术，为各类动态统计分析结果提供报表、图形、仪表盘等丰富的展示方式；用于系统交互的ESB总线技术，以数据总线的方式发布WebService调用、或者下发JMS数据，通过统一的数据发布系统为外部系统提供服务数据共享服务。

    在配置层，主要应用ETL可视化可配置平台、规则引擎、工作流引擎等技术。ETL可视化配置技术，用于提供可视化、可配置的ETL数据抽取、转换、加载的处理，主要针对数据库数据、FTP标准文件格式的数据或者经过网络文件采集及转换器预处理过的中间数据；规则引擎部分为采集成各类适配及采集器提供配置数据的集中管理，包括提供接口文件的采集目录、文件名规则、数据项约定以及ETL数据抽取规则等的配置管理；工作流引擎，提供从数据采集接口配置、采集数据项、ETL参数配置、指标关联映射、BI参数关联映射等全过程的流程化配置向导。

    【声明】

     由于本文阐释的技术方案，源自在线生产系统，恕不提供完整而详细的技术方案，更不会提供源代码。