Hadoop数据分析平台实战——220项目结构整体概述

离线数据分析平台实战——220项目结构整体概述

数据展示系统(bf_dataapi)总述

bf_dataapi项目的主要目标有两个:
第一个目标就是我们需要提供一个提供json数据的Rest API;
第二个目标就是提供一个展示结果的demo页面。
bf_dataapi使用spring+mybatis+mysql来搭建提供rest api的项目框架,
使用highcharts来进行demo页面的搭建。
在本次项目中,我们将所有的API高度聚合,最终我们只会提供两个API,然后在API中根据参数的不同进行不同操作。

数据展示系统(bf_dataapi)结构

bf_dataapi展示页面介绍

在本次项目中我们分别就七个模块进行数据分析,我们这里采用js+highcharts的方式进行数据的动态展示,具体的需求文档详见:..\文档\最终展示界面需求文档&设计文档.doc

bf_dataapi rest api介绍

针对我们本次项目的七个模块的数据分析,我们采用提供rest api的方式提供json格式的分析数据,这样方便其他前端程序员来调用该接口来显示数据,也方便其他项目组调用api获取需要的数据。在本项目中,我们将api接口高度聚合,只提供两个api,在api的方法内部根据参数的不同决定不同的操作。具体需求文档详见:..\文档\RestAPI需求设计文档.doc

分析系统(bf_transformer)总述

bf_transformer的主要目标由两个,第一个目标就是解析过滤用户日志数据,并将解析后的数据保存到hbase中,也就是etl操作;第二个目标就是从hbase中读取日志数据,然后编写mr/hive的job进行数据分析,然后将结果保存到mysql数据库中。

分析系统(bf_transformer)结构

你可能感兴趣的:(Hadoop数据分析平台实战——220项目结构整体概述)