蔡狗拓展 电信信号强度诊断

电信信号强度诊断

第一阶段
了解整个项目相关细信息。
项目背景介绍、项目概述、逻辑架构介绍、功能需求介绍、数据结构介绍、总体架构介绍。

第二阶段
离线业务数据上传，根据架构，对离线数据进行整理、创建数据库表、数据加载。

第三阶段
离线业务SQL语句整理、整理SQL语句生成结果表的结构及字段，根据结果表所需的字段，在原始表中抽取该字段
数据加工、补充及入库、创建索引

第四阶段
实时业务需求实现，实时采集mysql中变化的数据，将数据同步至大数据平台，进行实时业务计算与离线分析。

数据流程描述

目标：掌握本项目的业务类型种类。
掌握每一类业务类型与数据处理模块的关系。
掌握每类业务类型的数据处理流程。

离线计算
1、通过命令行或脚本将数据上传到HDFS
2、将上传的数据加载到数据仓库内
3、根据目标数据的格式在数据仓库中对数据进行计算
4、通过工作流将计算后的数据进一步加工最终写入结果表

实时计算
5、解析开启binlog 的mysql日志
6、将解析后的数据写入本地目录，flume收集目录新增的数据
7-1、Flume将收集到的数据实时发送到消息总线，用于实时计算。
7-2、Flume将收集到的数据发送到HDFS,用于离线计算。
8、读取kafak内实时数据，实时计算相关指标。
9、将最终的指标写入结果数据库

1.逻辑架构设计

目标：掌握本项目的总体逻辑架构。数据处理的先后顺序。

2.原始数据格式

目标：掌握本项目需要使用到的数据表。
了解每个数据表内的字段。
2.1.networkqualityinfo 表结构


3.功能描述
目标：了解本项目前端界面的详细功能需求，以及每个需求的数据过滤的条件。

用户登录
用户通过账号密码登录系统：

报表介绍