平台架构案例

项目名称:用户上网行为分析系统 

软件架构:kafka+hadoop+sqlite+hbase+hive +sqoop 

开发环境:eclipse + mysql + maven+ ssm

项目描述:

通过大数据技术实现基于浏览器的用户历史记录分析,用于监控互联网企业网络安全和提高员工工作效率。实时监

控企业网络安全,对敏感信息进行过滤,控制员工网络访问点和速度;分析员工的工作效率,给出合适的意见。

架构图:

平台架构案例_第1张图片

开发步骤: 

1.通过 java+sqlite 解析浏览器历史记录文件,把文本数据传输给kafak,在 kafak 的消费者端将数据写 入到HDFS-HA 

2.通过spark on yarn,及sparkMllib的协同过滤等算法进行敏感信息分析 

3.spark将分析的结果实时存入到redis中,,

4.采用MR 对HDFS-HA中的数据进行简单的ETL 

5.把历史数据全量写入到hive 中,使用HQL进行数据转换 

6.把hive 中的数据和hbase进行对接,每天增量更新,按天进行分表操作 

7.hive 数据仓库设计,主题抽取,维度分析,分析历史数据,最后把每天分析的结果存放到hbase 中, 供给也没进行查询操作 

8.sqoop将DWM 层的数据导出到Mysql(按月统计),然后用echart进行展示。 

9.sqlite 保存原始数据,redis保存经 spark 计算数据,mysql保存统计分析数据,mongodb 保存活跃 度用户数据,hbase保存按维度分析的数据

 

 

 

项目名称:电商用户行为分析查询平台 

软件架构:spring+springmvc+mybatis+maven 

开发环境:idea+大数据生态系统+mysql 

项目描述: 电商平台为了更好分析用户行为,通常都会对用户在平台中的行为进行采集与分析,该系统就是模 拟数据从生成-采集-存储-分析-展示这种经典的离线处理模型。

平台架构案例_第2张图片

 

开发步骤: 

1. 模拟生成数据,使用生产者-消费者模式,每分钟生成一批数据,批量写入文件中。 

2. Flume分别监控两台节点上的目录,然后将数据写入flume-3中,最后将数据写入HDFS中 

3. 利用MR进行数据清洗 

4. 清洗后将明细数据写入HBASE,并对数据按天进行会中,导入Hive,按天统计平台的PV,UV 

5. 利用sqoop将数据写入mysql 

6. 使用SSM技术,查询用户数据,按月汇总的数据通过mysql查询,明细数据通过hbase 查询。

 

你可能感兴趣的:(大数据架构)