大数据项目：新闻日志大数据处理系统

Big-Data-Project

Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming、MySQL、Hue、J2EE、websoket、Echarts

项目名称：新闻日志大数据处理系统

项目简介

github开源
源码：https://github.com/changeforeda/Big-Data-Project
目标

1、完成大数据项目的架构设计，安装部署，架构继承与开发、用户可视化交互设计

2、完成实时在线数据分析

3、完成离线数据分析

具体功能

1）捕获用户浏览日志信息

2）实时分析前20名流量最高的新闻话题

3）实时统计当前线上已曝光的新闻话题

4）统计哪个时段用户浏览量最高

5）报表

项目技术点

Hadoop2.x、Zookeeper、Flume、Hive、Hbase

Kafka、Spark2.x、SparkStreaming

MySQL、Hue、J2EE、websoket、Echarts

开发工具

虚拟机： VMware、centos

虚拟机ssh: SecureCRT（在windows上链接多个虚拟机）

修改源码：idea

查看各种数据：notepad++（安装NppFTP插件，修改虚拟机中配置文件，好用的一批）

项目架构

图片来自于卡夫卡公司

集群资源规划

利用VMware虚拟机+centos完成，基本要求笔记本电脑内存在8G以上。
最低要去克隆出3台虚拟机，每台给2G内存。

项目实现步骤

1、第一章：项目需求分析与设计

2、第二章：linux环境准备与设置

3、第三章：Hadoop2.X分布式集群部署

4、第四章：Zookeeper分布式集群部署

5、第五章：hadoop的高可用配置（HA）

6、第六章：hadoop的HA下的高可用HBase部署

7、第七章：Kafka简介和分布式部署

8、第八章：Flume简介和分布式部署

9、第九章：Flume源码修改与HBase+Kafka集成

10、第十章：Flume+HBase+Kafka集成全流程测试

11、第十一章：mysql、Hive安装与集成

12、第十二章：Hive与Hbase集成

13、第十三章：Cloudera HUE大数据可视化分析

14、第十四章：Spark2.X集群安装与spark on yarn部署

15、第十五章：基于IDEA环境下的Spark2.X程序开发

16、第十六章：Spark Streaming实时数据处理