计算机毕业设计吊打导师hadoop+spark+hive微博预警系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 微博大数据 微博推荐系统 微博预测系统

流程:
1.selenium爬取微博热搜、文章、评论数据存入mysql数据库(并对评论lstm情感分析模型建模分析);
2.使用mapreduce对mysql中采集的微博数据进行数据清洗,转为.csv文件上传hdfs文件系统;
3.使用hive建库建表,导入.csv数据集;
4.一半指标使用hive_sql进行离线分析,一半指标使用Spark之Scala实时分析;
5.分析的结果使用sqoop导入mysql数据库;
6.使用Flask+echarts制作可视化统计大屏; 创新点:微博情感分析算法、Python爬虫、海量微博数据、可视化大屏


1.png
2.png
4.png
5.png
6.png
8.png
9.png

选装(如果觉得功能还不够,可以选装推荐系统、预测系统、知识图图谱,可以0秒对接选装):

可选装项目模块如下:

1.推荐系统(4种深度学习推荐算法 协同过滤基于用户 基于物品 SVD神经网络 MLP)。附带AI、支付、短信、lstm情感分析。
2.预测系统(KNN CNN RNN卷积神经预测 K-means 线性回归)。
3.知识图谱neo4j可视化关系网络图。
4.后台管理系统。

你可能感兴趣的:(计算机毕业设计吊打导师hadoop+spark+hive微博预警系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 微博大数据 微博推荐系统 微博预测系统)