计算机毕业设计吊打导师hadoop+spark+hive微博预警系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 微博大数据 微博推荐系统 微博预测系统
流程:1.selenium爬取微博热搜、文章、评论数据存入mysql数据库(并对评论lstm情感分析模型建模分析);2.使用mapreduce对mysql中采集的微博数据进行数据清洗,转为.csv文件上传hdfs文件系统;3.使用hive建库建表,导入.csv数据集;4.一半指标使用hive_sql进行离线分析,一半指标使用Spark之Scala实时分析;5.分析的结果使用sqoop导入mysql