计算机毕业设计吊炸天spark+hive+nlp慕课在线教育课程数据分析可视化大屏 知识图谱课程推荐系统 课程爬虫 文本分类 LSTM情感分析 大数据毕业设计
流程selenium爬取慕课网的课程、章节、评论数据集分别存两个地方:mysql数据库[便于后期选装推荐、预测算法、知识图谱、后台]、.csv文件;【需要注意的是慕课网评分不准,需要使用深度学习知识NLP模型进行文本分类、情感分析!!!】将.csv上传到hdfs中,并使用hive建表后导入.csv数据;9个指标,一半使用spark/scala去做实时计算分析。一半使用hive_sql进行分层离线处