计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计

流程

1.selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；
2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；
3.使用hive数仓技术建表建库，导入.csv数据集；
4.离线分析采用hive_sql完成，实时分析利用Flink之Scala、FlinkSQL完成;
5.统计指标使用sqoop导入mysql数据库；
6.使用flask+echarts进行可视化大屏幕炫酷展示；

创新点/特色：

0.全新PyFlink而不是Flink!吊打一切！全网都没啥教程！属于最新最屌最流行！
1.selenium爬虫框架；
2.可视化炫酷大屏幕；
3.虚拟机显摆敲命令碾压答辩现场(市面上全是假算法假爬虫假大数据都不带用虚拟机的)；
4.10万海量数据集；
5.Flink实时计算+Hive、Hadoop离线计算双实现有效避免导师喷你；
注意：如果还被喷项目工作量简单或者课设级别等理由不让你过，直接1秒内无缝对接选装推荐系统、后台管理、前台系统、预测算法、知识图谱等

可选装项目模块如下：

1.推荐系统(4种深度学习推荐算法 协同过滤基于用户 基于物品 SVD神经网络 MLP)。附带AI、支付、短信、lstm情感分析。
2.预测系统(KNN CNN RNN卷积神经预测 K-means 线性回归)。
3.知识图谱neo4j可视化关系网络图。
4.后台管理系统。