大数据应用----001

一、选题与意义

 1.Hadoop平台应用

• 淘宝双11数据分析与预测
• 官网：http://dblab.xmu.edu.cn/post/8116/

 

 

个人对hadoop分布式的学习比较感兴趣。

二、实践方案

简要说明理由。

三、实践任务分解

1. 安装Linux操作系统
2. 安装关系型数据库MySQL
3. 安装大数据处理框架Hadoop
4. 安装数据仓库Hive
5. 安装Sqoop
6. 安装Eclipse
7. 安装 Spark
8. 对文本文件形式的原始数据集进行预处理
9. 把文本文件的数据集导入到数据仓库Hive中
10. 对数据仓库Hive中的数据进行查询分析
11. 使用Sqoop将数据从Hive导入MySQL
12. 利用Eclipse搭建动态Web应用
13. 利用ECharts进行前端可视化分析
14. 利用Spark MLlib进行回头客行为预测

 

四、实践计划

 

 

 

 

 

 

 

 

 

 

 

 

说明：

• 个人项目，不要求组队，确实需要组队的说明理由。
• 边操作边记录；
• 每天完成当天文档；
• 最后综合成课程实践报告。