文章适合用户了解大数据技能大赛的考试提纲和解析步骤。文章在编写过程中难免有疏漏和错误,欢迎大佬指出文章的不足之处;更多内容请点进 Lino_White 查看。
未来的世界充满着各式各样的数据,我们该怎么好好利用起来呢?开启正文吧~~~
比赛题目分为5点进行,3人一组,可以根据组员情况进行分配任务。
常见分组情况为任务一二一人、任务三一人、任务四五一人。
1. 组件部署
2. 数据爬虫
3. 数据清洗及分析
4. 数据可视化
5. 编写报告
.
.
.
主要考察Hadoop HA高可用,Hive两点。
主要考察scrapy框架使用,以及selenium模拟操作。
主要考察spark core的运用。
注意:spark 截止目前未涉及到DataFrame、DataSet、Streaming
主要考察falsk框架,jinja语法。
主要考察你的文学底蕴。
.
.
.
比赛题目均用绝对路径
******************* 创建时间字段 修改144条数异常值**************************
******************* 签订时间字段 修改167条数异常值**************************
******************* 剩余条数:18933**************************
(2)将其结果打包输出至/hotelsparktask1,并且运行,将命令和结果复制粘贴至报告。
(3)查看/hotelsparktask1中的文件,输出前10行数据,将命令和结果复制粘贴至报告。
1.2 数据清洗
(1)利用/hotelsparktask1中的数据对创建时间字段和签订时间字段同时不为空的行值,统计求出相差中位数,相差中位数单位为天,输出如下格式:
******************* 相差中位数的天数为 114**************************
(2)对签订时间字段为空的,利用相差中位数和创建时间字段相关公式,填充正确的签订时间,(公式:签订时间=创建时间+相差中位数)并且输出如下格式:
******************* 填充相差中位数:1134条**************************
(3)将结果输出至/hotelsparktask2下,并利用管道命令查看前10行数据,将命令和结果复制粘贴值报告
2.1 数据分析
.
.
这里先给出部分题目,剩余题目、答案和解析步骤,请具体请查看下一章