ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理

 进入VirtuakBox官网,网址链接:Oracle VM VirtualBoxicon-default.png?t=N7T8https://www.virtualbox.org/

 网页连接:Ubuntu Virtual Machine Images for VirtualBox and VMwareicon-default.png?t=N7T8https://www.osboxes.org/ubuntu/

将下发的ds_db01.sql数据库文件放置mysql中

12、编写Scala代码,使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hive cli执行show partitions ods.user_info命令,将结果截图粘贴至答案表.docx中对应的任务序号下;
13、 编写Scala代码,使用Spark将MySQL的ds_db01库中表sku_info的全量数据抽取到Hive的ods库中表sku_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hive cli执行show partitions ods.sku_info命令,将结果截图粘贴至答案表.docx中对应的任务序号下;

软件名称

版本

ubuntu

18.04    64 位

Hadoop:hadoop-3.1.3.tar.gz

3.1.3

Jdk:jdk-8u212-linux-x64.tar.gz

1.8

Spark:spark-3.1.1-bin-hadoop3.2.tgz

3.1.1

Hive:apache-hive-3.1.2-bin.tar.gz

3.1.2

MySQL

5.7

Scala:scala-2.12.x.tgz

2.12

Vue.js

3.2

ECharts

5.1

JDBC驱动:   mysql-connector-java-5.1.37.jar

集成开发工具:IDEA 2022 社区版

一、下载并安装virtualbox

VirtualBox是功能强大的x86和AMD64/Intel64虚拟化企业和家庭使用的产品。VirtualBox不仅是面向企业客户的功能极其丰富的高性能产品,它还是唯一一个根据GNU通用公共许可证(GPL)第3版条款作为开源软件免费提供的专业解决方案。参见"关于VirtualBox“做个介绍。

目前,VirtualBox运行在Windows、Linux、macOS和Solaris主机上,并支持大量来宾操作系统包括但不限于Windows (NT 4.0、2000、XP、Server 2003、Vista、Windows 7、Windows 8、Windows 10)、DOS/Windows 3.x、Linux (2.4、2.6、3.x和4.x)、Solaris和OpenSolaris、OS/2和OpenBSD。

VirtualBox正在积极开发,发布频繁,功能、支持的客户操作系统和运行平台越来越多。VirtualBox是一个由专门公司支持的社区项目:鼓励每个人都做出贡献,同时Oracle确保产品始终符合专业质量标准。

virtualbox7.0.8版本的安装

1.进入VirtuakBox官网,网址链接:Oracle VM VirtualBoxicon-default.png?t=N7T8https://www.virtualbox.org/

选择左侧的Downloads。ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第1张图片

2.进入界面如下,选择如下库红框中的选项,点击即可下载。

3.下载后得到目标程序

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第2张图片

4.安装过程点击next,选择自己安装路径即可。

 安装成功后进入的初始界面

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第3张图片

二、Ubuntu的下载与安装

 ubuntu是一个全功能的Linux操作系统,它基于Debian发行版,可以在社区和专业支持下免费获得,unity是它的默认桌面环境。其他桌面默认提供其他风格的Ubuntu,比如Ubuntu Gnome、Lubuntu、Xubuntu等等。一个紧密集成的优秀应用程序的选择包括在内,令人难以置信的各种附加软件只是点击几下鼠标。Ubuntu的默认安装包含了广泛的软件,包括LibreOffice、Firefox、Empathy、Transmission等。Ubuntu的开发由典范有限公司。南非企业家马克·舒托沃尔斯拥有的一家公司。

ubuntu18.04.6操作系统

下载

网页连接:Ubuntu Virtual Machine Images for VirtualBox and VMwareicon-default.png?t=N7T8https://www.osboxes.org/ubuntu/

初始界面如下,接着往下滑,下载Ubuntu 18.04.6 Bionic Beaver的64位。ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第4张图片

点击下载按钮,等待完事后,解压安装包后会有一个.vdi文件,先保存好。

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第5张图片

下载安装完成后

1.现在打开VirtualBox,看到新建(N)按钮了吧,点击。ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第6张图片

2.进入后,编辑自己的名称呀,和安装文件夹,点击下一步。ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第7张图片

 3.这个就看着办了,要是没啥追求,就做个实验,像我这么选择就行。ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第8张图片

4.选择使用已有的虚拟硬盘文件,由于我是安装成功后才写的此文章,所以能看到下面有这个信息,第一次安装这里是空白的。

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第9张图片5.点击5.右侧红框框里得东西。

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第10张图片

6.进入后,呈现下面的情况,由于我已经安装完成,正常这部里面也是空白的,点击注册。

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第11张图片

7.你得出去把最开始下载的ubuntu18.04.6移动到这个新建的Stitch.文件中,选择它即可。但是我的已经安装不了了,因为我已经有安装过这个版本的了。ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第12张图片

8.这里挂载的磁盘按理说的位置应该是:D:\桌面\大数据应用开发\ubuntu\Ubuntu 18.04.6 (64bit).vdi

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_第13张图片

你可能感兴趣的:(我的大学笔记,ubuntu,笔记,大数据,ubuntu)