目录
安装hadoop的准备工作
下载VirtualBox并安装
设置VirtualBox存储文件夹
创建虚拟机
安装Linux系统
了解linux系统
安装Ubuntu系统
linux指令
问题 | 解决 |
---|---|
hadoop需要在linux的环境下运行 | 安装linux操作系统,linux的版本——ubuntu |
创建hadoop集群(多台计算机) Windows用户需要安装linux系统 |
创建虚拟机解决——虚拟机上安装多个linux系统,每个linux系统上都安装hadoop(即hadoop集群) |
创建虚拟机 | 下载VirtualBox软件,并安装 |
VirtualBox软件可以创建虚拟机,虚拟机上可以安装linux系统,linux系统的环境支持hadoop集群。
官网:下载 – Oracle VM VirtualBox
(先看教程后安装,可能出现这个问题:Oracle VM VirtualBox此应用无法再此设备上运行)
选择VirtualBox软件版本,选择对应主机(电脑系统是什么)——本文以VirtualBox5.2.20,windows为例说明(但我用这个版本出现不兼容问题,所以尽可能下载高版本VirtualBox-6.0.24)
点击即开始下载VirtualBox-5.2.20-125813-Win.exe
双击运行,进入欢迎界面安装向导。
下一步,进入自定安装(功能选择)。点击浏览(修改安装位置)。
下一步,进入自定安装(默认选项)。
下一步,警告:中断网络连接。
点击是,安装,等待进度条。
Windows提示询问用户,安装。等待安装完成,进入安装完成界面,默认勾选会自动打开应用。
完成。
存储虚拟主机的所有文件(默认在c盘)
选择管理,全局设定,常规,设置文件存储位置。
新建,进入虚拟电脑名称和系统类型。名称(hadoop),系统类型(linux),版本(Ubuntu64bits)
下一步,进入内存大小。将内存稍微改大一点,4GB+,虚拟机运行快
下一步,进入虚拟硬盘。默认选择现在创建虚拟硬盘
创建,进入虚拟硬盘文件类型。默认选择VDI
下一步,进入存储在物理硬盘上。默认选择动态分配
下一步,进入文件位置和文件大小。设置文件存储位置(默认在前面virtualbox存储文件夹下)和文件大小(虚拟机最大容量,上限)
创建。
安装之前先熟悉一下linux系统
由MNIX改进,免费开源。
特点:
完全免费,可修改源代码
多用户,系统资源可以被多个用户使用,用户间不影响
多任务,多个程序同时独立运行
良好的用户界面,字符界面(指令操作),图形界面(菜单窗口操作)
多平台,x86处理平台,嵌入式操作系统,掌上电脑、游戏机上都可以运行,多处理器技术
设备独立性,一切都是文件(命令,进程,操作系统,软件,硬件),软件都有用途
丰富的网络功能,通信和网络优越优越
完善的数据库开发平台,(数据库Oracle,MySQL),(开发平台c/c++,python,java,php),(图形界面Qt,gtk)
安全性,文件有不同的属性,系统文件一般不可以更改
可移植性,在不同平台上,运行是相同的
组成:
内核:操作系统核心,存储管理,CPU,进程管理,设备管理和驱动,网络通信
shell:用户界面,接收输入命令
文件系统:磁盘文件的输入和输出
应用程序:文本编辑器,办公软件,数据库
文件系统的类型
普通文件
纯文本文件,
二进制文件,系统可执行的文件格式
数据格式文件,特定格式
目录文件,相当于路径
连接文件,相当于快捷方式
设备与设备文件,与设备存储有关
块设备文件,硬盘
字符设备文件,鼠标,键盘
套接字,网络连接,实现数据通信
管道,保证多个文件不会出错
文件系统的结构:(树状结构)
/根目录
/bin存放普通账户linux命令
/boot存放开机启动的文件
/dev存放设备文件(硬盘,分区,USB)
/etc存放系统配置文件(密码,服务的起始文件)
/home存放普通账户的目录
/root存放管理员的目录
/lost+found存放错误的片段
/lib存放开机的库函数
/sbin存放管理员的linux命令
/tmp存放临时文件
/usr存放用户二进制文件,头文件,库文件,程序,软件
/bin存放应用程序
/include存放头文件
/sthio.h
/fentl.h
/sys
/sbin存放root用户管理程序
/mnt存放临时搭载的设备
/var存放变动的文件,缓存文件、日志文件
使用linux的Ubuntu版本,开源免费的操作系统,界面友好,适合上手。
版本下载地址:下载 Ubuntu 桌面|下载|乌班图
点击下载(download),可能需要迅雷软件解压(.torrent)文件,文件名为ubuntu-20.04-desktop-amd64.iso的镜像文件
设置虚拟光盘文件
点击设置,选择存储,点击没有盘片,在属性下设置分配光驱(即选择下载的Ubuntu.iso镜像文件),点击ok。
点击启动,启动虚拟机(自动寻找Ubuntu系统镜像),等待
进入选择语言界面,选择中文(简体),点击右边的安装Ubuntu
进入键盘布局,默认选择汉语(chinese),点击继续
进入更新与第三方软件,默认勾选正常安装,勾选无线硬件、第三方软件,点击继续
进入安装类型,默认选择清除整个磁盘并安装Ubuntu,点击现在安装
弹出提示,将改动写入磁盘吗?点击继续
进入虚拟机所在地,选择你的地点(可以输入pei-chi搜索),点击继续
进入设置用户信息界面,设置姓名、虚拟计算机名、用户名、密码(最好设为123456,不然密码忘记就废了),选择自动登录(以后启动就不用输密码了),点击继续
开始自动安装系统,等待
弹出提示,点击重新启动(以后启动时,先选中虚拟机,再点击启动),进入Ubuntu桌面
大功告成,大喊一声,np~,芜湖~
进入了欢迎界面,跳过完成就好
关机(重启)在右上角下拉菜单中点击关机,开机选中虚拟机点击启动
接下来就是一些linux系统的设置
linux玩什么?就是terminal终端
创建终端快捷方式,点击左下角显示应用程序,搜索terminal,拖动到左侧即可。
快捷方式打开;快捷键打开<ctrl + alt + t>;右键,选择terminal打开。
更改终端背景颜色,在终端右键,选择配置文件首选项,选择颜色,取消使用系统主题中的颜色,设置自己的终端。关闭即完成配置。
设置共享剪贴板
便于windows和linux之间赋值粘贴。方便操作。
左上角点击设备,选择安装增强功能
弹出提示,选择运行,输入密码,点击认证
系统自动打开终端,执行安装,最后出现一行,press return to close this window,按任意键关闭终端,安装完成
点击设备,选择共享粘贴板,选择双向
完成配置,需要重启生效
设置共享文件夹
便于windows和linux之间文件共享。方便文件传输。
点击设备,选择共享文件夹,点击共享文件夹
进入hadoop设置界面,选择共享文件夹,点击右边的第一个图标添加共享文件夹
进入添加共享文件夹界面,选择你想要的共享文件夹,勾选自动挂载,勾选固定分配,点击ok,点击ok
完成设置,需要重启生效
指令分为内部命令(有Linux shell实现的命令),和外部命令(java,javac提供的命令)
命令 | 说明 |
---|---|
cd 目录 | 进入目录(.表示当前目录,..表示上层目录) |
ls [选项] 目录或文件 | 列出目录 |
cat [选项] 文件名 | 查看文件内容 |
mkdir [选项] 目录名 | 创建文件夹 |
rm [选项] 文件或目录 | 删除文件(夹) |
cp [选项] 源文件或目录 目标文件或目录 | 复制文件(夹) |
mv [选项] 源文件或目录 目标文件或目录 | 移动文件(夹) |
pwd | 显示当前工作目录的绝对路径 |
其他虚拟机VMware,其他linux版本CentOS。安装方法请跳转我的第一篇博客:
安装虚拟机VMware,创建CentOS服务器_木北!的博客-CSDN博客_vm虚拟机搭建centos服务器