下面来讲解如何在虚拟机环境搭建伪分布hadoop环境
(一) 关闭防火墙。(这个在我上一篇文章中有介绍)
(二) 修改ip地址(上一篇文章中有介绍)
(三)修改主机名(上一篇文章有介绍)
(四)设置ssh自动登录
(五)安装jdk
(六)安装hadoop
我们这里直接从第四步开始讲
什么是 ssh??
SSH 为 Secure Shell 的缩写,由 IETF 的网络工作小组(Network Working Group)所制定;SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序,后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、Digital UNIX、Irix,以及其他平台,都可运行SSH。(这个是在百度上面抄下来的)
1.1 先输入命令 ssh-keygen -t rsa 一路回车 出现了
根据命令行打印出来的密钥信息 我们知道 文件 就存储在 /root/.ssh/下面
cd到该目录下面 敲击命令 cp id_rsa.pub authorized_keys 执行完后就可以免密码登录了
2.安装jdk
通过工具 将jdk安装文件copy到linux系统上面 (需要然root用户拥有执行权限 执行 ls -l 可查看文件的操作权限,然后在执行命令 chmod u+x jdk........bin)
执行命令 ./jdk........tar.gz
安装完成
2.2安装完jdk后需要配置jdk的环境变量
2.2.1 执行命令 vi /etc/usr/local
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出(使用 vi 命令编辑 如何保存退出可以在网上搜索得到)
保存退出后需要刷新刚修改的配置文件,使他立即生效
执行命令 source /etc/profile
验证是否配置成功 执行 java -version
3 安装hadoop
3.1 将hadoop的安装包存放到linux的某个目录下面
执行命令 tar -xzvf hadoop............tar.gz (其实就是相当于windows下面.zip压缩包,在linux下只是通过命令来进行解压缩,解压出来的文件夹名字过长,此时我们需要对文件夹重命名 执行命令 mv hadoop.......tar.gz hadoop)出现如下界面算是安装完成
3.2 同时也需要配置hadoop环境变量
执行命令 vi /etc/profile 修改配置文件
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
修改完成之后 保存退出
执行 source /etc/profile 刷新配置文件(立即生效)
3.3 需要配置hadoop 的配置文件
此时需要修改hadoop的四个配置文件
修改/hadoop/conf目录下面的配置文件 hadoop-evn.sh、 core-site.xml、hdfs-site.xml、mapred-site.xml
在存储数据之前先对文件系统进行格式化 执行命令 hadoop namenode -format
接着 启动 hadoop 执行命令 start-all.sh
验证启动成功 执行命令 jps
如果有5个java进程 就启动成功
此时 hadoop的伪分布安装完成