Hadoop入门——从头开始Hadoop的安装

Hadoop的安装

在全新安装的Linux系统下开始进行

一、赋予用户系统权限

1. 先切换到root用户下

【注销】=》【未列出】=》【root】(用户名) =》【123456】(密码)

2.打开/etc/sudoer

sudo vim /etc/sudoer

找到第98行，添加一句【“你的用户名” ALL=(ALL) ALL】，注意和root行格式对齐。保存退出。

3. 切换回自己的用户，重启。

reboot

二、设置网络

（由于此部分命令比较复杂，所以选择在桌面模式下进行）

在桌面右上角选择进入有线设置。

选择添加配置

添加IPv4模式下，用选择手动方式

修改里的地址，网络掩码，网管，DNS选项

地址在虚拟机设置中找到【编辑】=》【虚拟网络编辑】

进入NAT设置


里面的子网IP，前三组输入到地址里，最后一组从3——254，任选，（2是网关）
子网掩码照抄，网关照抄。DNS选一个服务器，（google是8.8.8.8）

进入终端界面，执行命令【sudo service network restart】重启网络，完成网络设置
可以执行命令ping 8.8.8.8, 查看网络是否连通（ctrl+c停止ping）

sudo service network restart

ping 8.8.8.8

可以使用ifconfig查看ip配置信息

三、关闭防火墙

1. 通过systemctl查看命令列表

2. 输入systemctl status firewalld.service（查看防火墙状态，Active栏显示active(running)表示防火墙正在开启）

systemctl status firewalld.service

3. 输入systemctl stop firewalld.service(关闭防火墙) 【需要输入密码验证】

再次查看防火墙状态systemctl status firewalld.service（查看状态）
【Active那里变为incative(dead)表示已经关闭】

systemctl stop firewalld.service

systemctl status firewalld.service

但是这只是在本次关闭了防火墙，如果重新启动电脑，防火墙还是会被再次启动。
所以需要关闭防火墙的自动启动。

4. 输入【system list-unit-files】显示开机自启动的服务

systemctl list-unit-files

向下找到firewalld.service看到后面是【enable】，表示防火墙开机自启动。

5. 输入（systemctl disable firewalld.service【关闭开机自启动】）需要验证两次密码

重新查看开机自启动列表

找到防火墙部分，后面显示“disabled”表示成功将开机自启动关闭

四、设置免密登录

配置前需设置本机结点

1. 输入（sudo vim /etc/hostname）进入hostname文件，将文件中的内容全部删除，改为自己想要的主机名

2. 输入（sudo vim /etc/hosts）进入host文件，另起一行，加上（“虚拟机IP”+“本节点名”），保存退出。

ping本机节点名，查看是否联通。

至此节点名称设置完成

3. 进入根目录下，输入（cd -a）显示隐藏文件夹，验证是否有ssh文件夹

4. 输入（ssh-keygen –t rsa）建立ssh文件，存储在默认路径下即可；

ssh文件建立成功，查看ssh文件夹下的内容（id_rsa为私钥，id_rsa.pub为公钥）

5. 将id_rsa.pub复制重命名为(authorized_keys) 【由于linux系统不识别id_rsa.pub文件，可识别authorized_keys文件】

登录“huang”节点，无须再输入密码，表示免密登录成功。

五、JDK的安装

1. 首先将jdk文件下载到用户目录下

2. 在根目录下创建一个名叫JDKinstall的文件夹（名字随意）

3. 将jdk文件拷贝到该文件夹下

4. 将jdk文件解压

解压后的文件

现在可以选择卸载之前已经装好的JDK【可选操作】
先查询现有的java版本
再查询现在安装的jdk包

按顺序一个一个卸载安装好的jdk包，知道全部卸载，并且查看java版本显示无安装的java版本

5. 开始配置之前解压的jdk。

回到根目录下，进入bashrc文件（隐藏文件夹）。【ls –a查看隐藏文件】

在文件中添加两行代码，保存后退出。

执行“source .bashrc”使文件立即生效

再次查看java版本，已变为我们需要的版本

六、安装Hadoop

1. 下载Hadoop文件

2. 如同jdk安装一样，建立hadoop文件夹，将解压包放入该文件夹

3. 在该目录下解压文件，并且改名为hadoop

tar -xvf hadoop-2.6.5.tar

mv hadoop-2.6.5 hadoop

4. 再次打开根目录下的bashrc文件进行修改

vim .barshrc

5. 再次使bashrc文件立即生效

source .bashrc

查看安装hadoop版本信息，检查是否成功安装。

七、配置hadoop信息

进入Hadoop/Hadoop/etc/hadoop文件夹下，修改六个配置文件

1. 修改core-site.xml文件，添加标签

2. 修改hadoop-env.sh文件

3. 进入yarn-env.sh文件，修改信息

4. 进入hdfs-site.xml修改信息(可选信息，如果不设置有系统自动默认值)

5. 将mapred-site.xml.template 文件改名为 mapred-site.xml(删除.template后缀)

mv  mapred-site.xml.template  mapred-site.xml

进入mapred-site.xml文件修改参数，指明yarn是我mapreducee资源管理框架

6. 进入yarn-site.xml文件修改参数【通过网络查询yarn端口默认是8032】

八、启动hadoop，首先先对hadoop进行格式化

1. 对hadoop进行格式化

hadoop  namenode  -format

如果最后出现【has been successfully formatted】则hadoop成功被格式化

2. 执行【start-all.sh】命令，启动hadoop

3. 启动后执行【jps】命令，如果显示六条指令，则hadoop被成功启动