Hadoop伪分布式集群的搭建

这里给大家讲解一下伪分布式的集群怎么搭建

通过VMware创建一台虚拟机

虚拟机这里我就不详细介绍了，我用的是NET网络模式
我的网络配置是按NET配置的

NET网络配置需要更改一下电脑网络适配器

右键VMnet8—>属性

双击Internet协议版本4 配置网段

虚拟机建好以后，我选择用用xshell操作它，

首先我们应该查看防火墙，并关闭它，以免它影响我们Hadoop的web端的展示
黄色标记的第一条命令是关闭虚拟机的防火墙
黄色标记的第二条命令是查看虚拟机的防火墙
chkconfig iptables off 命令是永久关闭虚拟机

主机与ip地址映射文件 命令：vi /etc/hosts
黄色部分是添加的虚拟机IP地址和主机名，添加完毕以后用wq保存退出

查看虚拟机的原带的jdk，然后把jdk全部删除

调用yum install -y lrzsz命令 安装yum，便于我们调用文件

在home目录里面创建soft目录，在soft目录底下创建jdk目录和hadoop目录，用于放置jdk和hadoop

调用rz命令从windows系统把解压包复制到jdk和hadoop路径下

调用tar -zxvf hadoop-2.8.5命令分别解压到当前目录下

查看当前目录，已经下载下来了，用mv命令修改hadoop和jdk的名字，便于操作

调用vi /etc/profile 命令在里面添加jdk和hadoop的环境变量
修改完以后调用source /etc/profile命令进行刷新

在命令行输入java和hadoop进行测试，看看环境变量是否修改好

下一步是设置hadoop的xml文件，/home/soft/hadoop/hadoop/etc/hadoop我的xml在这个目录下

.配置core-site.xml

配置hadoop-env.sh设置你的jdk的路径

.配置hdfs-site.xml

配置yarn-site.xml

.配置slaves
三台虚拟机的主机名

.配置mapred-site.xml
里面没有mapred-site.xml,这里我们复制一个，进行配置


现在已经配置完毕了，进行克隆，克隆前需要把虚拟机关机，右键虚拟机，点击管理界面，然后点击克隆。
我选择用虚拟机的当前状态，你也可以用快照，不过你要先给虚拟机拍个快照，下一步之后，选择克隆完整
克隆，不要选连接克隆。

克隆完成后，打开两台克隆虚拟机，输入 vi /etc/udev/rules.d/70-persistent-net.rules命令，把eth1改成eth0,把eth0改成1，然后记住黄线的ATTR后面的值。

然后用 vi /etc/sysconfig/network-scripts/ifcfg-eth0命令，修改里面黄线的配置，第一个黄线是IP号，我把后面的107改成了108，把ATTP后面的值改写到HWADDR里面，然后wq退出

输入vi /etc/sysconfig/network命令，修改主机名，我修改成了node2,修改好的主机名一定要重新启动一下虚拟机，输入reboot命令重新启动

重新启动虚拟机后输入ifconfig命令,查看主机配置。

输入ping baidu.com命令，查看网络情况

3号虚拟机同2号虚拟机一样的操作，这里就不讲了。现在我们就要设置ssh免密了。先输入ssh-keygen -t rsa命令，产生密钥，四个回车

输入cd /root/.ssh命令，进入ssh目录下，通过touch authorized_keys命令创建一个文件，然后用cat id_rsa.pub>> authorized_keys命令把产生的密钥发送到创建的文件中，然后通过scp /root/.ssh/authorized_keys node2:/root/.ssh命令发送给第二台机器中，然后2号机同样输入ssh-keygen -t rsa命令，产生密钥，四个回车。输入cd /root/.ssh命令，进入ssh目录下，然后用cat id_rsa.pub>> authorized_keys命令把产生的密钥发送到创建的文件中，然后scp /root/.ssh/authorized_keys node3:/root/.ssh命令发送给第三台机器中，在第三号机中同样输入ssh-keygen -t rsa命令，输入cd /root/.ssh命令，进入ssh目录下，产生密钥，四个回车。然后用cat id_rsa.pub>> authorized_keys命令把产生的密钥发送到创建的文件中，然后scp /root/.ssh/authorized_keys node1:/root/.ssh命令发送给第一台机器中，然后scp /root/.ssh/authorized_keys node2:/root/.ssh命令发送给第二台机器中，密钥完成。

进行密钥测试。输入ssh 主机名命令回车，进入主机名对应的虚拟机，第一次有时候让输入密码，这很正常，以后就不用了。在三台虚拟机下/home/soft目录底下创建name,tmp,cname,data目录

输入hadoop namenode -format命令,格式化hadoop，如果节点没问题，以后就不用初始化了。容易引起datanode的地址冲突。

输入start-all.sh命令，启动所有节点，你也可以通过命令启动单个节点，这里就不一一介绍了。

通过jps命令查看各个虚拟机的节点是否存在。

在网页上面输入192.168.80.107:50070查看
在网页上输入192.168.80.107:8088查看
伪分布式集群到此为止搭建完毕，欢迎大家一起探讨