1. 首先导入hadoop的压缩包,并解压到hadoop用户下的一个叫opt目录中,并把环境配置好,先进入到hadoop用户下面的opt文件中,opt文件中存放着我们解压了的hadoop-2.7.5
我们进入这个路径,当前路径为
这时候我们就在该路径下配置我们的环境变量
首先定义一个变量,将我们这个路径存起来,要不然手打的话很麻烦
然后我们来配置HADOOP_HOME,这个是告诉系统hadoop文件的主体在这个路径,要找就来这个路径找
我们先输出一下,看下路径是否正确,然后在重定向到hadoop用户的.bashrc下,这个文件是放hadoop用户的环境配置的地方,原命令是 echo exportHADOOP_HOME=$hadooppath >> ~/.bashrc
然后我们再来将hadoop文件的真正存放可执行文件的路径给HADOOP_CONF_DIR
看下路径没错的,然后我们将它加入到环境中去,命令是
echo exportHADOOP_CONF_DIR=$hadooppath/etc/hadoop >> ~/.bashrc
用$表示后面是一个变量,的是否规范,如果加了\,就说明要转义一下,防止里面的内容发生变化,不加的话他会直接把变量里面的值输出,我们这里不加,要的就是hadooppath变量里面存放的路径
然后我们再将之前的路径导入到path里面去
这里我们加\是为了不让HADOOP_HOME转义,要不然这个路径会很长,太过长的话会使文件后面再也加不进东西
原命令是:echo exportPATH=$PATH:\$HADOOP_HOME/bin:\$HADOOOP_HOME/sbin >> ~/.bashrc
导入后我们来刷新一下/.bashrc,
命令是
source/.bashrc
然后会看到
我们刷新后,使用hadoop命令,如果有以上显示的话那么就已经配置成功了
2. 接下来配置静态网络,这样可以避免hadoop的所在的IP一直改,有了静态IP后,就可以不用考虑IP的事了
进入这个目录后我们就能对IP地址进行修改了
第一个箭头是将dhcp动态获取地址改为static静态的,
第二个箭头指系统在启动时是否激活网卡
后面几个箭头是指我们要配置的静态网络
IPADDR:你网卡的物理地址(可以不用写,系统自动会生成)
NETMASK :子网掩码GATEWAY:网关
DNS1:dns服务器
这个IP地址不能乱设置,要和我们虚拟机上的一致,在NAT模式下
网段为75网段,所以我们也要设置为75网段
然后我们使用systemctl restart network 命令就可以重启网卡了
我们输入ifconfig就可以看到我们设置好的静态IP了
3. 接下来我们给我们的用户换个名字,换一个叫python的名字修改主机名,这里我们换成另一个虚拟机了,所以名字用到的是python的名字
首先来进入/etc/hostname
然后会看到
修改成我们想要修改的用户名
然后接着修改主机映射
进入/etc/hosts
接下来会看到这个界面
这里要加入我们的映射
然后reboot重启Linux系统即可
这样就把主机名改了
然后我们要将python主机名和IP地址画上等于号,后面做hadoop中会讲到为什么要这么做,我们要进window系统中的C:\Windows\System32\drivers\etc\hosts路径来修改映射关系
因为hosts里面有权限,要放到外面来进行修改,修改后再扔回去
这样的话我们就把python和192.168.75.188绑定了
我们用xshell来验证下
看到这个就说明我们绑定了
以下这个文件我是在Linux这台虚拟机上配置的,上面配置的地方是在PythonLinux这台虚拟机上,请分清楚
首先,我们进入到hadoop用户的opt目录中去
我们解压后,会在opt这个文件夹下生成一个叫hadoop-2.7.5的文件,我们要进这里面的这个
~/opt/hadoop-2.7.5/etc/hadoop 这个目录里面,对以下这四个文件进行修改
core-site.xml (默认文件系统)
hdfs-site.xml (备份数和存储路径等)
mapred-site.xml.templae (启用yarn的调度框架)
yarn-site.xml (yarn)
以上者四个文件在hadoop启动过程中会被调用
1. core-site.xml 修改:
Python2是我们的主机名,后面的端口是开启hadoop的端口,记住该端口不能被占用
2. hdfs-site.xml修改
3. mapred-site.xml 这个要改名,原文件叫mapred-site.xml.templae,我们在原文件上复制并且改名一份,直接对复制后的mapred-site.xml进行修改
4. yarn-site.xml 修改