学大数据之hadoop-day3-hadoop伪分布式搭建

学习大数据之Hadoop

day3 hadoop伪分布式的搭建

首先做好准备工作

1 jdk java8 版本以上

2 hadoop 的安装包，本人使用的是 hadoop-2.6.5.tar.gz

3 网络环境良好

开搞

1 首先我们把 jdk ，hadoop 的安装包上传到 Linux中（个人建议上传到统一的文件夹，方便管理）

ps：我们可以使用xftp上传，或者使用rz命令上传（可以通过 yum install lrzsz -y 来安装插件）

2 解压jdk

 tar -zvxf jdk-8u171-linux-x64.tar.gz  -C /opt/

我把 jdk 解压到了/opt 目录下，需要修改的同学可以自行修改安装目录

3 配置javahome 环境变量

我们找到 /etc/profile 文件 打开它

vi /etc/profile

直接 G 拉到最后一行 o 下一行输入

   export JAVA_HOME=/opt/jdk1.8.0_171
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export PATH=$JAVA_HOME/bin:$PATH

esc shift+zz 保存退出 注意 这时候别以为环境变量已经完成了，我们还需要把新修改的文件生效

 source /etc/profile

这时候 输入 Java -version 来查看Java的版本 检查你的jdk 和环境变量是否完成

4 开始安装hadoop

 tar -zvxf  hadoop-2.6.5.tar.gz  -C /opt/

解压完成后 我们到 hadoop 的根目录下 找到 etc 文件夹 进去还有一个hadoop 文件 里面 有hadoop的配置文件

首先 我们修改 slaves 文件

 vi  slaves

将 localhost 修改成自己的主机名

然后修改 hdfs-site.xml

在 标签中加入

			dfs.replication     //设置备份个数
			1
		

		     
			dfs.namenode.secondary.http-address   //secondaryNamenode
			node01:50090
		

注释是我单独标注用的，配置文件时 把注释删掉 不然会报错 保存退出

然后修改core-site.xml 文件

继续在 标签中加入

			fs.defaultFS            //namenode
			hdfs://node01:9000    
		
		
			hadoop.tmp.dir          //namenode启动后产生的信息
			/var/abc/hadoop/local
		```

上面两个配置文件有个共性  细心的朋友一定发现了  node01 是我这台虚拟机的主机名，各位同学根据自己的虚拟机修改

     ps：修改主机名称有几个点需要注意一下
     1  注意修改 /etc/hosts 本机的映射
     2  修改/etc/sysconfig/network  与  配置文件中主机名相同

下一步  把所有   -env.sh   结尾的文件中的Javahome 修改成绝对路径

上述步骤完成后  格式化  让所有修改后的配置文件生效

在bin目录下 执行

     hdfs namenode -format```

注意观察刷新的文件信息  ，如果没有报错  安装成功

     /opt/software/hadoop/sbin----start-dfs.sh

启动 hadoop 并在  浏览器访问 Linux地址 ：50070