hadoop学习笔记之一步一步部署hadoop分布式集群

一、准备工作

  • 同一个局域网中的三台linux虚拟机,我用的是redhat6.4,如果主机是windows操作系统,可以先安装vmware workstation, 然后在workstation中装上3台虚拟机,这样就形成了一个以物理机为DNS服务器的局域网,物理机和虚拟机都有一个局域网IP,互相之间可以通信。
  • 因为hadoop是一个java开发者写的开源软件,所以你懂得,肯定用的是java语言编写的,所以要装jdk,当然还有一些perl语言写的东西,所以也要装perl,因为是个集群,所以互相之间要连接通信,需要安装ssh
  • 如果用的是redhat,还需要关闭火墙,因为火墙会导致虚拟机之间无法连接,即关闭iptables,ip6tables,selinux,并设置开机不自启动
  • 本次试验搭建的环境为:

        node1:192.168.141.130 matser/namenode

     node2:192.168.141.131 slave/datanode

    node3:192.168.141.132 slave/datanode

二、配置hosts

首先在所有节点上(node1,node2,node3)上面编辑:vi /etc/hosts,添加如下内容:

192.168.141.130   node1

192.168.141.131   node2

192.168.141.132   node3

这样,在设置相应的IP时就可以用其解析名称代替,如需要写192.168.141.130:9000时,就可以直接写node1:9000,不仅书写方便,而且可以加快解析IP的速度,使集群运行更加流畅,但是不配置该项也不会影响集群正常工作。

三、jdk安装

  • 去jdk官网http://www.oracle.com/technetwork/cn/java/javase/downloads/index-jsp-138363-zhs.html,根据自己操作系统32还是64位下载一个jdk,我下载的是jdk-8u11-linux-i586.gz
  • 解压jdk-8u11-linux-i586.gz:
    1 tar zxf jdk-8u11-linux-i586.gz

    然后会看到出现了一个目录:jdk1.8.0_11

  • 为了书写方便,去掉版本信息,并将之移动到/usr/local/目录下:
    1 mv  jdk1.8.0_11  jdk
    2 mv jdk /usr/local/ 

     

  • 修改环境变量:vi /etc/profile,在文件末尾添加信息,然后退出保存:

       

  • 执行source /etc/profile,使修改的文件生效
  • 然后执行java -version,如果能显示如下版本信息,则安装成功:

      

注意:有可能执行该命令时会报错,那是因为在64位系统上运行了32位的jdk, 这时候只需执行安装命令:yum install glibc.i686 -y即可 glibc.i686是一个32位运行库。

每台虚拟机都要装!

四、ssh无密码连接

  • 首先我们新添加一个用户专门用来管理运行hadoop,我新建了一个名为grid的用户,然后自己设定该用户密码

       hadoop学习笔记之一步一步部署hadoop分布式集群_第1张图片

  • su - grid切换到grid用户
  • ssh-keygen生成公钥和私钥,一直回车默认就是了:

      hadoop学习笔记之一步一步部署hadoop分布式集群_第2张图片

  • 执行如下命令,可以看到生成的key,然后将公钥复制成authorized_keys:

      hadoop学习笔记之一步一步部署hadoop分布式集群_第3张图片

  • 然后在每一个节点上(虚拟机)执行上述所有步骤,这样就有了3个authorized_keys文件,我们把3个authorized_keys文件的内容复制到一起,形成一个authorized_keys,并用这个总的authorized_keys替换各个节点上原来的authorized_keys文件。
  • 验证一下是否成,就是在任一节点上,用ssh连接其他任何节点,如果不出现提示让你输密码,而是直接连上,则表示成功。

五、hadoop安装

终于到正菜了,呼呼!

  • 去hadoop.apache.org下载一个稳定的版本即可,这里以hadoop-1.2.1.tar.gz为例

  • 解压,去掉名字中的版本信息,移至/usr/local(具体移至什么地方可以自随意,就是自己别忘了就好)

      hadoop学习笔记之一步一步部署hadoop分布式集群_第4张图片

  • cd /usr/local/hadoop/conf/ 转到hadoop配置目录下
  • vi hadoop-env.sh,添加如下信息,告诉hadoop jdk的安装路径,然后保存退出:

     

  • vi core-site.xml,写入如下信息,要注意,自己要在/home/grid/hadoop/ 目录下手动建立tmp目录,如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoop-dfs。而这个目录在每次重启后都会被删掉,必须重新执行format才行,否则会出错,hdfs后面的ip号就是名称节点的ip,即namenode的ip,端口号默认9000,不用改动。

      hadoop学习笔记之一步一步部署hadoop分布式集群_第5张图片

  • vi hdfs-site.xml,设置数据备份数目,这里我们有有一个namenode,两个datanode,所以备份数目设置为2:

      hadoop学习笔记之一步一步部署hadoop分布式集群_第6张图片

  • vi mapreduce-site.xml,设置map-reduce的作业跟踪器(job tracker)所在节点,这里我们同样将其放置在node1(192.168.141.130)上,端口号9001:

      hadoop学习笔记之一步一步部署hadoop分布式集群_第7张图片

 

  • vi master,指定namenode所在节点,直接把节点名写进去:

  node1

  退出保存

  注意,倘若没有像配置过/etc/hosts,这里就要直接写IP:192.168.141.130

  • vi slave,指定datanode所在节点:

  node2

  node3

  退出保存

  同样注意,倘若没有像配置过/etc/hosts,这里就要直接写IP:

  192.168.141.131

  192.168.141.132

 

  • 配置完毕,拷贝配置好的hadoop目录到指定位置(可以自定义,但是最好统一一个自己好记住的位置):

     

  • 在node1上切换到grid, cd /home/grid/hadoop/,然后执行文件系统格式化:bin/hadoop namenode -format,如果没有任何warning,error,fatal等并且最后出现,format successfully字样,则格式化成。
  • 启动hadoop:

     hadoop学习笔记之一步一步部署hadoop分布式集群_第8张图片

  • 检查是否启动成功,如果名称节点namenode(node1)有如下所示:

     hadoop学习笔记之一步一步部署hadoop分布式集群_第9张图片

     并且数据节点(node2,node3)有如下所示:

,则启动成功!

六、集群测试

  • 在node1上的,grid用户下,cd /home/grid/,建立一个目录mkdir input,然后进入目录input:cd input/,执行如下两条命令:

  echo "hello world" > test1.txt

  echo "hello hadoop" > test2.txt

  • 将上述input目录下的文件上传到dfs文件系统,cd /home/grid/hadoop/,作如下操作:

     

  • 查看是否上传成功:

     hadoop学习笔记之一步一步部署hadoop分布式集群_第10张图片

  上传成功,表示文件系统可以正常工作!

  • 检查map-reduce功能是否正常,用hadoop包里面自带的单词统计jar包统计我们刚才上传的文件中不同单词的个数,看看是否正确:

     hadoop学习笔记之一步一步部署hadoop分布式集群_第11张图片

  • 执行完毕后查看结果:

     hadoop学习笔记之一步一步部署hadoop分布式集群_第12张图片

  可以看出统计单词数与我们上传的文件时一致的,说明map-reduce可以正常工作!

  • 至此,我们可以自信我们的hadoop已经完全部署好了!

七、总结

对于第一次玩hadoop的读者来说,在安装的过程中,必定会出现,这样或者那样的问题,但是,我们要抱着一个解决问题的心,学习过程本就是在错误中成长,我自己在安装过程中也出现了不少问题,如datanode无法启动。或者那么namenode无法启动等等一系列问题,千万不要烦躁而放弃,自己慢慢在网上查资料还是可以解决的,最重要是细心,要学会根据系统的报错,检查配置文件是否写错,初学者都不怎么会看日志,但是要迈出这一步,硬着头皮看,当通过看日志解决了某个bug时,那种进步的愉悦感是很爽的,最后希望大家都犯点错,一次就配置成功不一定是好事,最后热烈欢迎大家给我留言,我们一起交流,学习!

2014-08-15

转载于:https://www.cnblogs.com/90zeng/p/hadoop_setup.html

你可能感兴趣的:(大数据,java,运维)