CentOS7系统安装hadoop伪分布式系统

    1. 安装winSCP

下载地址:https://winscp.net/eng/download.php ,该工具主要是用来windows和虚拟机之间文件安全传输。

(1)     安装SCP

    直接打开.exe文件傻瓜式的安装就好了。

(2)     配置信息虚拟机的ip地址,用户名和密码:

(3)     可以显示本机和虚拟的文件列表

2. 关闭centos7防火墙(实验环境是为了防止防火墙关闭了某些接口,实际环境不建议),执行service firewalld stop:(centos6的换应该是firewalld替换为iptables) 

查看防火墙状态:service firewalld status,可以看到(inactive dead)

        

3.       安装jdk8:通过以下链接下载jdk8,并且通过winSCP上传到虚拟机的/usr/local目录下 

http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html

(1)     上传文件时,如果无法上传文件,修改配置信息用户名为root,或者检查一下防火墙。 

(2)     解压文件 tar -xvf jdk-8u111-linux-x64.tar.gz

 

(3)     编辑/etc/profile文件,在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下面添加如下代码:

       

(4)执行命令生效:source /etc/profile

 

(5)  验证成功:java –version

        

 

4.       下载hadoop,注意下载binary版本:http://hadoop.apache.org/releases.html

5.       解压,并且运行bin/hadoop,提示以下信息则配置成功:

              

6.       配置文件

(1)     配置jdk:/etc/hadoop/hadoop-env.sh

        

(2)     首先在etc/hadoop/core-site.xml这个文件里作如下配置:

        

(3)     接着在etc/hadoop/hdfs-site.xml文件里作如下配置:

        

  以上配置说明了hdfs的根信息以及冗余备份的数量。

 

7.   配置SSH免key登录 

hadoop是一个分布式系统,节点间通过ssh通信,为了避免在连接过程中人工输入密码,需要进行sshkey登陆的配置,由于本例是在单机上模拟分布式过程,因此需要针对本机(localhost)进行免key登陆的配置。

 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 chmod 0600 ~/.ssh/authorized_keys

 

8.   ssh验证登录:ssh localhost

9.  格式化文件系统:注意如果不是第一次格式化的话,注意删除/tmp/临时文件目录

       bin/hdfs namenode -format

10. 启动文件系统

      sbin/start-dfs.sh

11.访问虚拟机ip地址的50070端口:

      


你可能感兴趣的:(centos7,hadoop,分布式,hadoop)