CentOS7系统安装hadoop伪分布式系统

    1. 安装winSCP

下载地址：https://winscp.net/eng/download.php ，该工具主要是用来windows和虚拟机之间文件安全传输。

(1)     安装SCP

    直接打开.exe文件傻瓜式的安装就好了。

(2)     配置信息—虚拟机的ip地址，用户名和密码：

(3)     可以显示本机和虚拟的文件列表

2. 关闭centos7防火墙(实验环境是为了防止防火墙关闭了某些接口，实际环境不建议)，执行service firewalld stop:（centos6的换应该是firewalld替换为iptables） 

查看防火墙状态：service firewalld status,可以看到(inactive dead)

        

3.       安装jdk8:通过以下链接下载jdk8，并且通过winSCP上传到虚拟机的/usr/local目录下 

http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html

(1)     上传文件时，如果无法上传文件，修改配置信息用户名为root，或者检查一下防火墙。 

(2)     解压文件 tar -xvf jdk-8u111-linux-x64.tar.gz

 

(3)     编辑/etc/profile文件，在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下面添加如下代码：

       

(4)执行命令生效：source /etc/profile

 

(5)  验证成功：java –version

        

 

4.       下载hadoop，注意下载binary版本：http://hadoop.apache.org/releases.html

5.       解压，并且运行bin/hadoop，提示以下信息则配置成功：

              

6.       配置文件

(1)     配置jdk：/etc/hadoop/hadoop-env.sh

        

(2)     首先在etc/hadoop/core-site.xml这个文件里作如下配置：

        

(3)     接着在etc/hadoop/hdfs-site.xml文件里作如下配置：

        

  以上配置说明了hdfs的根信息以及冗余备份的数量。

 

7.   配置SSH免key登录 

hadoop是一个分布式系统，节点间通过ssh通信，为了避免在连接过程中人工输入密码，需要进行ssh免key登陆的配置，由于本例是在单机上模拟分布式过程，因此需要针对本机（localhost）进行免key登陆的配置。

 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 chmod 0600 ~/.ssh/authorized_keys

 

8.   ssh验证登录：ssh localhost

9.  格式化文件系统：注意如果不是第一次格式化的话，注意删除/tmp/临时文件目录

       bin/hdfs namenode -format

10. 启动文件系统

      sbin/start-dfs.sh

11.访问虚拟机ip地址的50070端口：