CDH4集群远程客户端安装及配置

远程客户端安装及配置

1、远程客户端安装配置

1)下载hadoop安装包安装

在Client01机器上安装hadoop，和其他机器安装方式相同

2)修改主机名

# vim /etc/sysconfig/network

修改为：

HOSTNAME = Client01

1)修改hosts文件

# vim /etc/hosts

在文件中添加配置：

192.168.12.10 Master

2)系统环境变量配置

修改/etc/profile文件

添加内容如下：

# set Hadoop path

export HADOOP_HOME = /usr/cdh4/hadoop-2.0

export HADOOP_COMMOM_HOME = ${HADOOP_HOME}

export HADOOP_HDFS_HOME = ${HADOOP_HOME}

export PATH = $PATH:$HADOOP_HOME/bin

export PATH = $PATH:$HADOOP_HOME/Sbin

export HADOOP_MAPRED_HOME = ${HADOOP_HOME}

export YARN_HOME = ${HADOOP_HOME}

export HADOOP_CONF_DIR = ${HADOOP_HOME}/etc/hadoop

export HDFS_CONF_DIR = ${HADOOP_HOME}/etc/hadoop

export YARN_CONF_DIR = ${HADOOP_HOME}/etc/hadoop

注：修改完文件/etc/profile保存退出后，必须是配置文件生效，否则后续步骤将会出错。

保存退出后，使配置文件生效，指令如下：

# source /etc/profile

3)配置hadoop java环境变量

在文件hadoop-env.sh内添加java环境变量

# vim hadoop-env.sh

在末尾添加以下内容：

# set java path

export JAVA_HOME = /usr/java/jdk1.7.0_25

4)编辑core-site.xml

打开core-site.xml：

# vim core-site.xml

添加以下内容：

 fs.default.name

 hdfs://Master:9100

 true

5)编辑mapred-site.xml

打开文件：mapred-site.xml

# vim mapred-site.xml

添加以下内容：

 mapreduce.job.tracker

 192.168.12.10:9101

 ture

2、远程客户端shell命令上传下载文件

1)将本地文件上传到HDFS

# hadoop fs –put ‘本地文件路径’ /input

可以通过网页查看上传的文件信息

2)将HDFS文件系统中的文件下载到本地目录

# hadoop fs –get /input/’文件名’ ‘本地文件路径’

可以通过在hdfs网页上查看文件目录：http://Master:50070