创建先的用的用户
没有用户则通过useradd username # 用户名 passwd username # 设置密码
已存在可用的用户则直接切换当前用户:su username
安装并配置ssh免密码登陆
使用ssh-keygen -t rsa 或 注:使用ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa命令可避免交互式操作。
在节点上将公钥拷到一个特定文件authorized_keys中。
cd ~
cd .ssh/
cp id_rsa.pub authorized_keys
安装Java环境
下载指定的jdk版本并上传到服务器并解压:tar zxf 你的jdk.tar.gz
jdk下载地址为:
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260.html
设置PATH和JAVA_HOME变量,添加以下命令到vim ~/.bash_profile文件。
export JAVA_HOME=/usr/local/jdk
export PATH=PATH:$JAVA_HOME/bin
验证Java是否安装成功:
下载hadoop并配置环境变量
hadoop下载地址为:https://hadoop.apache.org/releases.html
将hadoop下载并解压
配置hadoop的环境变量vim ~/.bash_profile
在base_profile文件追加一下内容:
1. List item
export HADOOP_HOME=/app/hadoop/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
然后刷新配置环境:source ~/.bash_profile
通过hadoop version
检查Hadoop是否可以正常工作。
以上图所示表示正常。
配置相关的Hadoop配置
hadoop的配置文件所在位置为hadoop所安装的根目录etc/hadoop目录下,简单配置如下:
export JAVA_HOME=/usr/local/jdk1.7.0_71
<property>
<name>fs.defaultFSname>
<value>hdfs://localhost:9000value>
property>
<property>
<name>hadoop.native.libname>
<value>falsevalue>
<description>Should native hadoop libraries, if present, be used.description>
property>
<property>
<name>dfs.replicationname>
<value>1value>
property>
<property>
<name>dfs.name.dirname>
<value>file:/Users/luchengwen/data/hadoop/data/datanode value>
property>
<property>
<name>dfs.data.dirname>
<value>file:/Users/data/hadoop/data/datanode value>
property>
<property>
<name>dfs.data.dirname>
<value>file:/Users/data/hadoop/data/tmp value>
property>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
验证hadoop安装并启动
格式化一个新的分布式文件系统:
bin/hadoop namenode -format
启动hadoop(启动脚本在sbin目录下):
./start-all.sh
通过页面检查是否成功:
浏览NameNode和JobTracker的网络接口,它们的地址默认为:http://127.0.0.1:8088/cluster/apps/RUNNING