hadoop单机模式配置

hadoop单机模式配置
一、SSH（secure shell）的免密码登陆
a、执行命令，产生秘钥
产生的秘钥位于 ~/.ssh文件夹中 用户目录下
cd ~ 
cd .ssh
ssh-keygen -t rsa
b、cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

ubuntu可能要手动开启ssh服务：

sudo apt-get install openssh-server
然后确认sshserver是否启动了：
ps -e |grep ssh

验证：ssh localhost
使用pieTTY的SSH登陆


二、安装hadoop
tar -zvxf hadoop-1.1.2.tar.gz 


三、配置环境变量
/etc/profile添加
export JAVA_HOME=/root/local/jdk
export HADOOP_HOME=/root/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
source /etc/profile
修改hadoop配置文件进行单机模式配置
参考教程ppt
配置文件主要位于$HADOOP_HOME/config目录下


1.hadoop-env.sh
export JAVA_HOME=/root/tool/jdk #按个人jdk安装位置自行修改
export HADOOP_PID_DIR=/var/hadoop/pids
export HADOOP_HOME_WARN_SUPPRESS=1
2、core-site.xml

 
    hadoop.tmp.dir
    /data/hadoop-${user.name}
 
 
    fs.default.name
    hdfs://localhost:9000
 

3、hdfs-site.xml

 
    dfs.replication
    1
 
 
    dfs.block.size
    134217728
 
 
    dfs.data.dir
    ${hadoop.tmp.dir}/dfs/data
 

4、mapred-site.xml

 
    mapred.job.tracker
    localhost:9001
 
 
    mapred.child.tmp
    ${hadoop.tmp.dir}
 
 
    mapred.jobtracker.completeuserjobs.maximum
    25
 
 
    mapred.child.java.opts
    -Dfile.encoding=utf-8 -Duser.language=zh -Xmx512m
 
 
    io.sort.mb
    256
 
 
    mapred.tasktracker.map.tasks.maximum
    4
 
 
    mapred.tasktracker.reduce.tasks.maximum
    4
 



四、启动单机版hadoop

格式化hadoop：hadoop namenode -format

删除原来的Hadoop数据:rm -rf /data/hadoop/tmp

启动：start-all.sh
命令jps查看启动了5个进程 NameNode JobTracker TaskTracker DataNode SecondaryNameNode


web查看：http://192.168.1.100:50070/dfshealth.jsp
http://hadoop:50070/dfshealth.jsp


http://192.168.1.100:50030/jobtracker.jsp
http://hadoop:50030/jobtracker.jsp
然后hadoop配置和启动成功了！
其他的请参考我另外一篇配置文章