搭建伪分布:
准备:Centos 6.5 hadoop1.1.2 xsell winsp vm
1.设置静态IP,关闭防火墙 设置DNS
网络连接模式:选择仅与主机共享,默认是网卡 VMnet1
关闭防火墙
永久关闭: chkconfig iptables off
验证:chkconfig --list | grep iptables
查看IP:ifconfig
进入后设置为静态,网关 还有DNS,详细见图,
重启网卡:service network restart
网关进Cmd,ipconfig 查看
DNS Sever可以不设置
ping 192.168.253.131
2.添加用户组和用户hadoop
3.hosts设置:
Vi /etc/hosts
在文件中添加:192.168.53.132 masier (解析网址)
Vi /etc/sysconfig/network
更改network中HOSTNAME=master 或者hostsname master 改为master
4.设置ssh无密码登录(hadoop账户下)
ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa
cat id_rsa.pub >> authorized_keys
设置权限:chmod 600 authorized_keys
验证:ssh
Ssh master
4.安装JDK (若是安装包直接解压安装即可)
新建java 上传JDK 赋予权限 安装
建立软连接:(便于今后的配置)(重命名也可以)
代码:ln -s jdk1.6.0_45/ jdk
进入环境变量设置:
vi /etc/profile 添加
export JAVA_HOME=/usr/java/jdk
export PATH=.:$PATH:$JAVA_HOME/bin
重启表:source /etc/profile java -version
安装hadoop
1.解压:tar –zxvf hadoop-1.1.2.tar.gz –C /opt/
2.对hadoop 进行重命名
mv hadoop-1.1.2/ hadoop
chown -R hadoop:hadoop hadoop/
进行文件配置:
对hadoop-env.sh进行配置
export JAVA_HOME=/usr/java/jdk
export HADOOP_PID_DIR=/home/$USER/pids
对core-site.xml进行配置
加入:
fs.default.name
hdfs://master:9000
hadoop.tmp.dir
/home/${user.name}/tmp
对hdfs-site.xml进行配置
dfs.replication
1
dfs.name.id
/home/${user.name}/dfs/name
dfs.data.dir
/home/${user.name}/dfs/data
对mapred-site.xml进行设置
添加
mapred.job.tracker
master:9001
mapred.system.dir
/home/${user.name}/mapred/system
mapred.local.dir
/home/${user.name}/mapred/local
对masters slaves进行设置
改为master
对hadoop进行格式化
在hadoop/bin/目录下
代码:./hadoop namenode -format
用jps查看:
从网络上查看 如果查看不了,重启一次虚拟机,再启动hadoop
http://192.168.253.131:50030
http:192.168.253.131:50070