hadoop2.6安装步骤

阅读更多

1、查看ip/主机名/ip主机映射文件
2、关闭防火墙、selinux、iptables
3、创建用户组/用户 hadoop
注：不能用root账户安装系统
4、上传hadoop安装包-》使用hadoop账户
5、创建目录
/application/hadoop/
/data/hadoop
6、配置ssh无密码登录
使用hadoop登录
cd /home/hadoop         #切换hadoop的home目录
mkdir .ssh #创建隐藏目录
chmod 755 .ssh
cd .ssh #
ssh-keygen -t rsa -P '' #生产秘钥对
#回车
cat id_rsa.pub >> authorized_keys #生成验证文件
chmod 600 authorized_keys #修改验证文件权限
ssh master
exit
ssh master
7、安装jdk配置环境变量/etc/profile.d/java.sh
export JAVA_HOME=jdk安装目录
export HADOOP_HOME=
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
立即生效  source /etc/profile
8、安装hadoop（解压缩<创建软链接>，配置）
配置文件在...hadoop/etc/hadoop/下
a:  hadoop-env.sh
加一行
export JAVA_HOME=/application/hadoop/jdk

b: core-site.xml



hadoop.tmp.dir
/data/hadoop/hdfs/tmp


fs.default.name
hdfs://master:9000


fs.checkpoint.dir
/data/hadoop/hdfs/namesecondary



fs.trash.interval
1440   ##分钟





c:  mapred-site.xml
mapred-site.xml.template ->copy


mapred.job.tracker
master:9001


mapred.local.dir
/data/hadoop/mapred/mrlocal


mapred.system.dir
/data/hadoop/mapred/mrsystem
true


d:  yarn-site.xml

mapreduce.framework.name
yarn


yarn.nodemanager.aux-services
mapreduce_shuffle



e:  hdfs-site.xml

dfs.replication
1


dfs.name.dir
/data/hadoop/hdfs/name


dfs.data.dir
/data/hadoop/hdfs/data



多创建几个目录
mkdir -p /data/hadoop/hdfs/name
mkdir -p /data/hadoop/hdfs/data
mkdir -p /data/hadoop/hdfs/namesecondary
mkdir -p /data/hadoop/hdfs/tmp
mkdir -p /data/hadoop/mapred/mrlocal
mkdir -p /data/hadoop/mapred/mrsystem

9、格式化
hadoop namenode -format
10、启动
start-dfs.sh
start-yarn.sh
stop-dfs.sh
stop-yarn.sh
11、测试
jps
网页http://192.168.10.1:50070/
hadoop dfsadmin -report