Hadoop集群配置步骤

Hadoop集群配置步骤

1.hadoop和jdk

链接:https://pan.baidu.com/s/1ivSvMe52KOuGtAmGPB8U0A

密码:jvx8

2.修改环境变量

vim /etc/profile

加入

export JAVA_HOME=/home/bigdata/jdk
export HADOOP_HOME=/home/bigdata/hadoop
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

修改host文件

vim /etc/hosts

Ip地址 主机名

Ip地址 从机1

Ip地址 从机2

3.ssh免密

ssh-keygen -t rsa
ssh-copy-id 主机名
ssh-copy-id 主机名2
ssh-copy-id 主机名3

用 ssh+虚拟机名来验证是否成功

如果主机名改变了就成功了

4.配置hadoop文件

找到目录/home/bigdata/hadoop/etc/hdoop

配置文件

文件一：hadoop-env.sh
export JAVA_HOME=/home/bigdata/jdk

文件二：core-site.xml

fs.defaultFS
hdfs://主机:8020


io.file.buffer.size
4096


hadoop.tmp.dir
/home/bigdata/tmp


文件三：hdfs-site.xml

dfs.replication
3


dfs.block.size
134217728


dfs.namenode.name.dir
file:///home/hadoopdata/dfs/name


dfs.datanode.data.dir
file:///home/hadoopdata/dfs/data


	fs.checkpoint.dir
	file:///home/hadoopdata/checkpoint/dfs/cname


	fs.checkpoint.edits.dir
	file:///home/hadoopdata/checkpoint/dfs/cname


   dfs.http.address
   主机:50070


   dfs.secondary.http.address
   从机1:50090


dfs.webhdfs.enabled
true


dfs.permissions
false


文件四：mapred-site.xml(提示 mv mapred-site.xml.template mapred-site.xml )

mapreduce.framework.name
yarn
true


mapreduce.jobhistory.address
主机:10020


mapreduce.jobhistory.webapp.address
主机:19888


文件五：yarn-site.xml

yarn.resourcemanager.hostname
主机


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.address
主机:8032


yarn.resourcemanager.scheduler.address
主机:8030


yarn.resourcemanager.resource-tracker.address
主机:8031


yarn.resourcemanager.admin.address
主机:8033


yarn.resourcemanager.webapp.address
主机:8088


文件六：slaves
主机 
从机1
从机2

配置完成后发给其他虚拟机一份

scp -r /home/bigdata/hadoop 从机1:/home/bigdata/

scp -r /home/bigdata/jdk 从机1:/home/bigdata/

scp -r /home/bigdata/hadoop 从机2:/home/bigdata/

scp -r /home/bigdata/jdk 从机2:/home/bigdata/

5.格式化集群

hadoop namenode -format

6.启动服务

Start-all.sh

关闭stop-all.sh

7.查看是否成功

jps