hadoop集群搭建

hadoop集群搭建

1.创建虚拟机

centos6.5的镜像

链接：https://pan.baidu.com/s/1aNW5lWGqqoWp0vln6klJMA
提取码：9r4c

步骤可以去看这篇博客：https://blog.csdn.net/alan3344/article/details/83048872

2.ping通IP地址

这是静态ip设置的样例

DEVICE=eth0
TYPE=Ethernet
UUID=f3d48737-0a4a-4194-b29a-14ac7edbd19b			**虚拟机不同地址不同
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
DNS1=192.168.88.2         域名
IPADDR=192.168.88.155	ip地址前3位为要一致，最后一位可以按需填写	**
NETMASK=255.255.255.0
GATEWAY=192.168.88.2       网关
PREFIX=24
DNS2=8.8.8.8
DEFROUTE=yes
NAME="System eth0"
HWADDR=00:0C:29:2C:7B:FD		**不同的虚拟机地址不同

不能有空格等其他符号，只要有就不会成功

3.上传hadoop jdk

这是 hadoop和jdk的包

链接：https://pan.baidu.com/s/1f-ukbrLcPGfWPyoqqmUCtQ
提取码：4nod

安装 vmvare tool

安装好之后，重启之后再会生效

4.环境变量

在终端中输入

vim /etc/profile

进入文件，到文件最后添加环境变量

export JAVA_HOME=/home/bigdata/jdk export HADOOP_HOME=/home/bigdata/hadoop export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar: export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
写完在终端输入source /etc/profile更新配置

5.ssh免密

终端输入

vim /etc/hosts

显示

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

加入以下内容

192.168.88.155（你的ip） hadoop1（主机名）
192.168.88.156 hadoop2
192.168.88.157 hadoop3

如何修改主机名

ssh-keygen -t rsa

ssh-copy-id 主机

ssh-copy-id 从机1

ssh-copy-id 从机2

用

ssh加从机名来验证是否成功

以下效果为成功

[外链图片转存失败(img-PSfKuP4e-1569380619182)(E:\新建文件夹\49.png)]

6.传给另外几台虚拟机

在终端中输入

cd /home/bigdata/hadoop/etc/hadoop/

然后根据下面的内容进行修改

文件一：hadoop-env.sh
export JAVA_HOME=/home/bigdata/jdk

文件二：core-site.xml

fs.defaultFS
hdfs://主机:8020


io.file.buffer.size
4096


hadoop.tmp.dir
/home/bigdata/tmp


文件三：hdfs-site.xml

dfs.replication
3


dfs.block.size
134217728


dfs.namenode.name.dir
file:///home/hadoopdata/dfs/name


dfs.datanode.data.dir
file:///home/hadoopdata/dfs/data


fs.checkpoint.dir
file:///home/hadoopdata/checkpoint/dfs/cname


fs.checkpoint.edits.dir
file:///home/hadoopdata/checkpoint/dfs/cname


   dfs.http.address
   主机:50070


   dfs.secondary.http.address
   从机1:50090


dfs.webhdfs.enabled
true


dfs.permissions
false


文件四：mapred-site.xml(提示 mv mapred-site.xml.template mapred-site.xml )

mapreduce.framework.name
yarn
true


mapreduce.jobhistory.address
主机:10020


mapreduce.jobhistory.webapp.address
主机:19888


文件五：yarn-site.xml

yarn.resourcemanager.hostname
主机


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.address
主机:8032


yarn.resourcemanager.scheduler.address
主机:8030


yarn.resourcemanager.resource-tracker.address
主机:8031


yarn.resourcemanager.admin.address
主机:8033


yarn.resourcemanager.webapp.address
主机:8088


文件六：slaves
主机 
从机1
从机2

scp -r /home/bigdata/hadoop 从机1:/home/bigdata/

scp -r /home/bigdata/jdk 从机1:/home/bigdata/

改成从机2也再输入一遍

第一遍可能会直接在bigdata下传送hadoop或者jdk内容，删掉再传一遍就行

8.格式化集群

hadoop namenode -format

9.启动集群

启动 start-all.sh

关闭 stop-all.sh

10.查看节点

jps