(1)准备一个VM安装3个虚拟机or准备3个云服务器(集群准备)(一个内存2GB就够,如果是云服务器请保证不要启动别的进程,我学生机运行个tomcat,nginx再跑hadoop就跑不动)
(2)关闭防火墙
(3)配置网络映射例如(
192.168.xxx.1 hadoop001
192.168.xxx.2 hadoop002
192.168.xxx.3 hadoop003 )
(4)配置三台虚拟机之间的ssh免密登录。
(5)下载linux版本的jdk和hadoop(链接:https://pan.baidu.com/s/1CdBWty8QhUdQ7K6J0KUQuA
提取码:0ypl 复制这段内容后打开百度网盘手机App,操作更方便哦)(如果侵权请联系本人)
(1)上传jdk安装包
(2)解压安装包
(3)配置环境变量 /etc/profile (详情步骤网上搜一下很多)
(1)上传HADOOP安装包
(2)解压安装包
(3)修改配置文件 hadoop-3.1.1/etc/hadoop/
vi hadoop-env.sh
export JAVA_HOME= /jdk完整路径/
vi core-site.xml (虚拟机自己ip :命令行ifconfig)
fs.defaultFS
hdfs://虚拟机自己IP(ifconfig):9000
hadoop.tmp.dir
/root/hadoop/hadoop-3.1.1/tmp
vi hdfs-site.xml
dfs.namenode.name.dir
/root/hadoop/hadoop-3.1.1/name
dfs.datanode.data.dir
/root/hadoop/hadoop-3.1.1/data
dfs.replication
3
dfs.secondary.http.address
0.0.0.0:50090
dfs.webhdfs.enabled
true
dfs.http.address
0.0.0.0:50070
vi mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.admin.user.env
HADOOP_MAPRED_HOME=/root/hadoop/hadoop-3.1.1
yarn.app.mapreduce.am.env
HADOOP_MAPRED_HOME=/root/hadoop/hadoop-3.1.1
vi yarm-site.xml
yarn.resourcemanager.hostname
虚拟机自己IP(ifconfig)
yarn.nodemanager.aux-services
mapreduce_shuffle
(4)修改启动和关闭文件:
#将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
#还有,start-yarn.sh,stop-yarn.sh顶部也需添加以下:
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
(1)初始化HDFS
hadoop namenode -format
(2) 启动hdfs(进入到hadoop的sbin目录下)
./start-dfs.sh
(3) 启动yarn(进入到hadoop的sbin目录下)
./start-yarn.sh
详细步骤查看:https://blog.csdn.net/qq_36367789/article/details/81605652 (转载自Fant_J大佬文章,大佬博客https://me.csdn.net/qq_36367789)
==================================================
注意事项:
1名称
2永久关闭防火墙
3配置ip和用户名映射
4网络NAT动态
5配置文件(4个)并设置自己对应的虚拟机ip
6savles文件
7配置ssh免密登录
8修改start-XXX.sh ,stop-XXX.sh 几个文件
==================================================
本次为本人CSDN第一篇博客,搞Java后端的应届毕业生初学hadoop,希望有大数据方面的大佬可以给初学者一些意见。
个人其他博客:poohbear.club
技术交QQ流群:226514402