Hadoop从入门到入土（第五天）

目录

 

一、集群部署规划

二、群起集群

---

一、集群部署规划

namenode和ScondaryNameNode不要装在同一服务器

ResourceManager也消耗内存，不要和NameNode.SecondaryName Node配置在同一台机器上。

 

cd /opt/module/hadoop文件名>ll >cd etc/hadoop/>复制(

 
 fs.defaultFS
 hdfs://hadoop102:8020
 
 
 
 hadoop.tmp.dir
 /opt/module/hadoop-3.1.3/data
 
 
 
 hadoop.http.staticuser.user
 atguigu
 

>.l>vim core-site.xml>按o（右键粘贴）>ll>复制(

 dfs.namenode.http-address
 hadoop102:9870
 

 
 dfs.namenode.secondary.http-address
 hadoop104:9868
 

)>vim hdfs-site.xml>按o粘贴>ll>vim yarn-site.xml>删掉里面的内容>粘贴(

 
 yarn.nodemanager.aux-services
 mapreduce_shuffle
 
 
 
 yarn.resourcemanager.hostname
 hadoop103
 
 
 
 yarn.nodemanager.env-whitelist
 
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME
 

)>ll>vim mapred-site.xml>粘贴（

 
 mapreduce.framework.name
 yarn
 

）>cd ..>ll>pwd>xsync hadoop/

查看配置是否完成：

（103）cd /opt/module/hadoop-3.1.3/>ll>cd etc/>ll>cat core-site.xml

二、群起集群

第一次启动要在hadoop102节点上格式化NameNode

hdfs namenode -format>ll(初始化后里面会多data和logs路径）>cd data/>ll>cd dfs/>ll>cd name/>ll>cd current>ll>vim VERSION(namespaceid是当前服务器的版本号）>cd /opt/module/>ll>cd sbin/>cd ..>ll>sbin/start-dfs.sh>jps

(103和104）hadoop-3.1.3路径下>jps （查看配置）

（103） sbin/(TAB键）》start-yarn.sh>jps

今日份学习笔记：