搭建伪分布式hadoop集群操作步骤

搭建hadoop的伪分布式(hdfs,mapreduce,yarn配置在同一服务器上)
(1)配置hdsf
(a)配置:hadoop-env.sh
修改JAVA_HOME 路径:export JAVA_HOME=
jdk的路径
(b)配置:core-site.xml

fs.defaultFS hdfs://hadoop201:9000 hadoop.tmp.dir /opt/module/hadoop-2.7.2/data/tmp (c) 配置:hdfs-site.xml dfs.replication 1 dfs.namenode.secondary.http-address hadoop201:50090 (2) 配置yarn (a)配置yarn-env.sh配置一下JAVA_HOME export JAVA_HOME=jdk路径 (b)配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop201 (c)配置mapred-env.sh 添加 export JAVA_HOME=jdk路径 (d)配置mapred-site.xml (将mapred-site.xml.template重新命名为 mapred-site.xml) mapreduce.framework.name yarn 以上配置完成可以启动伪分布式集群,启动前先完成格式化hdfs namenode -format 1.启动namenode: hadoop-daemon.sh start|stop namenode 2.启动datanode: hadoop-daemon.sh start datanode 3.启动secondarynamenode: hadoop-daemon.sh start secondarynamenode,hdfs的web端:192.168.1.201:50070 4.启动resourcemanager: yarn-daemon.sh start resourcemanager 5.启动nodemanager(一定要启动)yarn-daemon.sh start nodemanager yarn的web端192.168.1.201:8088 测试的时候创建、查看、上传文件到hdfs命令查看文档运行mapreducer 注意: 格式化只能在启动集群的时候格式化一次,如果格式化多次会产生新的集群clusterID,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。所以,需要格式化NameNode时,一定要先删除目录下的data数据和log日志,然后再格式化NameNode。

你可能感兴趣的:(hadoop,分布式,hdfs)