搭建伪分布式hadoop集群操作步骤

搭建hadoop的伪分布式（hdfs，mapreduce，yarn配置在同一服务器上）
（1）配置hdsf
（a）配置：hadoop-env.sh
修改JAVA_HOME 路径：export JAVA_HOME=
jdk的路径
（b）配置：core-site.xml

fs.defaultFS hdfs://hadoop201:9000 hadoop.tmp.dir /opt/module/hadoop-2.7.2/data/tmp (c) 配置：hdfs-site.xml dfs.replication 1 dfs.namenode.secondary.http-address hadoop201:50090 (2) 配置yarn （a）配置yarn-env.sh配置一下JAVA_HOME export JAVA_HOME=jdk路径 （b）配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop201 (c)配置mapred-env.sh 添加 export JAVA_HOME=jdk路径 (d)配置mapred-site.xml (将mapred-site.xml.template重新命名为 mapred-site.xml） mapreduce.framework.name yarn 以上配置完成可以启动伪分布式集群，启动前先完成格式化hdfs namenode -format 1.启动namenode: hadoop-daemon.sh start|stop namenode 2.启动datanode: hadoop-daemon.sh start datanode 3.启动secondarynamenode: hadoop-daemon.sh start secondarynamenode，hdfs的web端：192.168.1.201:50070 4.启动resourcemanager： yarn-daemon.sh start resourcemanager 5.启动nodemanager（一定要启动）yarn-daemon.sh start nodemanager yarn的web端192.168.1.201:8088 测试的时候创建、查看、上传文件到hdfs命令查看文档运行mapreducer 注意： 格式化只能在启动集群的时候格式化一次，如果格式化多次会产生新的集群clusterID,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，需要格式化NameNode时，一定要先删除目录下的data数据和log日志，然后再格式化NameNode。