Hadoop伪分布式搭建

Hadoop伪分布式搭建

1、把hadoop-2.6.4.tar.gz移动到/usr/local目录下

2、使用命令tar -zxvf hadoop-2.6.4.tar.gz解压缩

3、编辑/etc/profile，添加环境变量。

4、source /etc/profile使配置生效

 

5、修改/usr/local/hadoop-2.6.4/etc/hadoop目录下的配置文件

5.1、hadoop-env.sh

5.2、core-site.xml

fs.defaultFS

        hdfs://hadoop100:9000

hadoop.tmp.dir

/usr/local/hadoop-2.6.4/data/tmp

5.3、hdfs-site.xml

dfs.replication

1

        dfs.namenode.secondary.http-address

        hadoop100:50090

    

5.4、Yarn-env.sh

    5.5、Yarn-site.xml

 yarn.nodemanager.aux-services

 mapreduce_shuffle

 

yarn.resourcemanager.hostname

hadoop100

5.6、mapred-env.sh

5.7、Mapred-site.xml

mapreduce.framework.name

yarn

5.8、Slaves

6、免密登录

6.1、产生密钥

ssh-keygen -t rsa 一直回车

6.2、复制

ssh-copy-id hadoop100

6.3、验证

ssh  hadoop100

7、格式化文件系统

执行hadoop namenode -format

8、启动

start-dfs.sh

9、验证