【hadoop】部署hadoop的伪分布模式

hadoop的伪分布模式

  • 伪分布模式的特点
  • 部署伪分布模式
    • hadoop-env.sh
    • hdfs-site.xml
    • core-site.xml
    • mapred-site.xml
    • yarn-site.xml
    • 对NameNode进行格式化
    • 启动Hadoop
  • 对部署是否完成进行测试
  • 免密码模式
    • 免密码模式的原理(重要)
    • 免密码模式的配置

伪分布模式的特点

  1. 在单机上,模拟一个分布式的环境
  2. 具备Hadoop的所有的功能
  3. 用于开发和测试
  •   HDFS:NameNode、DataNode、SecondaryNameNode
    
  •  Yarn:ResourceManager、NodeManager
    

部署伪分布模式

前提:部署好hadoop的本地模式
点击设置hadoop的本地模式

伪分布模式的部署主要是将下面的参数文件的配置参数进行更改。

【hadoop】部署hadoop的伪分布模式_第1张图片

hadoop-env.sh

注:如果在本地模式已经配置完成,这个文件则不需要重复配置。

路径:/root/training/hadoop-2.7.3/etc/hadoop($HADOOP_HOME/etc/hadoop)

更改第25行 export JAVA_HOME=/root/training/jdk1.8.0_181

hdfs-site.xml

进入 /root/training/hadoop-2.7.3/etc/hadoop/ 路径找到 hdfs-site.xml 文件进行编辑。
在这里插入图片描述

vi hdfs-site.xml

将下面xml代码添加该文件




<property>
		<name>dfs.replicationname>
		<value>1value>
property>

【hadoop】部署hadoop的伪分布模式_第2张图片

core-site.xml

需要在hadoop目录下,先创建出tmp文件,作为HDFS对应的操作系统目录。

mkdir /root/training/hadoop-2.7.3/tmp

编辑操作与上面文件相同,则不演示。



<property>
		<name>fs.defaultFSname>
		<value>hdfs://bigdata111:9000value>
property>

 

<property>
		<name>hadoop.tmp.dirname>
		<value>/root/training/hadoop-2.7.3/tmpvalue>
property>

mapred-site.xml

这个文件默认没有,需要我们先复制

cp mapred-site.xml.template mapred-site.xml

【hadoop】部署hadoop的伪分布模式_第3张图片


<property>
		<name>mapreduce.framework.namename>
		<value>yarnvalue>
property>

yarn-site.xml


<property>
		<name>yarn.resourcemanager.hostnamename>
		<value>bigdata111value>
property>


<property>
		<name>yarn.nodemanager.aux-servicesname>
		<value>mapreduce_shufflevalue>
property>

对NameNode进行格式化

执行下面这条命名

hdfs namenode -format

成功则出现下面这句话。
【hadoop】部署hadoop的伪分布模式_第4张图片

启动Hadoop

 start-all.sh

【hadoop】部署hadoop的伪分布模式_第5张图片

需要输入4次密码和yes。

至此部署完成,下面进行测试!

对部署是否完成进行测试

将本地文件上传到hdfs
【hadoop】部署hadoop的伪分布模式_第6张图片
进入/root/training/hadoop-2.7.3/share/hadoop/mapreduce/

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output/wc

【hadoop】部署hadoop的伪分布模式_第7张图片

停止集群

stop-all.sh

【hadoop】部署hadoop的伪分布模式_第8张图片

也需要输入4次密码,输入密码太麻烦,所以我们还需要配置免密码模式

免密码模式

免密码模式的原理(重要)

【hadoop】部署hadoop的伪分布模式_第9张图片

免密码模式的配置

ssh-keygen -t rsa

【hadoop】部署hadoop的伪分布模式_第10张图片

ssh-copy-id -i .ssh/id_rsa.pub root@bigdata111

注:root@bigdata111 是你当前的主机名

【hadoop】部署hadoop的伪分布模式_第11张图片
在这里插入图片描述

免密码模式配置完成!

你可能感兴趣的:(hadoop,hadoop,大数据,分布式)