079-BigData-07hadoop伪分布式和分布式

上一篇：078-BigData-06hadoop架构及环境搭建

一、hadoop伪分布式

SSH无密码登录

ssh-keygen -t rsa

image.png

回车确定，或者指定特定目录也行。

将公钥拷贝到要免密登录的目标机器上：

ssh-copy-id 主机名1
ssh-copy-id 主机名2
ssh-copy-id 主机名3

完成后

image.png

image.png

image.png

• .ssh文件夹下的文件功能解释
  （1）~/.ssh/known_hosts ：记录ssh访问过计算机的公钥(public key)
  （2）id_rsa ：生成的私钥
  （3）id_rsa.pub ：生成的公钥
  （4）authorized_keys ：存放授权过得无秘登录服务器公钥

二、配置集群

1、伪分布式只有一台机器，所以配置全在一台机器上。

2、分布式准备架构：

image.png

3、配置文件（超级重点）

core-site.xml配置：

fs.defaultFS
hdfs://主机名1:9000




hadoop.tmp.dir
/opt/module/hadoop-2.X.X/data/tmp

hdfs-site.xml配置：

dfs.replication
3



dfs.namenode.secondary.http-address
主机名1:50090



dfs.permissions
false

yarn-site.xml配置：

yarn.nodemanager.aux-services
mapreduce_shuffle




yarn.resourcemanager.hostname
主机名1



yarn.log-aggregation-enable
true



yarn.log-aggregation.retain-seconds
604800

mapred-site.xml配置：

mapreduce.framework.name
yarn



mapreduce.jobhistory.address
主机名1:10020



mapreduce.jobhistory.webapp.address
主机名1:19888

hadoop-env.sh、yarn-env.sh、mapred-env.sh（分别在这些的文件中添加下面的路径）：

自己的路径

export JAVA_HOME=/opt/soft/jdk1.8.0_144

slaves:

bigdata131、bigdata132、bigdata133（自己设置的主机名）

• 格式化Namenode：

刚开始用的时候需要格式化，以后都不需要了

hdfs namenode -format

对于第一次使用HDFS，在启动NameNode时，需要先执行-format命令，然后才能正常启动NameNode节点的服务。

附：格式化做了哪些事情？

在NameNode节点上，有两个最重要的路径，分别被用来存储元数据信息和操作日志，而这两个路径来自于配置文件，它们对应的属性分别是dfs.name.dir和dfs.name.edits.dir，同时，它们默认的路径均是/tmp/hadoop/dfs/name。格式化时，NameNode会清空两个目录下的所有文件，之后，会在目录dfs.name.dir下创建文件
hadoop.tmp.dir 这个配置，会让dfs.name.dir和dfs.name.edits.dir会让两个目录的文件生成在一个目录里

• 启动集群得命令：

Namenode的主节点：

sbin/start-dfs.sh

Yarn的主节点：

sbin/stop-yarn.sh

注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。

附： scp文件传输：

实现两台远程机器之间的文件传输（bigdata132主机文件拷贝到bigdata133主机上）
scp -r [文件] 用户@主机名：绝对路径

image.png

三、测试

分布式搭好了之后

启动后。网站访问试试：

192.168.30.131:50070

image.png

然后：

192.168.30.132:8088

image.png

这2个关键端口要记住：50070和8088

下一篇：080-BigData-08HDFS