Hadoop的安装与配置（非常重要）

官方的原生配置文档Hadoop3.1.0

HDFS的组成

1. NameNode
2. secondaryNameNode
3. DataNode

这是以主从模式来运行的，前两个在maser节点上，最后一个在slave节点上

---

1. 解压hadoop安装包

要学会从官方网站里找到历史镜像和release的发布版本来下载
我觉得从别人给的资源包里和从别的网盘里下载的东西还是太虚了
真正要学会一个东西必须从最原生的东西开始学起

一定要下载300兆的，不要下载src的，这个是源码文件

vmware中移动文件的小妙招

Vmware虚拟机和主机之间复制、粘贴内容、拖拽文件的详细方法

1. 使用xftp来传输文件
2. 使用vmware tools工具来直接进行拖拽传送

2. 配置Hadoop环境变量

其实配置的jdk的变量位置

Hadoop的环境变量文件：hadoop-env.sh

在hadoop子目录下的/etc文件中

把java_home的目录改为自己本机真实的jdk目录即可

3. 配置yarn环境变量

和上面相同，文件也是位于hadoop的解压目录下

在hadoop的3.1.0中，不需要配置yarn-env文件，默认会使用hadoop-env中的配置

4. 配置核心组件

core-site.xml文件的配置代码

	fs.defaultFS
	hdfs://master:9000



	hadoop.tmp.dir
	/home/wangguowei/hadoopdata

5. 配置文件系统

hdfs-site.xml

	dfs.replication
	1

6. 配置yarn-site.xml文件

        yarn.nodemanager.aux-services
        mapreduce_shuffle




        yarn.resourcemanager.address
        master:18040



        yarn.resourcemanager.scheduler.address
        master:18030



        yarn.resourcemanager.resource-tracker.address
        master:18025



        yarn.resourcemanager.admin.address
        master:18141



        yarn.resourcemanager.webapp.address
        master:18088


 

7. 配置MapReduce计算框架文件

mapred-site.xml

  mapreduce.framework.name
  yarn



  yarn.app.mapreduce.am.env
  HADOOP_MAPRED_HOME=/home/wangguowei/hadoop-3.1.0



  mapreduce.map.env
  HADOOP_MAPRED_HOME=/home/wangguowei/hadoop-3.1.0



  mapreduce.reduce.env
  HADOOP_MAPRED_HOME=/home/wangguowei/hadoop-3.1.0



  mapreduce.map.memory.mb
  2048



  mapreduce.map.java.opts
  -Xmx1024M



  mapreduce.reduce.memory.mb
  4096



  mapreduce.reduce.java.opts
  -Xmx2560M

8. 配置master中的worker文件

[wangguowei@master hadoop]$ cat workers
slave0
slave1

---

免秘钥登录配置

1. master节点的配置

• cat命令：复制并改名
• scp命令：Linux scp 命令用于 Linux 之间复制文件和目录。

scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。

**思路：**在master中生成公钥和私钥，将master中的公钥给了slave1和0

2. 在slave节点的配置

1. 生成rsa秘钥
2. 将master中的公钥复制到隐藏的ssh文件中
3. 顺便修改公钥的使用权限

如何从远程计算机退回到本地计算机？exit来退出

---

Linux的远程登录

Linux 一般作为服务器使用，而服务器一般放在机房 你不可能在机房操作你的 Linux 服务器。

这时我们就需要远程登录到Linux服务器来管理维护系统。

Linux 系统中是通过 ssh 服务实现的远程登录功能，默认 ssh 服务端口号为 22。

Window 系统上 Linux 远程登录客户端有 SecureCRT, Putty, SSH Secure Shell 等，本文以 Putty 为例来登录远程服务器。

Putty 下载地址：https://www.putty.org/

在设置好免秘钥登录的配置后，我们就可以，在一台计算机中登录奴隶机，还是免密码登录，因为通过SSH协议通过的时候是要密码的