【无标题】Hadoop笔记

一、安装VM和（centos）

1、安装VM蓝屏（版本和电脑不兼容）

   解决方法：下载VM16

   安装的时候记得放在一个文件夹，centos放在一个文件夹中

二、修改主机名 IP 映射

1、修改主机名

    （1）命令：Hostnamectl set -hostname 主机名 Bash

   （2）vi /etc/hostname(重启)

     (3）一定要在vi的命令模式下（在编辑模式下按esc键）

           :wq保存退出

           :wq!强制保存退出

           :q退出

           :q!强制退出

    (4）编辑模式下：i当前光标所在的位置。

2、IP 修改

     vi /etc/sysconfig/network-scripts/ifcfg-ens33

3、修改映射

     vi /etc/hosts

三、网络配置

1、虚拟机

2、Windows电脑

     遇到电脑上没有vmnet8的，下载CCleaner，清理注册表，重置虚拟机的网络

3、调整防火墙

      建议关闭防火墙

      查看防火墙状态：systemnctl status firewalld

      关闭防火墙：systemnctl status firewalld

      开机防火墙不启动：systemnctl disable firewalld

4、Ping IP地址

    （1）ping外部IP地址

   （2）Ping百度网址

5、重启网络

    Service network restart

四、链接moba

五、Jdk.hadoop部署

1、创建连个文件夹，在opt下面，创建一个software和module文件夹

2、安装jdk和hadoop

3、本地部署

4、伪分布式部署

5、克隆两台虚拟机

6、完全分布式部署

（1）免密

（2）修改环境变量

（3）修改配置文件（hadoop-env.sh hdfs-site.xml yarn-site.xml         mapred-site.xml）

（4）集群分发

        scp -r 谁 用户名@主机名：地址

（5）格式化namenode

         需要删除data和logs文件夹

         命令：hdfs namenode-format

（6）单启：hdfs --daemon start namenode

         hdfs --daemon start datanode

         yarn --daemon start resourcemanager

         yarn --daemon start nodemanager

         群启：start-all.sh