CentOS 8系统安装和基本配置以及Hadoop的伪分布式搭建

镜像下载

下载地址：

阿里CentOS 8下载
清华CentOS 8下载
CentOS 8官网下载

CentOS主要镜像文件类型介绍

常见的镜像文件类型主要有以下几种：

• DVD ISO：普通光盘完整安装版镜像，可离线安装到计算机硬盘上，包含大量的常用软件，一般选择这种镜像类型即可。
• Everything ISO：包含了完整安装版的内容，并对其进行补充，集成了所 有软件。
• Minimal ISO：这个版本为精简版的镜像，可以安装一个基本的CentOS系 统，包含了可启动系统基本所需的最小安装包。
• LiveCD/DVD ISO: 是一个光盘Centos系统，可通过光盘直接在电脑上启动系统，也可以将系统安装到计算机上使用，部分内容还需要再次下载。根据系统桌面不同live版的又可分为LiveGNOME
• Netinstal：在线安装版本，启动后需要联网边下载边安装。
  

CentOS8系统安装

安装步骤如下截图：

1.在这里选择刚刚下载好的iso文件

2.设置用户名和密码

3.更改位置

4.为了加快处理器运行速度，这里将配置改成4核

5.如果物理机的内存是16G，这里选择8G，如果是8G则选择4G

6.以下都是默认就可以了

7.指定磁盘大小为200G（此处并不需要你的物理机上有200G内存）

8.键盘↑↓移动选择第一项开始安装

9.安装好后选择语言（根据自己的情况也可以选择中文）

10.设置网卡

11.设置时间

12.设置用户账号密码（不要创建普通用户且用普通用户登录，不然还得用su切换超级用户）

13.等待安装

14.安装完成以后选择接受协议

配置CentOS 8

1.先查看自己的ip地址

2.设置成自己的IP地址

3.修改主机名

hostnamectl set-hostname hadoop0

4.配置hosts文件

vi /etc/hosts

在末尾添加自己的ip地址，如果ip地址有改变，/etc/hosts中的ip必须也手动同步更改

5.关闭防护墙

systemctl stop firewalld.service
systemctl disable firewalld.service

6.禁用selinux

vi /etc/selinux/config

将图中地方改成disable

7.设置SSH免密码登录

cd /root/.ssh #进入密钥存放目录
rm -rf * #删除旧密钥
ssh-keygen -t dsa #生成新密钥
cat id_dsa.pub >> authorized_keys #将新生成的密钥文件id_dsa.pub复制到SSH指定的密钥文件authorized_keys中

测试SSH免密码登录是否成功

ssh hadoop0

要使修改主机名生效，记得重启主机

reboot

Hadoop伪分布式安装

1.安装WinSCP

WinSCP下载地址

2.安装PieTTY

PieTTY下载地址

无需安装，下载直接用，打开以后输入虚拟机的地址就可以看到下图了

3.安装JDK

JDK8Linux版下载地址
下载第一个即可

利用上面的WinSCP将本地下载好的JDKLinux安装包传到CentOS 8中
JDK8和OpenJDK没有太大区别，所以我这里用了之前下好的JDK8
注意！是放在 /usr/local目录下的！

• 解压JDK压缩包

  • tar -xvf jdk-8u121-linux-x64.tar.gz #具体写你自己的JDK文件名
    
    此时的java -version不能使用

• 将解压后的文件夹重命名为jdk

  • mv jdk1.8.0_121/ jdk#具体写你自己解压后的文件夹
  • 

• 使用vim /etc/profile 编辑profile文件

  • vim /etc/profile
    注意：JAVA_HOME的路径是你实际解压后的JDK的路径，千万别写错了!!!

#set java environment
export JAVA_HOME=/usr/local/jdk 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

JAVA_HOME指明JDK安装路径，就是刚才安装时所选择的路径，
此路径下包括lib，bin，jre等文件夹（tomcat，Eclipse的运行都需要依靠此变量）。

CLASSPATH为java加载类(class or lib)路径，只有类在classpath中，java命令才能识别，
设：.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib。
CLASSPATH变量值中的.表示当前目录

PATH使得系统可以在任何路径下识别java命令，设为：$JAVA_HOME/bin:$JRE_HOME/bin。

特别注意：环境变量值的结尾没有任何符号，不同值之间用:隔开（windows中用;）

• 使环境变量立即生效
  • source /etc/profile
• 测试配置是否成功
  • java -version
    
    出现上图信息说明配置成功

4.安装Hadoop

Hadoop下载地址

利用上面的WinSCP将本地下载好的hadoop-3.3.1.tar.gz传到CentOS 8中
注意！是放在 /usr/local目录下的！

• 解压

  • 先切换到 /usr/local目录下 cd /usr/local
  • 解压文件tar -xvf hadoop-3.3.1.tar.gz
  • 为方便记忆，改个文件名mv hadoop-3.3.1 hadoop
    

• 配置环境变量

  • 使用vim /etc/profile 编辑profile文件vim /etc/profile

#set hadoop environment

export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_NAMENODE_USER=root
export HADOOP_DATANODE_USER=root
export HADOOP_SECONDARYNAMENODE=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

• 修改以后需要输入source /etc/profile使得环境变量立即生效
  
  使用cd切换到/usr/loacal/hadoop/etc/hadoop目录下，接下来修改的配置文件都在该目录下操作
  

• 配置hadoop-env.shvim hadoop-env.sh
  
  在37行解除注释并且将路径改为自己jdk的解压路径

• 配置core-site.xmlvim core-site.xml

在<configuration>节点内加入配置:

<configuration>

 <property>
   <property>
        <name>fs.default.FS</name>
        <value>hdfs://hadoop0:9000/</value>
        <description>NameNode URL</eescription>
   </property>

</configuration>

• 配置hdfs-site.xmlvim hdfs-site.xml

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///usr/local/hadoop/data/datanode</value>
        </property>
        <property>
                <name>dfs.namenode.dir</name>
                <value>file:///usr/local/hadoop/data/namenode</value>
        </property>
        <property>
                 <name>dfs.http-address</name>
                <value>hadopp0:50070</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                 <value>hadoop0:50090</value>
        </property>

• 配置yarn-site.xmlvim yarn-site.xml

   <property>
        <name>yarn.nodemanager.aux-service</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-service.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapreduce.ShuffleHandler</value>
   </property>
      <property>
        <name>yarn.resourcemanager.scheduler,address</name>
        <value>hadoop0:8030</value>
   </property>
   <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop0:8050</value>
   </property>

注意！每修改完一个配置文件都要记得输入source /etc/profile使得环境变量立即生效

5.Hadoop验证

• Hadoop使用之前必须先格式化hadoop namenode -format
  
  没报错则说明成功格式化
• 启动Hadoopstart-all.sh
  
  出现上图则说明启动成功
• 查看Hadoop相关进程jps
  
• 浏览文件hadoop fs ls