Hadoop搭建过程

首先，在谷歌云上按照博客的步骤来，注意，安装的应该是java8，然后配置ssh免密（这里注意经常会断开）

还要注意java和hadoop的版本，千万不可以下载默认的java，因为不适配的java和Hadoop版本不兼容。使用下面的文件加入下面三行字来为所有用户配置hadoop环境。

vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64/jre/bin/java

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

再使用下面的命令行来使之生效，并且检查现在java的位置

[root@localhost java]# source /etc/profile

[root@localhost java]# echo $JAVA_HOME

/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64/jre/bin/java

hadoop格式化namenode的时候出现“Cannot create directory …”的异常

发现javaIO没办法创建对应的目录，这里应该是linux的文件权限不够（我放在的是/usr目录下了），所以需要修改下hadoop安装位置的文件权限，在（ubuntu）终端输入：（注：sudo chown -R 【用户名】【hadoop的安装路径】）

sudo chown -R hadoop ./hadoop

然后重新格式化namenode。

出现master: g781650427@master: Permission denied (publickey)，说明免密ssh没有配置好，需要重新复制拷贝移动密钥（但是为什么经常出现这个错误？？）

出现slave1: datanode running as process 6848. Stop it first，说明之前start-all.sh了，需要先stop-all.sh然后再开启。