虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装

一、基础环境和下载

环境：ubuntu18,64位

虚拟机：virtualbox5.2

下载hadoop2.9.1 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

下载jdk1.8.0 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载hive3.0.0 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

二、创建HADOOP用户

sudo useradd -m hadoop -s /bin/bash

设置密码

sudo passwd hadoop

增加管理员权限

sudo adduser hadoop sudo

三、更新软件，安装ssh

sudo apt-get update

sudo apt-get install vim

sudo apt-get install openssh-server

登陆本机：

ssh localhost

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

四、安装java，配置环境

tar -zxvf jdk-8u171-linux-x64.tar.gz

配置环境变量

sudo gedit /etc/profile

末尾加上

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_21  

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH  

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 

终端输入

source /etc/profile

五、安装hadoop

sudo tar -zxf hadoop-2.9.1.tar.gz -C /usr/local    # 解压到/usr/local中
定位到/usr/local 
sudo mv ./hadoop-2.9.1/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

验证是否安装成功

cd /usr/local/hadoop

./bin/hadoop version

安装成功会显示版本

六、修改配置文件

gedit ./etc/hadoop/core-site.xml

        
             hadoop.tmp.dir
             file:/usr/local/hadoop/tmp
             Abase for other temporary directories.
        
        
             fs.defaultFS
             hdfs://localhost:9000
        

gedit ./etc/hadoop/hdfs-site.xml

        
             dfs.replication
             1
        
        
             dfs.namenode.name.dir
             file:/usr/local/hadoop/tmp/dfs/name
        
        
             dfs.datanode.data.dir
             file:/usr/local/hadoop/tmp/dfs/data
        

gedit ./etc/hadoop/hadoop-env.sh

修改java环境变量（你安装的位置） export JAVA_HOME=/lib/jdk1.8.0_171

执行 NameNode 的格式化:

./bin/hdfs namenode -format

开启 NameNode 和 DataNode 守护进程

./sbin/start-dfs.sh

启动完成后，可以通过命令 jps 来判断是否成功启动

关闭命令sbin/stop-dfs.sh

可以打开http://localhost:50070/查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

七、安装mysql

第一次安装调用不出来mysql，所以决定卸载重安就可以了

sudo apt-get install mysql-server
sudo apt install mysql-client
sudo apt install libmysqlclient-dev

先清除之前的安装信息

sudo apt-get autoremove --purge mysql-server-5.0
sudo apt-get remove mysql-server
sudo apt-get autoremove mysql-server

sudo apt-get remove mysql-common 

清理残留数据

dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P

再次安装

sudo apt-get install mysql-server

sudo apt-get install mysql-client

设置mysql允许远程访问

终端输入sudo gedit /etc/mysql/mysql.conf.d/mysqld.cnf

注释掉bind-address = 127.0.0.1

在mysql中输入

grant all on *.* to root@'%' identified by '你的密码' with grant option;

flush privileges;

在终端中重启mysql

service mysql restart

八、复制这个ubuntu系统

右击ubuntu，选择“复制”，选择初始化mac地址，确定，“完全复制”，复制出两个新的ubuntu系统，命名为ubuntu2和ubuntu3

九、更改ubuntu2和ubuntu3的IP地址

复制出来的虚拟机IP地址是重复的，需要修改

在/etc/netplan中找到后缀名为.yaml的文件，打开终端

sudo gedit 01-network-manager-all.yaml

network:
    ethernets:
        enp0s3:
            addresses:
            - 192.168.0.2/20
            gateway4: 192.168.12.2
            nameservers:
                addresses:
                - 223.5.5.5
                search: []
            optional: true
    version: 2

保存退出，在终端中输入：sudo netplan apply，使之生效

在终端中输入ifconfig可查看ip

三个虚拟机的ip分别是192.168.0.1，192.168.0.2，192.168.0.3

十、修改3个系统的主机名字

查看当前主机的主机名称：sudo /bin/hostname

设置当前主机的主机名称：sudo /bin/hostname newname

三个主机名字分别是master,slave1,slave2

定位到/etc，打开终端sudo gedit hosts

192.168.0.1    master
192.168.0.2    slave1
192.168.0.3    slave2

手动重启网络服务生效：sudo /etc/init.d/networking restart

十一、

十二、

参考：http://www.powerxing.com/install-hadoop/