虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装

一、基础环境和下载

环境:ubuntu18,64位

虚拟机:virtualbox5.2

下载hadoop2.9.1 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

下载jdk1.8.0 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载hive3.0.0 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

二、创建HADOOP用户

sudo useradd -m hadoop -s /bin/bash

设置密码

sudo passwd hadoop

增加管理员权限

sudo adduser hadoop sudo


三、更新软件,安装ssh

sudo apt-get update

sudo apt-get install vim

sudo apt-get install openssh-server

登陆本机:

ssh localhost

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示,都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys  # 加入授权


四、安装java,配置环境

tar -zxvf jdk-8u171-linux-x64.tar.gz
配置环境变量
sudo gedit /etc/profile
末尾加上
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_21  
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH  
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 
终端输入
source /etc/profile

五、安装hadoop

sudo tar -zxf hadoop-2.9.1.tar.gz -C /usr/local    # 解压到/usr/local中
定位到/usr/local 
sudo mv ./hadoop-2.9.1/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

验证是否安装成功

cd /usr/local/hadoop

./bin/hadoop version

安装成功会显示版本


六、修改配置文件

gedit ./etc/hadoop/core-site.xml


        
             hadoop.tmp.dir
             file:/usr/local/hadoop/tmp
             Abase for other temporary directories.
        
        
             fs.defaultFS
             hdfs://localhost:9000
        

gedit ./etc/hadoop/hdfs-site.xml


        
             dfs.replication
             1
        
        
             dfs.namenode.name.dir
             file:/usr/local/hadoop/tmp/dfs/name
        
        
             dfs.datanode.data.dir
             file:/usr/local/hadoop/tmp/dfs/data
        

gedit ./etc/hadoop/hadoop-env.sh

修改java环境变量(你安装的位置) export JAVA_HOME=/lib/jdk1.8.0_171

执行 NameNode 的格式化:

./bin/hdfs namenode -format

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装_第1张图片

开启 NameNode 和 DataNode 守护进程

./sbin/start-dfs.sh

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装_第2张图片

启动完成后,可以通过命令 jps 来判断是否成功启动


关闭命令sbin/stop-dfs.sh

可以打开http://localhost:50070/查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装_第3张图片

七、安装mysql

第一次安装调用不出来mysql,所以决定卸载重安就可以了

sudo apt-get install mysql-server
sudo apt install mysql-client
sudo apt install libmysqlclient-dev

先清除之前的安装信息

sudo apt-get autoremove --purge mysql-server-5.0
sudo apt-get remove mysql-server
sudo apt-get autoremove mysql-server

sudo apt-get remove mysql-common 

清理残留数据

dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P

再次安装

sudo apt-get install mysql-server

sudo apt-get install mysql-client

设置mysql允许远程访问

终端输入sudo gedit /etc/mysql/mysql.conf.d/mysqld.cnf

注释掉bind-address = 127.0.0.1

在mysql中输入

grant all on *.* to root@'%' identified by '你的密码' with grant option;

flush privileges;

在终端中重启mysql

service mysql restart


八、复制这个ubuntu系统

右击ubuntu,选择“复制”,选择初始化mac地址,确定,“完全复制”,复制出两个新的ubuntu系统,命名为ubuntu2和ubuntu3

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装_第4张图片

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装_第5张图片

九、更改ubuntu2和ubuntu3的IP地址

复制出来的虚拟机IP地址是重复的,需要修改

在/etc/netplan中找到后缀名为.yaml的文件,打开终端

sudo gedit 01-network-manager-all.yaml

network:
    ethernets:
        enp0s3:
            addresses:
            - 192.168.0.2/20
            gateway4: 192.168.12.2
            nameservers:
                addresses:
                - 223.5.5.5
                search: []
            optional: true
    version: 2

保存退出,在终端中输入:sudo netplan apply,使之生效

在终端中输入ifconfig可查看ip

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装_第6张图片

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装_第7张图片

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装_第8张图片

三个虚拟机的ip分别是192.168.0.1,192.168.0.2,192.168.0.3


十、修改3个系统的主机名字

查看当前主机的主机名称:sudo /bin/hostname

设置当前主机的主机名称:sudo /bin/hostname newname

三个主机名字分别是master,slave1,slave2

定位到/etc,打开终端sudo gedit hosts

192.168.0.1    master
192.168.0.2    slave1
192.168.0.3    slave2

手动重启网络服务生效:sudo /etc/init.d/networking restart


十一、



十二、



参考:http://www.powerxing.com/install-hadoop/

你可能感兴趣的:(操作系统,虚拟机)