Archlinux/Manjaro 安装 MariaDB Hadoop Hive (伪分布式)

Hadoop 2.x.y（伪分布式）

参考官网对应版本的文档的 single node setup 部分
https://hadoop.apache.org/docs/

首先要有 ssh 和 rsync

然后下载 bin 包并解压，把解压的根目录添加为环境变量 HADOOP_HOME

# 例
export HADOOP_HOME=/home/yzj/Applications/hadoop/hadoop-2.10.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改 HADOOP_HOME/etc/hadoop/hadoop-env.sh

# set to the root of your Java installation
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk
# Java 路径 可由 whereis java 命令找到

修改 HADOOP_HOME/etc/hadoop/core-site.xml


    
        fs.defaultFS
        hdfs://localhost:9000

修改 HADOOP_HOME/etc/hadoop/hdfs-site.xml


    
        dfs.replication
        1
    
    
        hadoop.tmp.dir
        /home/yzj/Applications/hadoop/hadoop-2.10.0/tmp

设置 ssh

启动 ssh 服务: sudo systemctl start sshd.service
先看看不输入密码能否 ssh 到 localhost: ssh localhost
不行的话

ssh-keygen -t rsa -P '' -f ~/.ssh/id\_rsa
cat ~/.ssh/id\_rsa.pub >> ~/.ssh/authorized\_keys
chmod 0600 ~/.ssh/authorized\_keys

修改 HADOOP_HOME/etc/hadoop/mapred-site.xml


    
        mapreduce.framework.name
        yarn

修改 HADOOP_HOME/etc/hadoop/yarn-site.xml


    
        yarn.nodemanager.aux-services
        mapreduce\_shuffle

格式化 hdfs

$HADOOP_HOME/bin/hdfs namenode -format

运行 hdfs

$HADOOP_HOME/sbin/start-dfs.sh

创建 user 文件夹

$HADOOP_HOME/bin/hdfs dfs -mkdir /user

创建用户文件夹

$HADOOP_HOME/bin/hdfs dfs -mkdir /user/
# 与 linux 当前用户相对应 eg. hdfs dfs -mkdir /user/yzj

运行 yarn

$HADOOP_HOME/sbin/start-yarn.sh

在 localhost:50070 下访问 hdfs，在 localhost:8088 下访问 yarn

退出

$HADOOP_HOME/sbin/stop-yarn.sh

MariaDB

https://wiki.archlinux.org/index.php/MariaDB

安装 MariaDB

sudo pacman -S mariadb

安装完后执行

sudo mysql\_install\_db --user=mysql --basedir=/usr --datadir=/var/lib/mysq

开启 mysql 服务

sudo systemctl start mariadb.service

执行

sudo mysql\_secure\_installation

过程中需要为 root 用户设置密码，并且要保留 test 数据库

以 root 用户登录 mysql

sudo mysql -u root -p

登录后从 none 切换到 mysql 数据库，确保存在一个数据库

use mysql;

更新权限

grant all on *.* to 'root'@'%' identified by '你的密码';
grant all on *.* to 'root'@'localhost' identified by '你的密码';

刷新

flush privileges;

退出

quit;

Hive 2.x.y

https://blog.csdn.net/qq_37106028/article/details/78247727
https://blog.csdn.net/Handoking/article/details/81388143

下载并解压 bin 包，设置环境变量

# 例
export HIVE_HOME=/home/yzj/Applications/hadoop/hive-2.3.6
export PATH=$PATH:$HIVE_HOME/bin

创建配置文件

cp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh
cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml
cp $HIVE_HOME/conf/hive-log4j2.properties.template $HIVE_HOME/conf/hive-log4j2.properties
cp $HIVE_HOME/conf/hive-exec-log4j2.properties.template $HIVE_HOME/conf/hive-exec-log4j2.properties

修改 hive-env.sh

JAVA_HOME=/usr/lib/jvm/java-8-openjdk
HADOOP_HOME=$HADOOP_HOME
HIVE_HOME=$HIVE_HOME

修改 hive-site.xml


    javax.jdo.option.ConnectionURL
    jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true


    javax.jdo.option.ConnectionDriverName
    com.mysql.cj.jdbc.Driver


    javax.jdo.option.ConnectionUserName
    root


    javax.jdo.option.ConnectionPassword
    自行修改


    datanucleus.schema.autoCreateAll
    true


    hive.querylog.location
    设置一个持久化目录
    


    hive.exec.local.scratchdir
    同上


    hive.downloaded.resources.dir
    同上

复制驱动文件 mysql-connector-java-8.x.y.jar 到 HIVE_HOME/lib 目录下，下载地址 http://central.maven.org/maven2/mysql/mysql-connector-java/

删除 HADOOP_HOME/share/hadoop/yarn/lib 目录下的 jline jar 包，用 HIVE_HOME/lib 下的 jline jar 包替代（Hadoop 对应目录下没有 jline jar 包可以不做这一步）

source /home/yzj/Applications/hadoop/hive-2.3.6/scripts/metastore/upgrade/mysql/hive-schema-2.3.0.mysql.sql;

终端执行

sudo schematool -dbType mysql -initSchema

启动 hive (先启动 hadoop)

$HIVE_HOME/bin/hive

Archlinux/Manjaro 安装 MariaDB Hadoop Hive (伪分布式)

Hadoop 2.x.y（伪分布式）

MariaDB

Hive 2.x.y

你可能感兴趣的:(linux,mysql,hadoop)