Mac os 安装hive3.1.2及报错解决方案

一、各版本号
mac os :10.14
Hadoop:3.2.1
Hive:3.1.2
mysql:8.0.18

二、安装前准备
（1）hadoop 和hive都是用brew install hadoop ,brew install hive的方式安装，因此需要先安装brew
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 下载
（2）mysql 下载
https://dev.mysql.com/downloads/mysql/
需要注意的是：下载与mac os版本对应的，不然在系统偏好设置中找不到，下载dmg的就可以

图片.png

（3）mysql-connect-java
https://downloads.mysql.com/archives/c-j/

图片.png

需要注意的是：需要下载与mysql对应的版本，不然会报错

好了，准备工作就是这些，下面可以开始安装了

三、安装hadoop
1、直接在终端输入 brew install hadoop，等待下载安装完成

2、ssh 免秘钥登录

ssh-keygen -t rsa 回车 需要按y的按y
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #将公钥添加，若之前报错了，需要将之前添加的删除了，再添加
chmod og-wx ~/.ssh/authorized_keys

然后重启终端，在命令行下输入>ssh localhost 如果不需要输密码即可进入，证明设置成功。如果仍需要输入密码，那可能是文件权限的问题，尝试执行 chmod 755 ~/.ssh

2、修改配置文件
cd /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop 在该目录下修改以下几个文件
（1）修改core-site.xml
vi core-site.xml
在 中间添加以下内容

hadoop.tmp.dir
file:/usr/local/Cellar/hadoop/3.2.1/tmp


fs.defaultFS
hdfs://localhost:8020

（2）修改hdfs-site.xml
添加以下内容

dfs.permissions.enabled
false


dfs.replication
1


dfs.namenode.name.dir
file:/usr/local/Cellar/hadoop/libexec/tmp/dfs/name


dfs.namenode.data.dir
file:/usr/local/Cellar/hadoop/3.2.1/tmp/dfs/data

四、配置hadoop的环境变量
vi ~/.bash_profile
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_241.jdk/Contents/Home
export HADOOP_HOME=/usr/local/Cellar/hadoop/3.2.1/libexec
export PATH=PATH
然后sourece ~/.bash_profile 使更改生效

五、格式化hdfs
cd /usr/local/Cellar/hadoop/3.2.1/bin
./hdfs namenode -format

六、启动hadoop
cd /usr/local/Cellar/hadoop/3.1.1/sbin
./start-dfs.sh

运行jps命令查看是否启动了

图片.png

NameNode: http://localhost:9870/ 节点打开

七、启动yarn
（1）修改配置文件 libexec/etc/hadoop/mapred-site.xml

mapreduce.framework.name

yarn

（2）修改配置文件 libexec/etc/hadoop/yarn-site.xml

mapreduce.framework.name

yarn


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.env-whitelist
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

（3）启动yarn
./start-yarn.sh

http://localhost:8088/

八、运行wordcount程序

第二部分：安装Mysql

mysql8.0 版本安装过程中，输入密码的时候需要注意 一定是字母+数字+符号的组合，不然安装的时候不会报错，等在终端运行的时候会登录不进

其他的就是配置Mysql的环境变量

在Mysql里创建hive的元数据库

图片.png

第三部分：安装Hive
（1）注意事项：
1、需要查看hive的 guava.*.jar 与hadoop的版本是否一致，若不一致，会提示大概guava类似的错误，此时只需要将高版本的覆盖低版本就行

2、需要将mysql-connect-java.jar包拷贝至/usr/local/Cellar/hive/3.1.2/libexec/lib
3、需要对数据库进行初始化
schematool -dbType mysql -initSchema
不然hive查询的时候回报错

4、hive-site.xml配置
true


javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/metastore

    javax.jdo.option.ConnectionDriverName
    com.mysql.cj.jdbc.Driver

javax.jdo.option.ConnectionUserName
root

　　
　　
javax.jdo.option.ConnectionPassword
password


hive.exec.local.scratchdir
/tmp/hive

4、至此，已全部配置完成，就可以启动hive了

图片.png