Mac Catalina安装配置hadoop hive hbase（ 完整可用版）

网上看了很多文章都不完整，所以亲自写一遍。

brew 安装

brew reinstall hadoop hive hbase

---

hadoop配置与操作

进入主目录：

/usr/local/Cellar/hadoop/3.1.2

配置文件都在/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop

1.修改hadoop-env.sh中的JAVA_HOME

运行：

/usr/libexec/java_home

查看

2.core-site.xml

    

        hadoop.tmp.dir

        /usr/local/Cellar/hadoop/hdfs/tmp

        A base for other temporary directories

    

    

        fs.default.name

        hdfs://localhost:9000

    

3.hdfs-site.xml

变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode，将此值修改为1

    

        dfs.replication

        1

    

4.格式化(进入主目录)

格式化hdfs操作只要第一次才使用，否则会造成数据全部丢失

./bin/hdfs namenode -format

启动

注意路径，一定要在安装的根目录下操作，否则会失败

/usr/local/Cellar/hadoop/3.1.2

启动关闭hadoop

./sbin/start-dfs.sh

./sbin/stop-dfs.sh

查看hadoop

http://localhost:9870/

启动关闭hadoop的资源管理（没怎么用过，启动过程没有）

./sbin/start-yarn.sh

./sbin/stop-yarn.sh

查看yarn

http://localhost:8088/cluster

 

启动/关闭Hadoop服务(等效上面两个，但没怎么用过)

./start-all.sh

./stop-all.sh

创建目录（未使用）

./bin/hdfs dfs -mkdir /user

这里的/user不是mac的/user，指的是hdfs的路径。

./bin/hdfs dfs -mkdir /user/input

---

 

hbase操作（非必须安装）

/usr/local/Cellar/hbase/1.3.4

一定要在安装目录下

./bin/start-hbase.sh

./bin/stop-hbase.sh

---

 

hive安装与使用（结合上面的hadoop）

安装

brew install hive

查看HIVE_HOME

/usr/local/Cellar/hive/3.1.2

配置，使用mysql做metastore

放mysql jdbc 连接包

mysql-connector-java-5.1.27.jar

放到$HIVE_HOME/libexec/lib/下

下载地址：

https://dev.mysql.com/downloads/connector/j/5.1.html

进入mysql

mysql -uroot -p

create database metastore;

修改配置文件

cd $HIVE_HOME/libexec/conf/

cp hive-default.xml.template hive-site.xml

vi hive-site.xml

修改如下：

 

数据库相关

    javax.jdo.option.ConnectionUserName

    root





    javax.jdo.option.ConnectionPassword

    yourpassword123456





    javax.jdo.option.ConnectionURL

    jdbc:mysql://localhost/metastore





    javax.jdo.option.ConnectionDriverName

    com.mysql.jdbc.Driver

hive文件目录

    hive.exec.scratchdir

    /tmp/hive





    hive.exec.local.scratchdir

    /tmp/hive





    hive.downloaded.resources.dir

    /tmp/hive





    hive.querylog.location

    /tmp/hive





    hive.server2.logging.operation.log.location

    /tmp/hive





    hive.query.results.cache.directory

    /tmp/hive/_resultscache_

 

初始化数据库

$HIVE_HOME/bin/schematool -dbType msyql -initSchema

启动Hive 的 Metastore Server服务进程（重要）

$HIVE_HOME/bin/hive --service metastore &

起动

hive

检查

hive>show tables;

安装配置中遇到问题，欢迎留言交流。