第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)

1、hive数据源配置

(1)hive的多用户配置

hive本身不创建用户,用户就是linux的用户,

(2)打开hive的server服务

  • 第一步:运行hive下bin/hiveserver2脚本
./hiveserver2 

第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)_第1张图片

  • 第二步:新建xshell窗口
beeline

# 2、连接hive2
!connect jdbc:hive2://192.168.6.102:10000

# 3、输入用户名和密码
Enter username for jdbc:hive2://192.168.6.102:10000: atguigu
Enter password for jdbc:hive2://192.168.6.102:10000: ******

第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)_第2张图片

  • 第三步:打开hive的WEB端
hadoop102:10002

第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)_第3张图片

(3)海豚调度器创建资源
第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)_第4张图片

(3)常见问题

在这里插入图片描述

  • 问题原因
# 1、检查hiveserver是否启动
netstat -anp |grep 10000
  • 解决方式
启动hiveserver2

2、Spark数据源配置

(1)启动Spark thritfserver

sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10001 --master yarn --driver-cores 1 --driver-memory 1G --executor-cores 1 --executor-memory 1G -num-executors 2
  • 运行结果如下

第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)_第5张图片

(2)连接数据源

第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)_第6张图片

3、mysql数据源配置

(1)开启mysql服务

sudo systemctl start mysqld
  • 运行结果
    在这里插入图片描述
    (2)连接数据源

第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)_第7张图片

4、Oracle数据源配置

(1)将Oracle的ojdbc5.jar和ojdbc6.jar拷贝到lib目录

  • 注意:本机版版本为oracle11g
    在这里插入图片描述

(2)连接Oracle数据源

第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)_第8张图片

你可能感兴趣的:(#,hive,hadoop,big,data)