E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hiveserver
hive启动及基本操作
start-dfs.shstart-yarn.sh两种启动方式第一种:直接命令行输入hive第二种:先启动服务端:
hiveserver
2再启动客户端:beeline-ujdbc:hive2://master
罗德拉沃尔
·
2023-04-10 01:37
hive
big
data
hadoop
2、Hive:启动Hive
2启动Hive1)先启动hadoop集群2)启动Hive3)使用Hive4)开启另一个窗口测试开启hive3、使用JDBC方式访问Hive1)在hive-site.xml文件中添加如下配置信息2)启动
hiveserver
23
秋栗圆圆
·
2023-04-10 01:37
#
hive学习笔记
hive
hadoop
大数据
连接
HiveServer
2传递参数的几种方式
HiveServer
2(以下简称:HS2)是Hive提供的一种jdbc服务,用户可以通过Hive自带的Beeline连接,也可以使用Java、Python或者PHP等通过jdbc的方式连接。
BIGrey
·
2023-04-08 13:15
Hive3.1.3安装及部署
MySQL2.3.3卸载MySQL说明2.4配置Hive元数据存储到MySQL2.4.1配置元数据到MySQL2.4.2验证元数据是否配置成功2.4.3查看MySQL中的元数据2.5Hive服务部署2.5.1
hiveserver
2
一抹鱼肚白
·
2023-04-08 05:43
大数据
hive
大数据
hive mysql 失败_HIVE启动失败错误汇总
###1.
hiveserver
2启动后,beeline不能连接的涉及的问题:原因:权限问题解决:/user/hive/warehouse/tmp/history(如果配置了jobserver那么/history
weixin_28960699
·
2023-04-05 06:37
hive
mysql
失败
Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000
使用JDBC方式访问Hive时启动
hiveserver
2报错CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://hadoop102:10000:java.net.ConnectException
weixin_57597001
·
2023-04-04 04:24
hive
Flink 1.17 Flink-SQL-Gateway
HiveServer
2 源码分析
相关内容:Flink1.13源码解析目录汇总一、研究背景最近公司想通过JDBC的方式使用flinksqlgateway,Flink官方提供了
HiveServer
2的flink-sql-gateway使用方式
EdwardsWang丶
·
2023-04-03 08:41
Flink
源码解析
大数据平台-源码解析
大数据平台-日常运维
flink
sql
gateway
flink源码
flink1.16 系统集成了 sql gateway 功能
#flink1.16系统集成了sqlgateway功能,其中包括两种方式,1.rest2.
hiveserver
2#测试readwrite.hiveiceberg都可以#一、启动集群,standlone和
小皮蛋儿子
·
2023-03-31 00:02
大数据
flink
大数据
Hive架构
Hive架构客户端提交SQL作业到
HiveServer
2,
HiveServer
2会根据用户提交的SQL作业及数据库中现有的元数据信息生成一份可供计算引擎执行的计划。
zhuhaiqin
·
2023-03-23 19:05
hive
hive
大数据
IDEA 运行hql 出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas
启用的
hiveserver
2的模拟用户功能,依赖于Hadoop提供的
Chandler_5
·
2023-03-17 14:48
hadoop
hive
大数据
Sentry源码之
HiveServer
2鉴权过程
博客地址Sentry源码之
HiveServer
2鉴权过程Sentry架构简
一点点简单
·
2023-03-16 18:49
Hiveserver
2 java远程连接hive
关于Hive的安装和基本配置,在之前已经写过这次写怎么把hive应用到实际代码开发中首先要启动
hiveserver
2服务启动元数据服务hive--servicemetastore&启动
hiveserver
2hive
EmmaQin
·
2023-03-12 04:35
Spark读取Hive数据的两种方式与保存数据到HDFS
2、通过sparkjdbc的方式访问,就是通过链接
hiveserver
2的方式获取数
岁月的眸
·
2023-02-18 20:49
大数据
#
Spark总结
hive
spark
hdfs
Hive架构及搭建方式
Hive架构及搭建方式[TOC]前言本文档基于hive3.1.2编写hive的基础知识基本架构整个hive由
hiveserver
2和hive客户端组成hive客户端有三种,beeline、使用jdbc链接
西北偏北
·
2023-02-18 05:43
HiveServer
2无响应分析
场景描述我们在工作中有时候需要使用JDBC操作Hive,但最近经常出现每隔一段时间JDBC就超时没反应的情况。(这个问题和MetaStore内存溢出时的表现一模一样,关于MetaStore长时间没有响应的解决方案可以看我的另一篇文章中的第三个问题)问题追溯从以前的历史教训中,潜意识里第一个操作就是dumpHiveServer2的内存模型,然后MAT去分析。但是因为初次发现此问题的时候为了生产环境尽
GoofyWang
·
2023-02-03 16:16
谈谈Maven依赖原则及如何解决Maven依赖冲突
前言在大数据应用中,现在发现依赖关系非常复杂,在上线之前很长测试,前一段时间在部署udf出现了导致生产
Hiveserver
2宕机问题,出现严重事故。现在就咨询研究一下。
javastart
·
2023-01-31 11:03
java
hbase
java
hadoop
Kyuubi 解锁 Spark SQL on CDH 6
随着Spark3.0的重磅发布,在性能方面又迎来了一次飞跃,本文将描述把Spark3集成到CDH6.3.1(未开启Kerberos)的过程,并使用Kyuubi替换
HiveServer
2,实现OLAP、ETL
517001e7cb6e
·
2023-01-28 19:10
记一次Hive任务hang住的问题(1)
1问题背景beeline偶尔出现任务进程卡住,长时间等待无响应的情况.下面尝试进行分析及定位代码位置.2分析步骤2.1首先定位进程的这里我们很明确是
HiveServer
2进程:ps-ef|grephiveserver2
井地儿
·
2023-01-27 15:58
WARN jdbc.HiveConnection: Failed to connect to localhost:10000 Error: Could not open client trans...
在启动
hiveserver
2后,使用beeline远程连接:beeline-ujdbc:hive2://localhost:10000无法连接成功,并报如下错:WARNjdbc.HiveConnection
游侠_99999
·
2023-01-26 19:23
Unable to read
HiveServer
2 configs from ZooKeeper
UnabletoreadHiveServer2configsfromZooKeeper问题描述在HDP集群开启kerberos后,在连接Hive时报错:UnabletoreadHiveServer2configsfromZooKeeper产生原因原因可能很多,说不完,道不尽。但是,如果zookeeper是正常启动的话,归根结底,就一个:Hive的连接串中参数不对!!!可能的情况有:没有加keyta
Dennis985
·
2022-12-15 11:58
Kerberos
kerberos
zookeeper
ambari
hive
CentOS7搭建远程连接hive的JDBC的环境
hive远程连接JDBC的环境搭建一、环境二、先下载需要用到的环境三、开始安装四、配置文件五、使用beeline连接
hiveserver
2六、参考一、环境centos版本:7hive版本:2.3.7hadoop
BlueAutumn_7777
·
2022-12-13 13:11
心得分享
hive
big
data
hadoop
【大数据入门核心技术-Hive】(四)Hive3.1.2高可用集群搭建
部署版本三、集群规划四、MySQL安装五、Hive安装1、下载解压2、配置环境变量3、修改配置4、metastore配置5、下载mysql驱动包6、初始化MYSQL7、分发文件8、启动metastore9、
hiveserver
2
forest_long
·
2022-12-12 09:02
大数据技术入门到21天通关
大数据
hive
hadoop
zookeeper
big
data
Hive基本使用
showdatabases;3、切换数据库:usemydb;3.1访问Hive的方式3.1.1直接可以在客户端Hive进入见2.5.8启动hive客户端3.1.2使用JDBC方式先知道:beeline相当于客户端,
hiveserver
2
落叶飘雪2014
·
2022-11-29 16:09
Hive
Hive
大数据
Linux服务器搭建单机版Hive与搭建Hive集群
计算引擎Linux安装Hive下载Hive解压及重命名配置hive-env.sh创建hive-site.xml配置日志添加驱动包配置环境变量初始化数据库启动HiveHive的交互方式使用bin/hive使用
hiveServer
2
丨Jack_Chen丨
·
2022-11-20 10:10
大数据
hive
服务器
linux
hadoop
hdfs
spark打包jar连接hive数据源完整过程
1:启动hive.metastorenohuphive--servicemetastore&2:启动spark中thriftserver说明:经过测试如果直接启动hive中的
hiveserver
2然后启动
sunnyboy_4
·
2022-11-20 09:14
hadoop
hive
spark
jar
HiveServer
2 内存泄漏问题定位与优化方案
动手点关注干货不迷路前言
HiveServer
2属于Hive组件的一个服务,主要提供Hive访问接口,例如可通过JDBC的方式提交Hive作业,
HiveServer
2基于Java开发,整个服务运行过程中,
字节跳动技术团队
·
2022-11-07 11:19
数据库
大数据
分布式
java
mysql
Hive调优 |
HiveServer
2 性能优化与GC优化
一、问题描述开发者利用jdbc连接
hiveserver
2(或者利用jdbc连接sparkHiveThriftServer2,由于两者都是提供jdbc连接到hive,因此,后面都统一称为利用jdbc连接
hiveserver
2
大数据技术架构
·
2022-10-18 10:05
数据库
java
大数据
mysql
spark
CDH/CDP中开启kerberos后如何访问HDFS/YARN/
HIVESERVER
2 等服务的webui
CDH/CDP中开启kerberos后如何访问HDFS/YARN/
HIVESERVER
2等服务的webui在CDH/CDP等大数据平台中,当开启kerberos安全后,如何访问HDFS/YARN/
HIVESERVER
2
·
2022-09-29 10:52
大数据高级开发工程师——Hive学习笔记(1)
Hive的安装部署1.先决条件2.下载安装包3.解压4.修改配置文件5.修改日志配置文件6.拷贝mysql驱动包7.配置Hive的环境变量8.初始化元数据库9.验证安装10.通过beeline连接代理服务器
hiveserver
2
斗志昂-杨先生
·
2022-09-28 09:31
大数据
big
data
hadoop
hive
mysql
数据仓库
Hive数据仓库工具基本架构和入门部署详解
HadoopHDFS架构至上的数仓工具,管理元数据但本身不存储数据,本篇了解hive优缺点,进一步理解其组成部分和数据组织形式和Driver,最后通过部署最新版本3.1.3版本完成内嵌模式、本地metastore、远程
hiveserver
2
itxiaoshen
·
2022-09-10 11:00
Hive on Spark Error while processing statement: FAILED: Execution Error, return code 30041
CDH6.3.1Hive2.1.1Spark2.4.0-cdh6.3.1具体问题Hue上执行查询语句:SELECTcount(1)fromdop_test1.t_bill_reg_infohiveserver2如下图所示:[
HiveServer
2
bertramlau
·
2022-09-07 20:11
大数据
cloudera
spark
hive
大数据异常处理之蓝屏,断电导致mysql异常
蓝屏,断电导致mysql异常今天上午将近12点时,我的联想小新突然蓝屏重启,断电,当时开启着metastore与
hiveserver
2。
大数据小理
·
2022-08-31 21:39
大数据异常处理
杂文
mysql
mysql
大数据
hadoop
HiveServer
2 报错 OutOfMemoryError 解决思路
今天下午使用datagrip远程连接hive突然中断,无法连接,拒绝连接看了一下
hiveserver
2日志2022-08-0815:41:37,407Log4j2-TF-2-AsyncLogger[AsyncContext
band_mmbx
·
2022-08-23 17:16
hive
大数据
java
intellij-idea
数据结构
DataGrip数据仓库工具
需要用到jdbc协议连接hive,所以要启动
hiveserver
2点加号选database,可选择hivename是自己起的连接名,Host写
hiveserver
2所在的主机名服务器名
hiveserver
大数据小理
·
2022-08-10 13:32
大数据
数据仓库
数据仓库
hive
大数据
Hive基于UDF进行文本分词
Hive系列文章Hive表的基本操作Hive中的集合数据类型Hive动态分区详解hive中orc格式表的数据导入Java通过jdbc连接hive通过
HiveServer
2访问HiveSpringBoot
忍者1
·
2022-08-08 21:18
大数据
hive
数据仓库
udf
数仓4.0笔记——数仓环境搭建—— DataGrip准备和数据准备
1DataGrip准备1.1启动
HiveServer
2[zhang@hadoop102hive]$
hiveserver
21.2配置DataGrip连接启动DataGrip,创建连接配置连接属性所有属性配置
丝丝呀
·
2022-08-05 14:36
hive
大数据
hadoop
Hive Server 运行 SQL 慢排查手册
访问
HiveServer
运行SQL慢排查手册1.访问
HiveServer
运行SQL慢排查手册2.通过
HiveServer
运行SQL的整体架构3.分析
HiveServer
运行SQL慢的排查原则4.MYSQL
houzhizhen
·
2022-06-14 11:44
hive
hive
sql
数据库
第3节 hudi hive 数据同步,实现湖仓一体 cdh6.3.2存在版本兼容问题,spark可以查询HoodieParquetRealtimeInputFormat格式表,hive查询报错
对接hive(1)将Hudi目录编译好的hudi-hadoop-mr-bundle-0.9.0.jar,复制到hive的lib下让hive支持hudi,需要重启
hiveserver
2服务,或者不加入也可
第一次看海
·
2022-05-31 07:11
hudi
hive
spark
hudi
数据湖(五):Hudi与Hive集成
大数据联盟地址:https://bbs.csdn.net/forums/lanson文章目录Hudi与Hive集成一、配置
HiveServer
21、在Hive服务端配置hive-site.xml2、在每台
Lansonli
·
2022-05-31 07:39
数据湖技术
hive
hadoop
数据仓库
Hive(总)看完这篇,别说你不会Hive!
文章目录1.Hive入门1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理2.Hive安装2.1Hive安装2.2HiveJDBC访问2.2.1启动
hiveserver
2
子清.
·
2022-04-24 14:22
#
Hive
Hadoop
hive
大数据
Missing version in readMessageBegin
org.apache.thrift.protocol.TProtocolException:MissingversioninreadMessageBegin,17/11/1620:59:35[
HiveServer
2
·
2022-03-26 17:58
java
看SparkSQL如何支撑企业级数仓
Hive有JDBC客户端,支持标准JDBC接口访问的
HiveServer
2服务器,管理元数据服务的HiveMet
·
2022-02-21 12:54
数据库字节跳动
看SparkSql如何支撑企业数仓
Hive有JDBC客户端,支持标准JDBC接口访问的
HiveServer
2服务器,管理元数据服务的HiveMet
字节跳动数据平台
·
2022-02-21 12:00
HiveServer
2源码分析
本文基于hive-1.2.2源码Metastore模块在service目录下入口文件service/src/java/org/apache/hive/service/server/
HiveServer
2
david9
·
2022-02-18 07:24
Hive之同比环比的计算
Hive系列文章Hive表的基本操作Hive中的集合数据类型Hive动态分区详解hive中orc格式表的数据导入Java通过jdbc连接hive通过
HiveServer
2访问HiveSpringBoot
大数据技术派
·
2022-02-17 22:00
HiveServer
2运行慢,不定时宕机,问题排查
HiveServer
2运行慢,不定时宕机,问题排查文章目录
HiveServer
2运行慢,不定时宕机,问题排查1.问题描述2.原因分析(分析方法)3.解决方案总结1.问题描述大数据组件
HiveServer
2
spark_dev
·
2022-02-06 11:58
jvm
hiveserver2
hadoop
hive
big
data
大数据常用命令
markdown代码折叠】点击查看完整代码【Linux搜索指定文件类型的指定内容】grep-rin"9820"--include"*.xml"/export/server/【启动hive的metastore、
hiveserver
2
大数据小陈
·
2022-02-05 12:56
big
data
hive
linux
大数据
hadoop
启动hive2
版本:2.3.3首先启动metasotre:hive--servicemetastore&然后启动
hiveserver
2:
hiveserver
2&配置:hive客户端连接端口9083:hive.metastore.uristhrift
金刚_30bf
·
2022-02-03 02:23
Spark综合学习笔记(二十九)SparkSQL分布式SQL引擎
p=66说明Hive的SQL交互方式方式1∶交互式命令行(CLI)·bin/hive,编写SQL语句及DDL语句方式2:启动服务
HiveServer
2(HiveThriftServer2)·将Hive当做一个服务启动
斯特凡今天也很帅
·
2021-12-01 19:29
大数据
spark
scala
spark
big
data
scala
使用 JDBC 方式访问 Hive
1)在hive-site.xml文件中添加如下配置信息2)启动
hiveserver
2[atguigu@hadoop102hive]$bin/hive--servicehiveserver23)启动beeline
song_quan_
·
2021-11-23 16:35
Hive
hive
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他