E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hiveserver
Hive客户端hive与beeline的区别
Hive-cli(hive)是Hive连接
hiveserver
2的命令行工具,从Hive出生就一直存在,但随着Hive功能的增强、BUG的修复及版本升级,Hive-cli结构的局限性已经
对许
·
2023-11-19 14:12
#
Hive
#
Hadoop生态圈
hive
hadoop
Hive插入数据警告:Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions
Hive插入表数据持续等待警告问题解决1、问题描述2、原因分析3、问题解决1、问题描述启动Hadoop,使用
hiveserver
2启动Hive的JDBC服务并使用IDE连接到Hive,创建表成功,但是INSERT
对许
·
2023-11-19 14:42
#
Hadoop生态圈
#
Hive
#
数据湖仓
hive
mr
hadoop
Hive 学习历程
Hive学习历程使用Hive时需要打开Hadoop集群以及
hiveserver
这里可以使用脚本来打开[hadoop@node02~]$all.shstart[hadoop@node02~]$hvservice.shstart
jasondde
·
2023-11-19 12:06
hive
学习
数据库
19.Hive外部表权限用Sentry管理
Sentry采用具有sudo权限的ec2-user用户进行操作19.2实验准备19.2.1外部表数据父目录创建使用hive用户登录Kerberos[root@ip-172-31-8-1411874-hive-
HIVESERVER
2
大勇任卷舒
·
2023-11-19 00:44
Hadoop
hive
sentry
hadoop
大数据
java
HiveServer
2 常见异常和处理方法
1.Connectiontimedoutjava.sql.SQLException:CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://localhost:10000/default:java.net.ConnectException:Connectiontimedout(Connectiontimedout)atorg.apache.hive.
houzhizhen
·
2023-11-15 11:54
hive
hive
Hive metastore 无法解析分区字段 is not null问题排查
metastore会根据
hiveserver
传过来的条件表达式进行解析,然后过滤不需要的分区。目前的问题是
hiveserver
传了一个'dat
疯狂哈丘
·
2023-11-15 10:28
hive
hive
Metastore
Hive问题排查
23年hadoop单机版+hive
文章目录说明分享环境信息安装jdkhadoop配置core-site.xmlmysqlhive安装配置hive-site.xml配置hive-env初始化mysql数据库启动验证hive命令
hiveserver
2
羽落风起
·
2023-11-12 01:36
hadoop
hive
硬件架构
云服务器安装Hive
文章目录1.安装Hive(最小化部署)2.MySQL安装3.Hive元数据配置到MySQL4.
HiveServer
2服务5.Metastore服务运行模式6.编写脚本来管理hive的metastore/
几窗花鸢
·
2023-11-07 22:19
hadoop
大数据应用
服务器
hive
分布式
hadoop
CDH/CDP中开启kerberos后如何访问HDFS/YARN/
HIVESERVER
2 等服务的webui
CDH/CDP中开启kerberos后如何访问HDFS/YARN/
HIVESERVER
2等服务的webui在CDH/CDP等大数据平台中,当开启kerberos安全后,如何访问HDFS/YARN/
HIVESERVER
2
明哥的IT随笔
·
2023-11-04 08:16
大数据平台
数据安全
hive
hdfs
hive
Could not connect to hadoop02:10000 (code THRIFTTRANSPORT): TTransportException
Couldnotconnecttohadoop02:10000(codeTHRIFTTRANSPORT):TTransportException(‘Couldnotconnecttohadoop02:10000’,)报错原因:由于
HiveServer
2
红叶゜
·
2023-10-30 07:28
报错
堆栈
hue集群
[jmx]zookeeper/kafka/hive/hadoop/presto/presto等组件的jmx监控汇集
文章目录背景注意事项——本文必读zookeeper的jmx监控配置hadoop的jmx监控kafka的jmx监控hive的jmx监控
hiveserver
2的jmx监控metastore的jmx监控kylin
王一1995
·
2023-10-23 20:19
运维
#
linux
大数据
大数据
java
kafka
Hadoop集群主节点迁移
主要目的是实现异地容灾主要迁移的服务有:•namenode(journalnodezkfc)•resourcemanager•
hiveserver
2•hivemetastore•hive元数据库mysql
卢说
·
2023-10-22 01:08
大数据
Hadoop
hadoop
大数据
分布式
Hive用户中文使用手册系列(四)
有关安装说明,请参阅设置
HiveServer
2:PythonClient驱动程序。
日复一日伐树的熊哥
·
2023-10-21 14:43
跟着熊哥学hive系列
hive
hadoop
数据仓库
大数据
Hive用户中文使用手册系列(三)
它支持对
HiveServer
2的嵌入式和remote访问。
日复一日伐树的熊哥
·
2023-10-21 08:32
跟着熊哥学hive系列
hive
hadoop
数据仓库
大数据
JDBC
tez作业运行慢
reducecontainer的日志初步结论继续排查container数量差异大分片计算异常结论问题现象:每天调度的一个任务在某天突然运行时长多了好几倍,平时30m左右,那天运行了4个小时多排查思路1.查看
hiveserver
zincooo
·
2023-10-21 07:14
线上问题
大数据
hive
hadoop3.2.1+hive3.1.2-docker安装
若与其它网段冲突,可省略)#指定固定ip号段dockernetworkcreate--driver=bridge--subnet=172.17.0.1/16hadoop建立Master容器,映射端口10000端口为
hiveserver
2
悢七
·
2023-10-21 00:52
安装部署
docker
hadoop
大数据
开启 kerberos 后,
HiveServer
2 的 webui 没有内容的解决方案
开启kerberos后,
HiveServer
2的webui没有内容。页面如下,可以打开,但是即便已经有会话,也有SQL执行,这里一直这样。
houzhizhen
·
2023-10-20 08:11
hive
hive
HiveServer
2负载均衡
有多个
HiveServer
2服务时,可以借助Zookeeper服务实现访问
HiveServer
2的负载均衡,将
HiveServer
2的压力分担到多个节点上去。
墨卿风竹
·
2023-10-18 19:49
负载均衡
运维
hadoop
hiveserver2
hue实现对
hiveserver
2 的负载均衡
如果你使用的是CDH集群那就很是方便的在ClouderaManager中,进入HDFSService进入Instances标签页面,点击AddRoleInstances按钮,如下图所示点击Continue按钮,如下图所示返回Instances页面,选择HttpFS角色,并点击Start启动服务,如下图所示HttpFS服务启动后,点击进入HueService>Configuration页面,如下图所
墨卿风竹
·
2023-10-18 19:12
负载均衡
运维
集群
hue
hadoop
cdh
83.Hive Load本地数据文件异常解决
83.1问题情况beeline登录
HiveServer
2向my_table表Load本地数据文件时报如下异常:命令:LOADDATAINPATH'/data/a.txt'OVERWRITEINTOTABLEmy_table
大勇任卷舒
·
2023-10-16 11:05
Hadoop
hive
服务器
运维
【大数据】Hive入门➕安装(尚硅谷大数据Hive 3.1.3教程)
Hive本质1.2.Hive架构原理二、Hive3.1.3安装1.最小化安装部署(仅适合学习测试)2.安装MySQL3.卸载MySQL4.配置Hive元数据存储到MySQL中5.Hive服务部署5.1.
hiveserver
2
欧叶冲冲冲
·
2023-10-16 06:27
Hive
大数据
hive
hadoop
数据库
学习
笔记
数据仓库
【大数据】Hive查询(select 1)源代码分析详解
查询结果总共花费了0.5毫秒日志2021-02-03T10:50:05,288INFO[
HiveServer
2-Handler-Pool:Thread-83393]:conf.HiveConf(HiveConf.java
笑起来贼好看
·
2023-10-15 12:05
大数据
Hive
Spark
hive
大数据
hadoop
Windows下DataGrip连接Hive
DataGrip连接Hive1.启动Hadoop2.启动
hiveserver
2服务3.启动元数据服务4.启动DG1.启动Hadoop在控制台中输入start-all.cmd后,弹出下图4个终端(注意终端的名字
干干脆脆的小饼干6688
·
2023-10-15 00:04
大数据
hive
hadoop
数据仓库
hive on spark僵死问题分析
Memory:6TCPU:1600c存储:600T文件系统:HDFS运算组件:hiveonspark权限管理:sentry问题描述:为经分系统分配完租户在运行SPARK作业的时候,会重现任力僵死的情况,后台
hiveserver
2
baker_dai
·
2023-10-14 14:59
Hive架构与源码分析(整理版)
①其中,最常用的是CLI,即Shell命令行;②JDBC/ODBCClient是Hive的Java客户端,与使用传统数据库JDBC的方式类似,用户需要连接至
HiveServer
;③WebUI是通过浏览器访问
Swordfall
·
2023-10-11 14:54
数据库
大数据
hive
mysql
java
HiveServer
2 Service Crashes(
hiveServer
2 服务崩溃)
TroubleshootingHive|5.9.x|ClouderaDocumentation原因:别人用的都好好的,我的集群为什么会崩溃?1.hive分区表太多(这里没有说具体数量。)2.并发连接太多,我记的以前默认是200个连接3.复杂的hive查询访问表的的分区4.hs2实例数太少如果存在这些情况中的任何一种,Hive可能运行缓慢,或者可能崩溃,因为整个HS2堆内存已满。现象:如果堆内存满了
cclovezbf
·
2023-10-08 06:14
cdp
hiveserver2
Hive beeline常用操作
目录1beeline连接hive2退出beeline3清屏4遇到的问题1beeline连接hive两种方式,都需要先启动
hiveserver
2hive--servicehiveserver2&一条命令beeline-ujdbc
BD_Marathon
·
2023-10-04 17:18
Hive
hive
【Ambari】银河麒麟V10 ARM64架构_安装Ambari2.7.6&HDP3.3.1问题总结
✨一、版本信息二、问题总结2.1Ambari安装组件版本获取问题2.2
hiveserver
2启动问题2.3、HBase问题2.4Ranger启动
开着拖拉机回家
·
2023-09-30 09:28
#
【====
Ambari
====】
ambari
HDP
hiveserver2
ranger
hive
大数据从入门到精通(超详细版)之
HiveServer
2的使用
前言嗨,各位小伙伴,恭喜大家学习到这里,不知道关于大数据前面的知识遗忘程度怎么样了,又或者是对大数据后面的知识是否感兴趣,本文是《大数据从入门到精通(超详细版)》的一部分,小伙伴们如果对此感谢兴趣的话,推荐大家按照大数据学习路径开始学习哦。以下就是完整的学习路径哦。↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓大数据从入门到精通文章体系!!!!!!!!!!!!!!↑↑↑↑↑↑↑↑↑↑
木 木 水.
·
2023-09-24 09:28
大数据从入门到精通(超详细版)
hive
hadoop
数据仓库
HIVE笔记
HiveServicesHive服务端,客户端必须通过服务端与Hive交互,主要包括:用户接口组件(CLI,
HiveServer
,HWI),它们分别以命令行、与web的形式连接H
haobu枳
·
2023-09-24 04:48
hive
hadoop
笔记
Hive集群高可用配置与impala集群高可用配置
Hive高可用配置与impala高可用1.
HiveServer
2高可用及Metastore高可用使用Zookeeper实现了
HiveServer
2的HA功能(ZooKeeperServiceDiscovery
岁月的眸
·
2023-09-23 12:59
大数据
#
Hive总结
hive
hadoop
数据仓库
dbeaver的连接超时(Connection timed out: connect)
项目场景:
hiveserver
2启动了,虚拟机里能启动beeline,并且能连接hive2,但是就是连接不了win上的dbeaver问题描述:CouldnotopenclienttransportwithJDBCUri
空气城堡
·
2023-09-23 08:22
笔记
dbeaver
linux
hive
Hive 的权限管理
目录编辑一、Hive权限简介1.1hive中的用户与组1.1.1用户1.1.2组1.1.3角色1.2使用场景1.2.1hivecli1.2.2
hiveserver
21.2.3hcatalogapi1.3
夜夜流光相皎洁_小宁
·
2023-09-21 12:34
大数据
#
Hive
#
hadoop
hive
hadoop
数据仓库
大数据
hive 以beeline的模式启动
hive以beeline的模式启动beeline启动之前先确保,metastore以及
hiveserver
2服务已经启动hive启动元数据服务nohuphive--servicemetastore&hive
weixin_49719367
·
2023-09-20 22:07
hadoop
hive
spark
hiveserver
2 和beeline_Beeline连接
Hiveserver
2错误
错误定位最近给hadoop集群配置了kerberos认证,之后准备配置sentry进行权限管理。安装并启用sentry服务后需要在beeline进行Grant等授权操作。NotethatsinceHiveCLIdoesnotworkwithHiveServer2,itcannotbeusedtoconfigureSentrypermissions.在启用sentry之前基本都用的HiveCLI,所
weixin_39633134
·
2023-09-20 22:36
hiveserver2
和beeline
解决hive客户端连接服务端报错“Required field ‘client_protocol‘ is unset! ” 的问题
当用hive客户端去连接服务端时,注意客户端的hive-jdbc的version要和
hiveServer
的version要保持一致哦。
wowXiaoCheng808
·
2023-09-20 22:34
大数据
hadoop
hive3.X的
HiveServer
2 内存泄漏问题定位与优化方案(bug)
参考文档:https://juejin.cn/post/7141331245627080735?searchId=20230920140418F85636A0735C03971F71官网社区:https://issues.apache.org/jira/browse/HIVE-22275InthecasethatmultiplestatementsarerunbyasingleSessionbef
墨卿风竹
·
2023-09-20 19:00
bug
hadoop
hive
spark
hiveserver2
[hive]搭建hive3.1.2
hiveserver
2高可用可hive metastore高可用
参考:Apachehive3.1.2从单机到高可用部署
HiveServer
2高可用Metastore高可用hiveonsparkhiveserver2webUI高可用集群启动脚本_薛定谔的猫不吃猫粮的博客
胖胖学编程
·
2023-09-20 05:34
hive
hive
hadoop
数据仓库
Hive 数据仓库介绍
架构2.1架构图2.2架构组件说明2.2.1Interface2.2.1.1CLI2.2.1.2JDBC/ODBC2.2.1.3WebUI2.2.2MetaData2.2.3MetaStore2.2.4
Hiveserver
22.2.5Driver2.2.5.1
夜夜流光相皎洁_小宁
·
2023-09-20 00:29
#
Hive
大数据
数据仓库
hive
hadoop
Hive 三种连接方式(CLI、
HiveServer
2/beeline(常用)、Web UI)及基本命令使用入门
Hive三种连接方式(CLI、
HiveServer
2/beeline(常用)、WebUI)及基本命令使用入门1、Hive使用方式,即三种连接方式1.1、CLI1.2、
HiveServer
2/beeline
.道不虚行
·
2023-09-18 18:39
hadoop
hive
hive连接方式
hive基本命令操作
SQL练习题二十一-Hive练习题
其中的题目都是常规题,较好的巩固了casewhen语法高级聚合函数行转列/列转行窗口函数/窗口大小hive远程连接步骤:要开启hdfs和hive的元数据管理,后台运行hive--servicemetastore&
hiveserver
2&
冰菓_
·
2023-09-17 12:07
Hive【Hive(一)DDL】
从DataGrip或者其他外部终端连接Hive需要先打开Hive的metastore进程和
hiveserver
2进程。
让线程再跑一会
·
2023-09-17 09:11
Hive
hive
hadoop
数据仓库
hive操作
Hive启动类功能说明命令启动
hiveserver
2服务bin/
hiveserver
2启动beelinebin/beeline连接
hiveserver
2beeline>!
球场程序员
·
2023-09-16 06:04
hive
任务长期不释放和占用单节点持续的cpu,导致hivesever2本身内存泄漏造成
任务长期不释放和占用单节点持续的cpu,导致hivesever2本身内存泄漏造成产生的原因在于:查询过于复杂或者数据量过大:当有复杂的查询或处理大量数据的请求时,
HiveServer
2可能会出现高负载。
墨卿风竹
·
2023-09-14 06:02
hive
hiveserver2
hadoop
spark
kyuubi
Hive——数据库、表的增删改查 (每一步详细代码加截图,傻瓜式教程)
hdfs路径设置为hive110/warehouse启动hadoophdfsdfs-chmod-R777/hive110给所有组加最高权限,方便以后操作登录hive,这里我直接使用本地登录,也就不适用
hiveserver
2
数据孤岛
·
2023-09-13 04:50
Hive
hive
大数据--python远程连接Hive
步骤:启动metastore启动
hiveserver
2使用beeline进行连接测试,查看地址等是否能够成功连接(确认无误可以跳过)使用python连接hive(粗暴的文件配置以及完整操作见文末)一.启动
脑袋凉凉
·
2023-09-11 01:37
大数据
hive
大数据
hadoop
数据仓库
分布式
Hadoop生态圈中的Hive数据仓库技术
的架构组成三、Hive和数据库的区别四、Hive的安装部署五、Hive的基本使用六、Hive的元数据库的配置问题七、Hive的相关配置项八、Hive的基本使用方式1、Hive的命令行客户端的使用2、使用
hiveserver
2
Augenstern K
·
2023-09-10 01:46
Hadoop
hadoop
数据仓库
hive
0401hive入门-hadoop-大数据学习.md
文章目录1Hive概述2Hive部署2.1规划2.2安装软件3Hive体验4Hive客户端4.1
HiveServer
2服务4.2DataGrip5问题集5.1CouldnotopenclienttransportwithJDBCUri
gaog2zh
·
2023-09-06 17:43
#
hive
大数据
hadoop
hive
记一次端口不释放的问题
案例:线上
HiveServer
2发生故障:大量任务hang住,经排查是因为服务器没有可用的端口分配造成的。进一步排查发现,存在大量状态为CLOSE_WAIT的50010端口连接。
井地儿
·
2023-09-05 21:58
hiveserver
2经常挂断的原因
hiveserver
2经常挂断的原因
HiveServer
2经常挂断可能有多种原因,以下是一些可能导致挂断的常见原因:资源不足:
HiveServer
2需要足够的内存和CPU资源来处理查询请求。
墨卿风竹
·
2023-09-05 20:23
hadoop
hive
hiveserver2
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他