E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HiveServer2
Hive——数据库、表的增删改查 (每一步详细代码加截图,傻瓜式教程)
hdfs路径设置为hive110/warehouse启动hadoophdfsdfs-chmod-R777/hive110给所有组加最高权限,方便以后操作登录hive,这里我直接使用本地登录,也就不适用
hiveserver2
数据孤岛
·
2023-09-13 04:50
Hive
hive
大数据--python远程连接Hive
步骤:启动metastore启动
hiveserver2
使用beeline进行连接测试,查看地址等是否能够成功连接(确认无误可以跳过)使用python连接hive(粗暴的文件配置以及完整操作见文末)一.启动
脑袋凉凉
·
2023-09-11 01:37
大数据
hive
大数据
hadoop
数据仓库
分布式
Hadoop生态圈中的Hive数据仓库技术
的架构组成三、Hive和数据库的区别四、Hive的安装部署五、Hive的基本使用六、Hive的元数据库的配置问题七、Hive的相关配置项八、Hive的基本使用方式1、Hive的命令行客户端的使用2、使用
hiveserver2
Augenstern K
·
2023-09-10 01:46
Hadoop
hadoop
数据仓库
hive
0401hive入门-hadoop-大数据学习.md
文章目录1Hive概述2Hive部署2.1规划2.2安装软件3Hive体验4Hive客户端4.1
HiveServer2
服务4.2DataGrip5问题集5.1CouldnotopenclienttransportwithJDBCUri
gaog2zh
·
2023-09-06 17:43
#
hive
大数据
hadoop
hive
记一次端口不释放的问题
案例:线上
HiveServer2
发生故障:大量任务hang住,经排查是因为服务器没有可用的端口分配造成的。进一步排查发现,存在大量状态为CLOSE_WAIT的50010端口连接。
井地儿
·
2023-09-05 21:58
hiveserver2
经常挂断的原因
hiveserver2
经常挂断的原因
HiveServer2
经常挂断可能有多种原因,以下是一些可能导致挂断的常见原因:资源不足:
HiveServer2
需要足够的内存和CPU资源来处理查询请求。
墨卿风竹
·
2023-09-05 20:23
hadoop
hive
hiveserver2
Hive SQL 优化大全(参数配置、语法优化)
MapJoin服务器环境说明机器名称内网IP内存CPU承载服务master192.168.10.1084NodeManager、DataNode、NameNode、JobHistoryServer、Hive、
HiveServer2
月亮给我抄代码
·
2023-09-02 11:51
hive
sql
hadoop
大数据
数据仓库
Hadoop
nodomanager
Hive3第二章:简单交互
系列文章目录Hive3第一章:环境安装Hive3第二章:简单交互文章目录系列文章目录前言一、jdbc连接hive1.配置修改2.启动
hiveserver2
二、脚本封装1.编辑脚本2.运行脚本三、命令行交互
超哥--
·
2023-08-30 08:34
hive
hive
hadoop
大数据
Hive 远程连接配置
thrift.bind.host如果存在则修改value值为本机域名或iphive.server2.thrift.bind.hostsyq-jtj-jzjxyth-yycx3Bindhostonwhichtorunthe
HiveServer2
Thriftservice
爱当厨子的小章同学
·
2023-08-26 16:37
#
hive
hive
Linux配置hive(远程模式)
首先:配置好三台虚拟机、免密、hadoop我这边用node、node1、node2远程模式:将hive中的相关进程比如
hiveserver2
或者metastore这样的进程单独开启,使用客户端工具或者命令行进行远程连接这样的服务
小果叮123
·
2023-08-26 16:36
大数据
hive
linux
hadoop
配置开启Hive远程连接
配置开启Hive远程连接Hive远程连接默认方式远程连接Hive自定义身份验证类远程连接Hive权限问题额外说明Hive远程连接要配置Hive远程连接,首先确保
HiveServer2
已启动并监听指定的端口
CodeDevMaster
·
2023-08-26 16:04
大数据
hive
hadoop
数据仓库
远程连接
Hive面试自学版
2.描述一下Hive的架构模型答案1客户端->Hive/
HiveServer2
->MetaStore->
叫我莫言鸭
·
2023-08-26 04:30
大数据
hive
hive
面试
hadoop
DataGrip 配置
HiveServer2
远程连接访问(含账号密码验证)
文章目录编译
HiveServer2
账号密码鉴权类集群配置
HiveServer2
服务DataGrip配置
HiveServer2
访问Hive编译
HiveServer2
账号密码鉴权类如果你不想通过账号密码的方式使用
月亮给我抄代码
·
2023-08-23 05:13
大数据
数据分析
hive
DataGrip
hiveserver2
Hive Cli /
HiveServer2
中使用 dayofweek 函数引发的BUG!
文章目录前言dayofweek函数官方说明BUG重现SparkSQL中的使用总结前言使用的集群环境为:hive3.1.2spark3.0.2dayofweek函数官方说明dayofweek(date)-Returnsthedayoftheweekfordate/timestamp(1=Sunday,2=Monday,…,7=Saturday).根据所给日期,返回该日期对应的周几数字,如:周日——1
月亮给我抄代码
·
2023-08-23 05:10
hive
sql
大数据
spark
sql
数据仓库
hive-无法启动
hiveserver2
启动
hiveserver2
没有反应,客户端也无法连接(beeline-ujdbc:hive2://node01:10000-nroot)报错如下查看hive的Log日志,发现如下报错如何解决在hive的
owl_hub
·
2023-08-19 20:57
大数据Debug
hive
hadoop
数据仓库
Python 3 使用Hive 总结
启动
HiveServer2
服务
HiveServer2
是一种可选的Hive内置服务,可以允许远程客户端使用不同编程语言向Hive提交请求并返回结果。
在奋斗的大道
·
2023-08-19 15:41
Python之降龙十八掌
python
学习笔记
hive
hadoop
数据仓库
(十七)大数据实战——Hive的
hiveserver2
服务安装部署
前言
HiveServer2
是ApacheHive的一个服务器端组件,用于支持客户端与Hive进行交互和执行查询。
北溟溟
·
2023-08-15 11:28
大数据
大数据
hive
(十八)大数据实战——Hive的metastore元数据服务安装
前言Hive的metastore服务作用是为HiveCLI或者
Hiveserver2
提供元数据访问接口。
北溟溟
·
2023-08-15 11:28
大数据
大数据
hive
Hive 基本操作
启动【start-dfs.sh】[x]yarn启动【start-yarn.sh】[x]mysql是否启动【servicemysqldstatus】-启动命令【servicemysqldstart】[x]
hiveserver2
袭明
·
2023-08-11 16:46
一百四十八、Kettle——Linux上安装的kettle8.2连接Hive3.1.2
已经安装好kettle并可以启动kettle(二)版本:kettle8.2.0Hive3.1.2Hadoop3.1.3(三)在Kettle连接Hive之前,Hadoop和Hive必须安装好(四)Hive的
hiveserver2
天地风雷水火山泽
·
2023-08-08 04:55
Kettle
kettle
hive
配置Hive远程服务详细步骤
HiveServer2
支持多客户端的并发和认证,为开放API客户端如JDBC、ODBC提供了更好的支持。
飘羽
·
2023-08-07 10:30
hive
hadoop
数据仓库
黑马大数据学习笔记4-Hive部署和基本操作
目录思考规划安装MySQL数据库修改root用户密码配置Hadoop下载解压Hive提供MySQLDriver包配置Hive初始化元数据库启动Hive(使用Hadoop用户)Hive体验
HiveServer2
HiveServer2
蓝净云
·
2023-08-07 10:52
大数据
大数据
学习
笔记
Kettle8.2实现抽取文件到Hive
Kettle8.2实现抽取文件到Hive一、Hadoop2.7.3安装(安装略)二、Hive的安装及准备工作1、Hive的安装(本地模式)2、启动
hiveserver2
服务3、创建weblogs表三、案例演示
若兰幽竹
·
2023-08-05 08:35
Kettle
大数据
hadoop
Kettle
Hive
Hiveserver2
OOM 问题排查记录
问题现象生产环境
hiveserver2
使用过程中占用大量内存,甚至将内存上限增大到32G左右后
hiveserver2
仍会达到内存上限。
AlienPaul
·
2023-08-03 15:19
【hive】Install hive using mysql as hive metadata service
文章目录一.Requirements二.InstallingHivefromaStableRelease三.RunningHive四.RunningHiveCLI五.Running
HiveServer2
andBeeline1
roman_日积跬步-终至千里
·
2023-08-02 09:34
hive
hive
mysql
hadoop
实训笔记7.28
实训笔记7.287.28笔记一、Hive的基本使用1.1Hive的命令行客户端的使用1.2Hive的JDBC客户端的使用1.2.1使用前提1.2.2启动
hiveserver2
1.2.3使用方式1.3Hive
cai-4
·
2023-07-29 06:13
实训
笔记
大数据
mapreduce
Kyuubi入门简介
一、官方简介HOME—ApacheKyuubi二、概述1、一个企业级数据湖探索平台2、一个高性能的通用JDBC和SQL执行引擎3、一个基于spark的查询引擎服务三、优点1、提供
hiveserver2
查询
偷代码的猫
·
2023-07-27 06:02
大数据
Hadoop集成Hive
,可根据自己的需求,改为IP地址环境服务器组件masterNameNode、DataNode、Nodemanager、ResourceManager、Hive、Hive的metastore、Hive的
hiveserver2
爬树的小蚂蚁
·
2023-07-24 19:17
hadoop
hive
大数据
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hiveserver2
中运行命令报错ExecutionErrorreturncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask解决办法、1、调大虚拟机内存
聚精会神搞学习
·
2023-07-22 10:08
大数据
hadoop
hive
yarn
linux
Hive调优及参数优化(详细版)
1Hive参数优化1.1Hive基础配置1.1.1
HiveServer2
的Java堆栈
Hiveserver2
异常退出,导致连接失败的问题。解决方法:修改
HiveServer2
的Java堆栈大小。
奇迹虎虎
·
2023-07-15 04:45
#
Hive
hive
hadoop
big
data
大数据
常见的bug---3、没有启动metaStore和
Hiveserver2
服务导致在本机上的IDEA无法连接上虚拟机上的HIve
这里写目录标题问题描述原因分析:解决方案:问题描述在IEDA连接虚拟机上的Hive报的Exceptioninthread“main”org.apache.spark.sql.AnalysisException:org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiate
星光下的赶路人star
·
2023-07-13 19:08
Bug学习
bug
intellij-idea
hive
java
HA-hadoop-3.2.1下配置hive-3.1.2的hive及
hiveserver2
1.下载解压apache-hive-3.1.2-bin.tar.gz[xiaokang@hadoop01~]$tar-zxvfapache-hive-1.2.2-bin.tar.gz-C/opt/software/2.配置环境变量[xiaokang@hadoop01~]$sudovim/etc/profile.d/env.sh#在原有基础上添加以下内容,如图所示exportHIVE_HOME=/o
小刘新鲜事儿
·
2023-06-18 11:33
Hive
hive
Hive On Spark解析SQL过程剖析
1.Hive执行过程概览无论HiveCli还是
HiveServer2
,一个HQl语句都要经过Driver进行解析和执行,粗略如下图:2.Driver处理的流程HQL解析(生成AST语法树)=>语法分析(
开封程序员阿强
·
2023-06-17 11:05
Hive性能优化调优系列篇
hive
HIVESERVER2
服务启动失败
HIVESERVER2
服务启动失败
HIVESERVER2
服务启动失败出现的现象:1、Causedby:java.lang.ClassNotFoundException:org.apache.hadoop.hive.ql.metadata.HiveException2
cg6
·
2023-06-17 01:32
hive
大数据
hive
hive CUSTOM authentication mode:通过用户名密码连接hiveserver
文章目录一、官网说明二、实现三、第二个实现一、官网说明Authentication/SecurityConfiguration
HiveServer2
supportsAnonymous(noauthentication
roman_日积跬步-终至千里
·
2023-06-15 04:23
hive
合并文件解决
HiveServer2
内存溢出方案
一、文件过多导致
HiveServer2
内存溢出1.1查看表文件个数descformattedyanyu.tmp•表文件数量为65221021.2查看表文件信息hadoopfs-lswarehouse/yanyu.db
脸ル粉嘟嘟
·
2023-06-10 14:11
▼
BigData
——hive
——MapReduce
大数据
java
jvm
小文件
Hive | 报错锦集
知识目录一、写在前面✨二、Hive启动
hiveserver2
报错三、
HiveServer2
启动方式✨四、Hive执行SQL语句报一大堆日志五、Hive使用Load加载数据报错六、Hive执行含Count
初心%
·
2023-06-10 13:58
#
Hive
hive
hadoop
大数据
基于CDH环境下的Hive数仓配置及优化
文章目录YARN的基础配置NodeManagerCPU配置NodeManager内存配置NodeManager本地目录MapReduce内存配置HDFS副本数配置Hive配置及优化
HiveServer2
蜜桃上的小叮当
·
2023-06-09 10:15
Hadoop
hive
linux
hadoop
HiveServer2
、Beeline、JDBC使用
HiveServer2
HiveServer2
(HS2)是一种服务,使客户端能够对Hive执行查询。
HiveServer2
是HiveServer1的继承者,HiveServer1已被废弃。
明明德撩码
·
2023-06-09 07:03
hive 架构及 metastore 功能简单介绍
hive中主要有两个组件
hiveserver2
和hivemetastore,前者负责对外提供DML服务,后者记录了数据的元信息,在sql生成执行计划时为其提供
骑着蜗牛向前跑
·
2023-06-08 18:20
大数据
hive
架构
hadoop
Metastore
【大数据之Hive】七、 Hive服务启动脚本
启动metastore服务和
hiveserver2
服务脚本: 先在$HIVE_HOME目录下创建一个logs文件夹,该文件夹下再创建两个文件:metastore.log和
hiveServer2
.log
阿宁呀
·
2023-06-07 18:44
hive
hive
大数据
hadoop
【大数据之Hive】五、
Hiveserver2
服务部署
hiveserver2
服务
hiveserver2
提供JDBC/ODBC接口,使得用户可以远程访问Hive数据,即作为客户端的代理与Hadoop集群进行交互。
阿宁呀
·
2023-06-07 18:14
hive
大数据
hive
hadoop
【大数据之Hive】六、Hive之metastore服务部署
metastore为HiveCLI或
Hiveserver2
提供元数据访问接口。1metastore运行模式 metastore运行模式有两种,嵌入式模式和独立服务模式。
阿宁呀
·
2023-06-07 18:14
hive
hive
大数据
hadoop
Hive部署远程模式
远程模式简介将hive中的相关进程比如
hiveserver2
或者metastore这样的进程单独开启,使用客户端工具或者命令行进行远程连接这样的服务,即远程模式。
千锋IT教育
·
2023-06-07 18:02
大数据从0到1的完美落地
hive
hadoop
大数据
HiveMetaStore: Not authorized to make the get_current_notificationEventId call.
最近遇到
hiveserver2
启动不起来的一个异常,因为详细异常信息没保存,所以这里简单记录分享一下原因和解决办法。
Interest1_wyt
·
2023-06-07 18:27
hive
hadoop
数据仓库
使用DataGrip连接Hive
1后台启动相关服务在Linux中执行如下两条命令nohuphive--servicemetastore&nohuphive--service
hiveserver2
&2DataGrip中添加数据源DataGrip
BD_Marathon
·
2023-06-07 14:30
Hive
hive
使用DBeaver连接hive
一、开启
hiveserver2
服务[hadoop@Hadoop001bin]$nohup
hiveserver2
>>/home/hadoop/app/hive/logs/hs2.log2>&1&二、打开dbeaver
吃货大米饭
·
2023-04-21 20:18
大数据实战 --- 日志文件
HBaseHIive统计查询开发环境Hadoop+Hive+Spark+HBase启动Hadoop:start-all.sh启动zookeeper:zkServer.shstart启动Hive:nohup
hiveserver2
1
你∈我
·
2023-04-21 16:38
大数据
大数据
大数据实战 --- 世界新冠疫情数据分析
HbaseHive分析数据开发环境Hadoop+Hive+Spark+HBase启动Hadoop:start-all.sh启动zookeeper:zkServer.shstart启动Hive:nohup
hiveserver2
1
你∈我
·
2023-04-21 16:04
大数据
美团外卖平台的部分外卖 SPU数据实操练习
hadoop:start-all.sh开启zookeeper:zkServer.shstart开启hive:nohuphive--servicemetastore&nohuphive--service
hiveserver2
&
five小点心
·
2023-04-20 07:56
大数据
spark
hadoop
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他