Hiveserver2

Hive的metastore和hiveserver2服务

1.Hive的metastore服务Metadata概念：元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。Metastore作用：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和
wyl9527·2020-07-30 18:41

Hive------------Hiveserver2、metastore脚本启动

-cdh5.7.6#启动服务的时间DATE_STR=`/bin/date"+%Y%m%d%H%M%S"`#日志文件名称（包含路径）HIVE_SERVER2_LOG=${HIVE_HOME}/logs/hiveserver2
leson-xu·2020-07-30 18:43

hiveserver2和metastore

大部分内容转载:https://blog.csdn.net/qq_40990732/article/details/80914873https://blog.csdn.net/tp15868352616/article/details/80891057https://blog.csdn.net/qq_35440040/article/details/82462269metastore服务实际上就是
我是A_lin呀·2020-07-30 17:47

Hive学习之HiveServer2服务端配置与启动，允许远程连接

Hive有三种使用方式——CLI命令行，HWI（hiewebinterface）浏览器以及Thrift客户端连接方式。1、hive命令行模式直接输入/hive/bin/hive的执行程序，或者输入hive–servicecli用于linux平台命令行查询，查询语句基本跟MySQL查询语句类似2、hiveweb界面的启动方式hive–servicehwi用于通过浏览器来访问hive如果lib目录下
李晓LOVE向阳·2020-07-30 17:26

【平台运维】Hive ThriftServer报错解决

处理了一个问题，记录一下通过DBVisualizer连接HiveServer2，报错：org.apache.thrift.transport.TTransportException:java.net.SocketException
PowerMe·2020-07-30 04:49

运维人员如何应对访问出错故障

一、用户查询平台故障一例查询平台结构nginx:80----------ip1/ip2java------jdbc---(haproxy)--ip3(3000)+ip4(3000)hiveserver2
DragonWar%·2020-07-30 03:21

java本地使用JDBC连接Spark SQL（HiveServer2）

根据Spark官网所述，SparkSQL实现了ThriftJDBC/ODBCserver：TheThriftJDBC/ODBCserverimplementedherecorrespondstotheHiveServer2inHive1.2.1YoucantesttheJDBCserverwiththebeelinescriptthatcomeswitheitherSparkorHive1.2.1
Deegue·2020-07-29 04:13

Hive伪分布模式安装

1.1运行HiveServer2和Beeline1.2要求java1.7+，官网推荐1.8Hadoop2.x1.3安装Hive的稳定版下载当前稳定版http://mirrors.cnnic.cn/apache
Marho11·2020-07-29 03:37

使用linux脚本shell检查大数据各节点服务是否运行正常

脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。
白开水v5·2020-07-29 00:07

HiveServer2连接ZooKeeper出现Too many connections问题的解决

HiveServer2连接ZooKeeper出现Toomanyconnections问题的解决作者:大圆那些事|文章可以转载，请以超链接形式标明文章原始出处和作者信息网址:http://www.cnblogs.com
在路上很久了·2020-07-28 21:57

APACHE RANGER 调研----5.ranger 原理解析

HiveServe2--->(3)hive权限check，请求rangerapi获取策略是否已经更新，更新了就利用新的策略，如果没有更新利用本地缓存数据，plugin会30秒访问ranger服务更新策略(4)hiveserver2
wangwenting2016·2020-07-28 15:37

Spark Thrift Server 架构和原理介绍

文章目录一、SparkThriftServer介绍二、部署SparkThriftServer三、SparkThriftServer的架构四、SparkThriftServer如何执行SQL五、和HiveServer2
疯狂哈丘·2020-07-28 14:03

SparkSQL（3）：开启ThriftServer服务

一、实现功能SparkSQL的ThriftServer服务其实就是Hive的hiveServer2服务，只是将底层的执行改成spark，同时在spark上启动。
RayBreslin·2020-07-28 13:39

Spark Thrift Server 解放数据开发，开发计算资源的里利器

0x001SparkThriftServer是什么SparkThriftServer是一个jdbc和odbc服务，底层依赖的是hiveServer2。
张超_·2020-07-28 11:39

Hive的若干操作

hive参考网址官方文档参考网址1，远程连接HIVE安装hiveserver2启动配置Hive学习之HiveServer2服务端配置与启动hiveserver2后台启动启动hiveserver2和metastorehive
野马16·2020-07-27 23:24

hiveserver2+kerberos+sentry多用户权限管理

1kerberos配置1.1kerberos新建principal1.2导出对应的keytab文件2Sentry设置2.1用hiveserver2服务对应的tgt连接beeline2.2创建role2.3
nanata1115·2020-07-27 15:16

Hive创建、删除数据库

1、使用hive客户端命令创建表，命令如下：注：发现hive客户端和hiveserver2不能同时使用，但可以使用beeline。beeline使用如下：输入命令：beeline然后输入连接命令：!
一度凡尘·2020-07-27 14:58

Spark Sql 分布式SQL引擎&&Pandas PySpark使用

运行ThriftJDBC/ODBC服务器对应HiveServer2于Hive1.2.1中的。可以使用Spark或Hive附带的beeline脚本测试JDBC服务器启动JDBC/ODBC服务器Spa
OnTheRoad_Kang·2020-07-16 05:37

hive 创建临时函数异常分析

一个java项目使用jdbc连接池连接hiveserver2创建临时函数，第一次执行成功，第二次执行失败，返回错误如下:ERRORorg.apache.hadoop.hive.ql.Driver:[HiveServer2
kevin_wf·2020-07-15 16:04

Hive常见的bug与解决办法

转自:https://blog.csdn.net/qq_26442553/article/details/788072111.在hiveserver2客服端操作数据库出错：Error:Errorwhilecompilingstatement
风是外衣衣衣·2020-07-15 16:33

hive的beeline连接方式

*[hadoop@hadoop001~]$nohupshapp/hive/bin/hiveserver2>>~/data/tmp/hs2.log&[1]34483*##此处hs2的默认端口号为10000
yoohhwz·2020-07-15 11:54

通过远程jdbc方式连接到hive数据仓库

1.启动hiveserver2服务器，监听端口10000$>hive--servicehiveserver2&netstat-anop|grep100002.通过beeline命令行连接到hiveserver2
缘定三石·2020-07-14 23:44

通过kettle将关系型数据库中表导入hive中

思路要将关系型数据库中的表通过kettle导入到hive中，主要思路是两种：1.直接配置jdbc连接hiveserver2,通过表输入及表输出组件转换；2.先将关系型数据库中的表导入到hdfs中，再通过
shenzhibiao·2020-07-14 22:50

hive Could not connect to node01:10000

Couldnotconnecttonode01:10000原因无法连接端口node01节点的10000端口解决1、检查是否开启hiveserver2服务hive--servicehiveserver2&
依旧ฅ=ฅ·2020-07-14 21:34

三、HIVE 高级进阶笔记

1.hiveserver2bin/hiveserver2进入服务后端bin/beeline-ujdbc:hive2://$HS2_HOST:$HS2_PORT前段命令窗口，跟hiveshell一样操作2
冷叶飘零·2020-07-14 14:20

hive的安装使用总结

折腾了三天，断断续续，到今天周五，终于搞定了，安装好Hive后，执行bin中的hive即可进入直接输入showtables;或者先启动hiveserver2，然后运行beeline，然后连接DB，执行showtables
linfenliang·2020-07-14 13:54

Hadoop大数据常用组件简介

资源管理调度框架Yarn1）ResourceManager2）ApplicationMaster3）NodeManager4）Container3.分布式协调服务ZooKeeper4.数据仓库工具Hive1）HiveServer25
花花呼呼·2020-07-14 13:34

python读取hive数据最佳实践

使用pyhive库来连接hiveserver2提供的对外接口，使用sql语句来对数据进行查询，并处理返回结果。
接地气的大仙儿·2020-07-14 10:26

hive快速上手

加入了启动hiveserver2并使用beeline客户端连接的步骤，去掉了直接使用hivecli的部分。
老朱.·2020-07-14 09:41

idea连接Hive数据库并进行wordcount

[root@node01~]#servicemysqldstart在node03中开启hive的元数据服务[root@node03~]#hive--servicemetastore在node04中开启hiveserver2
瓜不田·2020-07-14 04:02

DBeaver安装使用手册

一、DBeaver连接Hive准备DBeaver连接Hive，需要先安装Hive，Hive数据仓库部署参考文章：ApacheHive数据仓库部署DBeaver连接Hive，需要开启HiveServer2
王者的路注定孤独·2020-07-13 16:48

SQuirreL SQL客户端连接hive库

在安装hive数据库后,最好用外置客户端连接测试下,必须保证beeline和hiveserver2连接正常,着重注意hiveserver2是否启动,下图为正常连接有时会报错误,推荐博客https://blog.csdn.net
Way_Of_Heart·2020-07-13 11:37

hive server 2 服务端及beeline client客户端 远程debug方式

hiveserver2服务端代码远程debug调试方式：1.idea添加debug远程调试，如下：2.将idea远程debug参数添加到vihadoop_conf/hadoop-env.sh中HADOOP_CLIENT_OPTS
merrily01·2020-07-13 08:23

黑猴子的家：Hive 2.x HiveServer2 的 Web UI

1、开篇废话关于hiveserver2的webUI管理页面的配置和使用使用编程语言报错，怎么查找原因呢？
黑猴子的家·2020-07-13 00:21

beeline通过HiveServer2访问Hive的配置和操作

１.前言作为数据仓库的工具，hive提供了两种ETL运行方式，分别是通过Hive命令行和beeline客户端；命令行方式即通过hive进入命令模式后通过执行不同的HQL命令得到对应的结果；相当于胖客户端模式，即客户机中需要安装JRE环境和Hive程序。beeline客户端方式相当于瘦客户端模式，采用JDBC方式借助于HiveThrift服务访问Hive数据仓库。HiveThrift(HiveSer
Heavbird·2020-07-12 15:44

在一台服务器上搭建相对高可用HiveServer实践

hiveserver被ETL程序调用，hiveserver隔三差五地挂掉重启，网上查了些资料，这是一个比较普遍的问题，原因基本上都是进程内存用爆引发的hiveserver奔溃，内存爆掉的原因大概有两个：hiveserver2
刘不吃草也能跑·2020-07-12 08:13

Hive介绍

数据存放在hdfs上不是关系型数据库，不是在线处理，不适合实时查询hive利用hdfs存储数据，利用mapreduce查询数据2.hive使用启动hive时候要启动hdfs可以通过远程连接，访问hive先启动hiveserver2
weixin_34041003·2020-07-12 08:51

Spark Thrift Server 架构和原理介绍

SparkThriftServer介绍SparkThriftServer是Spark社区基于HiveServer2实现的一个Thrift服务。旨在无缝兼容HiveServer2。
大数据技术架构·2020-07-12 02:41

hiveserver2连接报错：“User: xxx is not allowed to impersonate yyy (state=08S01,code=0)”

在用hive的beeline或者用DBeaver远程连接hiveserver2的时候，会报这样类似的错误：User:xxxisnotallowedtoimpersonateyyy(state=08S01
歌在路上·2020-07-11 19:30

java 通过zookeeper连接hiveserver2报错：org.apache.hive.jdbc.ZooKeeperHiveClientException: Unable to read Hi

环境：hive驱动版本：1.2.1通过以下连接方式，通过hiveserver2urljdbc:hive2://prddn01.com:10000/;principal=hive/prddn01.com@
Toroidals·2020-07-10 23:01

黑猴子的家：Hue 与 Hive 集成

1、修改Hive配置文件hive-site.xmlHUE与hive集成需要hive开启HiveServer2服务，相关配置如下hive.server2.thrift.port10000hive.server2
黑猴子的家·2020-07-10 22:16

Hive的单节点集群详细启动步骤

说在前面的话，在这里，推荐大家，一定要先去看这篇博客，如下再谈hive-1.0.0与hive-1.2.1到JDBC编程忽略细节问题HadoopHive概念学习系列之hive三种方式区别和搭建、HiveServer2
weixin_30871905·2020-07-10 07:06

【Hive】常用的操作

连接hive先开启hiveserver2然后beeline连接[root@hadoop1conf]#beeline--hiveconfhive.server2.logging.operation.level
BIG*BOSS·2020-07-10 00:54

hive的基本操作

2.使用hiveserver2服务修改hdfs-site.xml，core-site.xml在hdfs-site.xml加上dsf.webhdfs.enabled-->truecore-site.xml
活英雄·2020-07-09 12:05

yarn里有大量的短暂killed的hive任务问题排查

问题：我们用AWSEMR的时候发现在yarn的applicationmanagerui里有大量killed的hive任务，而且非常之多，如截图所,我们是通过hiveserver2方式提交任务的：解决方案
玉羽凌风·2020-07-09 05:33

hiveserver2启动失败，报Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.

1启动hiveserver2时候报错JavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionMaxPermSize=512M;supportwasremovedin8.0JavaHotSpot
浮生若梦1379·2020-07-08 18:06

有关Hive中hiveServer2和metastore的启动，以及Spark项目中resources中的配置文件添加

因为自己在配置Mysql作为Hive的metastore(元数据库)时，遇到了很多的问题，Mysql和Hive的整合过程网上资源很多，这里我就放一下我的配置文件hive-site.xml，亲测可用：javax.jdo.option.ConnectionURLjavax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driverjavax.jdo.opt
aosfhois·2020-07-07 06:39

大数据集群所遇到的问题锦集（在更新中）

@Author:Spinach|GHB@Link:http://blog.csdn.net/bocai80581.HDFS远程访问权限不足2.在开启hiveserver2服务后，访问Hive权限不足3.
GSpinach·2020-07-07 04:32

java通过thrift连接hive

需要使用hiveServer2thrift的方式。
Alecor·2020-07-06 20:40

Java通过Kerberos认证连接hiveServer2

importjodd.util.PropertiesUtil;importorg.apache.hadoop.security.UserGroupInformation;importjava.io.IOException;importjava.io.InputStream;importjava.sql.Connection;importjava.sql.DriverManager;importja
Alecor·2020-07-06 20:40
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他