E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hiveserver
hiveserver
2启动失败,报Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.
1启动
hiveserver
2时候报错JavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionMaxPermSize=512M;supportwasremovedin8.0JavaHotSpot
浮生若梦1379
·
2020-07-08 18:06
hive
Hive架构和工作原理
Client是Hive的客户端,用户连接至
HiveServer
。在启动Client模式的时候,需要指出
HiveServer
所在节点,并且在该节点启动
HiveServer
。WUI是通过浏览器访问Hive
javastart
·
2020-07-07 11:03
hive
有关Hive中
hiveServer
2和metastore的启动,以及Spark项目中resources中的配置文件添加
因为自己在配置Mysql作为Hive的metastore(元数据库)时,遇到了很多的问题,Mysql和Hive的整合过程网上资源很多,这里我就放一下我的配置文件hive-site.xml,亲测可用:javax.jdo.option.ConnectionURLjavax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driverjavax.jdo.opt
aosfhois
·
2020-07-07 06:39
Spark基础学习
大数据集群所遇到的问题锦集(在更新中)
@Author:Spinach|GHB@Link:http://blog.csdn.net/bocai80581.HDFS远程访问权限不足2.在开启
hiveserver
2服务后,访问Hive权限不足3.
GSpinach
·
2020-07-07 04:32
集群配置和集群问题
java通过thrift连接hive
需要使用
hiveServer
2thrift的方式。
Alecor
·
2020-07-06 20:40
HIVE
大数据
Java通过Kerberos认证连接
hiveServer
2
importjodd.util.PropertiesUtil;importorg.apache.hadoop.security.UserGroupInformation;importjava.io.IOException;importjava.io.InputStream;importjava.sql.Connection;importjava.sql.DriverManager;importja
Alecor
·
2020-07-06 20:40
HIVE
大数据
资料《
HiveServer
2用户名和密码认证》
方案一:采用PAM的模式最好记录新建的用户和密码,以便于管理和日后迁移等工作下载JPAM解压之后将libjpam.s复制到/usr/local/service/hadoop/lib/native中修改文件权限:chgrphadoop/etc/shadowchmod550/etc/shadow修改配置/usr/local/service/hive/conf/hive-site.xml,重启hives
故里良田
·
2020-07-05 21:02
hive beeline拒绝连接的错误
1、启动hadoop2、开启metastore在开启
hiveserver
2服务nohuphive--servicemetastore>>log.out2>&1&nohuphive--servicehiveserver2
zhengqiangtan
·
2020-07-05 15:28
hive
Error: Could not open connection to jdbc:hive2://master64:10000: java.net.ConnectException: Connecti
客户端访问
hiveserver
2服务时:Error:Couldnotopenconnectiontojdbc:hive2://master64:10000:java.net.ConnectException
风起来
·
2020-07-01 23:53
hive
hive
hive metastore &&
hiveserver
2 . jvm 配置调整优化
hive-env.sh添加如下,其中踩坑踩了不少。if["$SERVICE"="metastore"];thenif[-z"$DEBUG"];thenexportHIVE_METASTORE_HADOOP_OPTS="-XX:+PrintCommandLineFlags-Xms12g-Xmx12g-XX:MetaspaceSize=128m-XX:+UseParNewGC-XX:+UseConcM
anghiking20140716
·
2020-07-01 17:17
Hive3.1.0结合Ranger1.1.0数据脱敏(行过滤Row-level Filter、列屏蔽Column Masking)
注意:(1)该功能只适用于
HiveServer
2使用场景(如:B
@TangXin
·
2020-07-01 09:38
Hive
Ranger
beeline连接
hiveserver
2
在hive服务器端启动
hiveserver
2(即metastore服务所在的服务器)
hiveserver
2通过beeline连接有两种连接方式1.beeline-ujdbc:hive2://localhost
hello_zzw
·
2020-06-30 21:41
大数据
hive
Hive server2慢启动问题排查与解决
1、问题描述在Hive升级到2.3.6版本后,启动
Hiveserver
2需要花费15分钟左右的时间,这对于平时调试和紧急重启影响很大。
Deegue
·
2020-06-30 20:59
hive
hive
hive拒绝访问Connection refused (state=08S01,code=0)
正文1、问题重现年前项目部署,生产环境访问hive是正常的,年后上班却被客户告知前端页面部分数据不显示,直接在
hiveServer
客户端访问,执行sql,看到数据正常响应;而用Javajdbc方式访问却显示连接拒绝
大白快跑8
·
2020-06-30 19:37
【架构】
【大数据】
【Java】
Hive的beeline连接的方式
用户客户端连接:1)jdbc|odbc2)
hiveserver
2远程其他节点连接hive将hive的服务端启动启动为后台服务通过指定的工具在任意节点上连接hivejdbc配置:hive底层的数据存在hdfs
浮萍人生丶
·
2020-06-30 17:12
Python连接Impala/Hive
测试环境:Python3.5、Impala2.10.0、Impyla0.15.0Impyla是用于分布式查询引擎的
HiveServer
2实现(如Impala、Hive)的python客户端。
轻易科技-浩兄
·
2020-06-30 16:35
jdbc连接hive(
hiveserver
2)
importjava.sql.*;/***Createdbyzhengon2020/4/9.*/publicclassHiveClient{publicstaticvoidmain(String[]args)throwsSQLException{try{Class.forName("org.apache.hive.jdbc.HiveDriver");}catch(ClassNotFoundExce
9随遇而安
·
2020-06-30 15:29
hive
hive的启动和停止
nohuphive--servicemetastore>>~/metastore.log2>&1#hivemetastore[hadoop~]#nohuphive--servicehiveserver2>>~/
hiveserver
2
zh_s_z
·
2020-06-30 13:21
hive
hive表级权限配置以及运行调试
Beeline:
HiveServer
2提供了一个新的命令行工具Beeline,它是基于SQLLineCLI的JDBC客户端。
zfszhangyuan
·
2020-06-30 13:20
大数据高级研发
Ambari+Hive+HDFS的权限认证配置
SQL优化笔QQ群:771686295一.Hive配置里的几个概念Authorization:授权,也就是用户权限Authentication:验证,也就是用户身份认证MetastoreServer,
HiveServer
2
yrg5101
·
2020-06-30 09:06
Spark大数据平台
Hive
与传统数据库的区别1.2关于Hive的索引与事务2.Hive架构3.Hive上SQL执行的大致过程4.Hive服务组件及用途4.1服务端组件4.2客户端组件:4.3总结4.3.1关于Hivecli4.3.2关于
HiveServer
2
安然_随心
·
2020-06-30 09:49
大数据
分布式
Hive Beeline
HiveServer
2使用
在Hadoop集群中任选一台服务器作为Hive的服务器。主要配置Hive,配置好后,启动该服务器的meterstore,并配置hive.metastore.uristhrift://bidev-cdh005:9083同时配置mysql的存储hive的元数据。[hadoop@bidev-cdh005~]$psaux|grepmetastore能够找到相应的进程,有记录说明成功成功后,将Hive服务器
wmky_kk
·
2020-06-30 09:49
hive
大数据工具(Hadoop Spark)
hdfs_java[comingsoon](04)mapreduce_java(05)hbase_shell(06)hbase_java[comingsoon](07)hive_shell(08)hive_
hiveserver
2
xiongpai1971
·
2020-06-30 02:05
教材
hive原理与源码分析-hive源码架构与理论(一)
来更简单地完成复杂MapReduce无法完成的工作数据格式:处理Hadoop上任意数据格式的数据,或者使用优化的格式存储Hadoop上的数据,RCFile,ORCFile,Parquest数据服务:
HiveServer
魔鬼_
·
2020-06-29 22:39
分布式
Cloudera Manager 安装 CDH5.x 心得
安装CDH5.x心得废话不多说,先展示下这几天捣鼓的成果ClouderaManager管理配置界面Hbase管理界面及HbaseWebUIHDFS管理界面及NameNodeWebUIHive管理界面及
HiveServer
2WebUIHue
shaonbean
·
2020-06-29 18:15
【Bigdata】
【Dailywork】
cloudera
hbase
cdh
hdfs
管理
dip-data-analyze 使用的
hiveserver
实践之 jvm调优
其中5分钟任务有2个,小时任务有20个以上,晚上执行的任务有6个.任务并不多,都是使用hivesql连接到
hiveserver
去执行。本周曾经有2次
hiveserver
失效。
wf1982
·
2020-06-29 17:54
平台集成LDAP
平台的
Hiveserver
2和Impalaserver对外(tableau类似的商业BI工具)没有权限控制,需要内置一层用户管理策略。
ioyow
·
2020-06-29 07:23
大数据技术之Hive入门
master分支上编译Hive在branch-1分支上编译Hive在Hadoop0.20上编译Hive到0.13之前在Hadoop0.23上编译Hive到0.13之前运行Hive运行HiveCLI运行
HiveServer
2
只要学不死就往死里学-致自己
·
2020-06-29 03:57
大数据技术之Hive
hive JDBC 进度和日志查看
>>>hiveJDBC进度和日志查看@(hive)[JDBC|进度|日志]hive的JDBC提供了java连接
hiveserver
2查询的能力,但是hiveJDBC有别于关系型数据库,一个查询语句可能要在十几分钟到几十分钟才会返回结果
weixin_34372728
·
2020-06-28 18:49
[解决]
HiveServer
2中使用jdbc访问hbase时导致ZooKeeper连接持续增加的解决
最近在监控中发现
HiveServer
2连接到zookeeper里的连接持续上涨,很奇怪,虽然知道
HiveServer
2支持并发连接,使用ZooKeeper来管理Hive表的读写锁,但我们的环境并不需要这些
weixin_34357962
·
2020-06-28 17:37
Beeline使用
>>>背景hadoop2的hive采用了新的
hiveserver
,称为
HiveServer
2,
HiveServer
2中的CLI客户端不建议使用hiveCLI,而是建议使用Beeline这个客户端,今天就说说这个客户端的用法
weixin_34206899
·
2020-06-28 13:58
Hadoop2.7.2之Hive-2.1.1的
Hiveserver
2服务和beeline远程调试
1.开启metastore和
hiveserver
2服务[root@sht-sgmhadoopnn-01bin]#hive--servicemetastore&[1]31092[root@hadoop-01bin
wdier
·
2020-06-27 14:37
Hive
org.apache.hive.service.cli.HiveSQLException: Error running query: java.lang.OutOfMemoryError: PermG
在hive中执行count时,报下面的错误2018-01-19T14:22:01,035ERROR[
HiveServer
2-Background-Pool:Thread-67]ql.Driver:FAILED
warrah
·
2020-06-27 14:47
hive
hue
搭建Hive on Spark on YARN常见问题及解决方案
文章目录1、在Hivecli中往表中插入记录,报错信息如下错误信息a错误信息b2、Hiveupdate和delete报错3、beeline通过JDBC连接
HiveServer
2报错1、在Hivecli中往表中插入记录
逝水-无痕
·
2020-06-27 13:22
data
warehouse
尚硅谷大数据视频_Hive视频教程
在本课程中,你将学习到,Hive架构原理、安装配置、
hiveserver
2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储
嘟爷java超神学堂
·
2020-06-27 11:14
在 hive 使用 jdbc
hive也是支持jdbc连接的这样操作起来就会方便很多毕竟可以在客户端直接些sql不多说首先需要启动
hiveserver
的server2服务bin/hive--servicehiveserver2&下面就是编写客户端了提供
CXHC
·
2020-06-27 05:22
hive
HiveServer
2 获取日志
讨论的版本为:
HiveServer
2版本:2.3.1+tez由于最近在弄WEBIDE,其中在连接
Hiveserver
2的时候,在
Hiveserver
2的获取日志的方式,发现了两个坑,找了许多文献,也没有找到解决的办法
Keith__Chen
·
2020-06-27 04:52
JAVA-编码
Beeline连接报错:Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000/default
localhost:10000/default:java.net.ConnectException:拒绝连接解决方案:通过sudonetstat-anp|grep10000查看谁占用了10000端口,也就是
hiveserver
2
望隐少年
·
2020-06-27 01:11
Hive 远程链接(
hiveserver
2/beeline)
前言在生产中,我们不可能每次都登陆到Hive安装的机器上进行操作.在本章内,我们就介绍下Hive远程链接操作.远程链接HiveServerHive服务器是通过Thrift协议进行约定调用的.我们通过启动bin/
hiveserver
2
在风中的意志
·
2020-06-26 22:54
14.
大数据
-------14.8.
Hive
&
Pig
利用Zeppelin来操作Hive数据仓库。
zeppelin的操作流程:首先添加hive的interpreter相关的配置信息如下所示:另外还要添加相关的依赖:hive的操作方式利用
hiveserver
2来操作首先要启动元数据服务cdhivecdbin
Bonyin
·
2020-06-26 20:08
hive
Hive学习之
HiveServer
2 JDBC客户端
HiveServer
和
HiveServer
2都有两种模式,分别为嵌入式和单机服务器模式,对于嵌入式URI为"jdbc:hive://"或者"jdbc:hive2://",单机服务器模式的URI为"jdbc
skyWalker_ONLY
·
2020-06-26 12:45
Hive
勤奋的Hive
Hive学习之
HiveServer
2服务端配置与启动
幸好Hive提供了轻客户端的实现,通过
HiveServer
或者
HiveServer
2,客户端可以在不启动CLI的情况下对Hive中的数据进行操作,两者都允许远程客户端使用多种编程语言如Java、Python
skyWalker_ONLY
·
2020-06-26 12:45
Hive
勤奋的Hive
CDH集群hive使用以及性能测试
1.CDH集群里面的Hive角色分配及作用如图所示,Hive主要有三个角色:
HiveServer
2、MetastoreServer、以及代理角色Gateway主要两个服务端守护进程:1、
Hiveserver
2
CharonLR
·
2020-06-26 00:27
Hive
Hive学习之路(三):
hiveserver
2的启动与使用
操作内容简介一、
hiveserver
2简介二、使用
hiveserver
2服务1.启动
hiveserver
2服务2.启动beeline连接server3.使用JDBC协议连接server1.构建Java工程
萧邦主
·
2020-06-25 22:29
Hadoop生态
大数据生态
Hive学习 (三)Hive的连接三种连接方式
目录一、CLI连接二、
HiveServer
2/beeline1、修改hadoop集群的hdfs-site.xml配置文件2、修改hadoop集群的core-site.xml配置文件三、WebUI正文:一
匿名啊啊啊
·
2020-06-25 21:37
Hive
后来我使用了CM5.13.3spark2kafka3.1.1解决了很多疑难杂症——hue+hive数据库权限
在hue界面创建登录用户hivetest在hive-site.xml的Hive和
HiveServer
2高级配置中添加配置hive.security.authorization.enabledtruehive.security.authorization.createtable.owner.grantsALLh
challengedream
·
2020-06-25 01:55
搭建集群
数据
快速了解hive
CommandLineInterface),shell终端命令行,通过命令行与hive进行交互;(2)JDBC/ODBC,是Hive的基于JDBC操作提供的客户端,用户(开发员,运维人员)通过客户端连接至
Hiveserver
qingdsj
·
2020-06-24 22:03
大数据
人工智能
互联网
kettle案例七连接hive--抽取mongodb的数据保存到hive
kettle把数据导入hive有两种思路一种是通过
hiveserver
2使用JDBC的连接方式,这种是一条一条的进行写入,可能速度上要慢一些。
张小凡vip
·
2020-06-24 21:37
数据仓库
hadoop组件---数据仓库(五)---通过JDBC连接hive的thrift或者
hiveserver
2
Thrift简介Hive拥有
HiveServer
(Thrift)或者
Hiveserver
2组件,提供了JDBC驱动服务,使得我们可以用Java代码或者Python来连接Hive并进行一些关系型数据库的sql
张小凡vip
·
2020-06-24 21:37
数据仓库
远程连接hive server
hiveserver
21、在hive服务器上启动
hiveserver
2,在你的hive主目录/bin/下找到并执行下面的命令,默认监听10000端口#
hiveserver
22、使用cli在本机连接#beelinebeeline
IT十年
·
2020-06-24 13:35
大数据
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他