E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HiveServer2
利用kettle实现hive数据直接导入到mysql
软件环境:Hadoop-2.7.1(单机)、apache-hive-2.3.5-bin、MySQL-5.6.1、pdi-ce-7.1.0.0-12(kettle)一、首先需要配置
hiveserver2
并开启
一米多的李同学
·
2019-08-24 16:24
hive
hive的
hiveserver2
模式启动不起来,发现Hadoop一直处于安全模式
hive的
hiveserver2
模式启动不起来,发现Hadoop一直处于安全模式命令介绍命令hadoopfs–safemodeget查看安全模式状态命令hadoopfs–safemodeenter进入安全模式状态命令
-小鱼-
·
2019-08-23 12:00
Hive metastore整体代码分析及详解
配置:我们的
hiveserver2
目前配置有2个节点,每个节点上都有metastore和hiveeserver2服务。
javastart
·
2019-08-19 16:26
hive
hive 配置自定义用户安全认证
阅读更多
HiveServer2
提供了JDBC链接操作Hive的功能,非常实用,但如果在使用
HiveServer2
时候,不注意安全控制,将非常危险,因为任何人都可以作为超级用户来操作Hive及HDFS数据
kingding
·
2019-08-13 11:00
Hive 配置——认证和授权
hue平台,各种强制修改hiveserver的参数,将任务提交到yarn上,导致集群性能下降1.本来想通过修改hue的源码,来限制set命令,可以修改提交任务和页面交互的js,可能稍为麻烦点,2.针对
hiveserver2
hbtszyt
·
2019-08-06 10:49
5. JDBC/ODBC服务器
集群的资源以及缓存数据都在所有用户之间共享SparkSQL的JDBC服务器与Hive中的
HiveServer2
相一致。由于使用了Thri
铖歌
·
2019-07-29 14:00
spark HiveThriftServer2
对客户端来说,是一个JDBC服务,和hive中
hiveServer2
服务类似。因此客户端可以通过JDBC连接访问HiveThriftServer2,执行sql语句。
cxy1991xm
·
2019-07-25 12:20
spark
Hive之——Hive-
hiveserver2
-beeline
在Hadoop集群中任选一台服务器作为Hive的服务器。主要配置Hive,配置好后,启动该服务器的meterstore,并配置hive.metastore.uristhrift://ip_or_host:9083同时配置mysql的存储hive的元数据。#psaux|grepmetastore能够找到相应的进程,有记录说明成功。成功后,将Hive服务器的相关Hive工具安装包复制到其他的hadoo
冰 河
·
2019-07-18 19:02
Hadoop
Hive
Hadoop
Hive
Hadoop生态
kylin Retrieving hive dependency...
由于公司环境配置hive默认连接
hiveserver2
,不管hivecli还是beelinecli都默认使用beelinecli,连接hive需要输入账号密码;启动kylin时会Retrievinghivedependency
xiaopengfei
·
2019-07-11 15:00
大数据框架hive——创建表,创建分区表;设置严格模式;建立外部表与分区表;hive与Mysql的区别;启动
HiveServer2
,使用Beeline客户端连接hive;使用fecthTask
hive常见创建表方式查看表结构详情:descformatted表名方式一:createtable指定字段信息方式二:CTAS通过子查询创建表createtableasSelect方式三:createlike创建类似表createtablenew_tablelikeold_table/viewHive分区表什么地方会使用到分区表首先,如果要每一个月统计一次一线城市与准一线城市的交通数据那么,如何存
无名一小卒
·
2019-07-09 21:28
Hadoop
6 ,hql 操作,建表相关
零:进入beeline1,启动服务:nohup
hiveserver2
1>/dev/null2>&1&2,关闭服务:kill-93,查看服务状态:netstat-nltp|grep100004,客户端连接
孙砚秋
·
2019-07-06 14:56
hive
6
hive
hive的三种使用方式
$HIVE_HOME/bin/hive或hive--servicecli2.
hiveserver2
服务最大的用处,就是可以把hive启动为一个后台服务只有启动为后台服务之后,才能让HJDBC和ODBC等程序去连接
致奋斗者
·
2019-07-05 10:57
大数据-hive
HiveServer2
架构源码详解
一、
HiveServer2
的启动通常我们是通过调用${hive_home}/bin下的start-
hiveserver2
.sh脚本来启动
HiveServer2
的。
疯狂的哈丘
·
2019-07-02 16:48
hive hive-env.sh配置
hive启动metastore、
hiveserver2
服务等等所有服务,都是通过hadoopjar命令加上自己的hive相关的jar包名执行的。
cxy1991xm
·
2019-06-29 23:32
hive
如何通过SpringData操作Hive数据
目录1.创建项目导入相关依赖2.编写Spring配置文件3.启动Hive的远程连接服务
HiveServer2
4.通过API操作HIVE1.创建项目导入相关依赖4.0.0SpringDataHive_Demo01SpringDataHive_Demo010.0.1
静静七分醉
·
2019-06-23 15:55
大数据
JDBC 连接Hive 简单样例(开启Kerberos)
代码如下所示:/***用于连接Hive所需的一些参数设置driverName:用于连接hive的JDBC驱动名Whenconnectingto*
HiveServer2
withKerberosauthentication
java知识社
·
2019-06-20 15:07
Hive
Hive优划
1.fetchtask任务不走MapReduce,可以在hive配置文件中设置最大化和最小化fetchtask任务;通常在使用
hiveserver2
时调整为more;设置参数的优先级:在命令行或者代码设置参数
LMRzero
·
2019-06-17 14:59
Hive
【Hive】
hiveserver2
启动时卡住
hiveserver2
启动时卡住root@slave01:/opt/modules/hive-2.3.5/bin#hive--service
hiveserver2
2019-06-1221:19:09:Starting
HiveServer2
SLF4J
一只瘦熊啊
·
2019-06-12 21:47
hive的
hiveserver2
客户端配置
前言hive提供了三种操作方式,一种是使用hive命令行方式进行操作;一种是使用java的api方式进行操作;还有一种是使用http的restapi进行操作。这里,我们只讲前两种的配置和实现。在这之前,我们先了解一下hive的客户端,hive提供了两种客户端,一种是胖客户端,一种是瘦客户端。胖客户端显得比较臃肿,它实现的效果是直接启动服务端和客户端集成于一身,我们在操作控制台执行hive命令会启动
拂袖清风
·
2019-05-16 15:12
大数据
hive
数据仓库
hiveserver2
大数据学习笔记之Hive(三):Hive入门
metastore)Hive操作HQL语句的两个参数练习:Hive历史命令存放地Hive临时生效设置Hive的内部表与外部表Hive分区表案例:见HQL案例文档Hive查看Mapreduce转换结构常见函数
HiveServer2
UDF
Leesin Dong
·
2019-05-12 22:12
Big
Data
Cloud
Technology❤️
#
Big
Data
------
Hive
Hive2.1源码分析(一)启动脚本
也太简略,参看了一下其他人的内容,针对Hive2.1.1做点分享:1)下载apache-hive-2.1.1-bin.tar.gz2)解压缩,下面的命令行如启动报错,请自行查略Hive启动配置3)启动
hiveserver2
jacksonking
·
2019-05-09 14:37
大数据
Hive
Hadoop
源码解析
01_Hive建表,导入;
HiveServer2
;以及UDF
hive建表和sql类似,可以从本地linux和hdfs中导入关闭不必要的Hive的MapReduce任务(有时候查找一个字段都需要mr,这显然是浪费的)hive.fetch.task.conversion->morehive.fetch.task.conversionmore1.minimal:SELECTSTAR,FILTERonpartitioncolumns,LIMITonly2.more
不会JAVA的运营不是好数分
·
2019-04-30 20:05
hive
建表
大数据学习
hive 0.14版本新shell客户端工具beeline的使用及一些注意事项
1、beeline介绍a)0.14版本后,基于
hiveserver2
的客户端工具beeline出现,可以替代传统的hiveshell客户端。
Mr_249
·
2019-04-27 10:32
Hive
数据仓库Hive学习总结
python读取hive数据最佳实践
python读取hive数据最佳实践使用pyhive库来连接
hiveserver2
提供的对外接口,使用sql语句来对数据进行查询,并处理返回结果。
lusic01
·
2019-04-26 18:10
Hive学习(二)
【SerDe】–用于做序列化和反序列化–构建在数据存储和执行引擎之间,对两者实现解耦【Beeline】–要与
HiveServer2
配合使用–服务端启动
hiveserver2
–客户端通过beeline两种方式连接到
水平很低
·
2019-04-13 16:45
大数据
Hive
HiveServer2
(Spark ThriftServer)自定义权限认证
Hive除了为我们提供一个CLI方式来查询数据之外,还给我们提供了基于JDBC/ODBC的方式来连接Hive,这就是
HiveServer2
(HiveServer)。
微步229
·
2019-04-03 10:27
Spark
Hive
通过JDBC连接Hive
首先hive必须以服务方式启动,平台默认启动时
hiveserver2
模式。
hiveserver2
是比hiveserver更高级的服务模式,提供了hiveserver不能提供的
夏天小厨
·
2019-03-29 17:04
大数据—Hive
hive使用beeline连接遇到的问题
hiveserver2
未启动如果
hiveserver2
未启动就直接使用beeline连接,会出现如下错误:Error:CouldnotopenclienttransportwithJDBCUri:jdbc
Brad_Q1
·
2019-03-24 09:25
大数据
hive
hiveserver2
指定队列
参考链接:https://www.cnblogs.com/yurunmiao/p/4724822.html结论综上所述,用户通过Beeline连接
HiveServer2
后的队列选取,默认情况下受公平调度策略的影响
just_fuck
·
2019-03-19 17:37
大数据运维之hive日常
Hue上执行hive的sql脚本
新建workflow选择Actions里面的
HiveServer2
Script拖拽即可选择写好的脚本hive2hbase.sqlusedatabase;CREATETEMPORARYTABLEtest_dhb_labasselect
lhxsir
·
2019-03-19 09:38
hive
hive之beeline客户端操作hive
1、
hiveserver2
简介
Hiveserver2
简称hs2,它是一个允许多客户端并发连接的hive服务,客户端可通过jdbc、odbc方式去连接此服务操作hive。
qq_32641659
·
2019-03-15 22:38
Hive
python 链接hive
1,配置hive:启动
hiveserver2
在bin/conf下面touch一个hive-site,xml:添加hive.server2.thrift.port10000Portnumberof
HiveServer2
Thriftinterfacewhenhive.server2
doctorone
·
2019-03-15 22:24
Linux下大量TIME_WAIT分析
https://www.jianshu.com/p/46162f49be8a问题现象:应用反馈在通过beeline方式连接
hiveserver2
时程序报错:'Error:java.io.IOException
Moon_魔宽
·
2019-03-12 12:11
Hive的坑
问题高并发请求时,请求报错:Timedoutwaitingforafreeavailableconnection.原因我们查看
hiveserver2
中的日志发现这些错误最终都的causeby都是一样的MetaException
GoofyWang
·
2019-03-12 11:22
【若泽大数据实战第十七天】Hive进阶
本节主要内容:一、分区表(静态分区、动态分区)二、用
hiveserver2
和beeline访问hive三、复杂数据类型(如何存取)一、分区表(静态分区、动态分区)PARTITION分区表:分区表话务记录
liweihope
·
2019-03-10 11:18
python 连接 hive 的
HiveServer2
的配置坑
环境:hadoop2.7.6hive2.3.4Hive的thirft启动:hadoop单机或者集群需要:启动webhdfs修改hadoop的代理用户hadoop.proxyuser.hadoop.hosts*hadoop.proxyuser.hadoop.groups*注:hadoop.proxyuser.hadoop.hosts中的hadoop代表任意节点的代理用户(hadoop,可以更换)都能
binger0712
·
2019-03-04 20:00
Hive的授权机制——总体介绍
对于
Hiveserver2
,还有一些其他的认证方
看得出的就是
·
2019-03-02 18:27
Hive
配置hive server2鉴权和beeline无密码链接hive数据仓库
启动
hiveserver2
服务之后使用beeline链接报一下错误beeline>!
CARYFLASH
·
2019-03-01 22:34
hadoop
core-site.xml
hive
大数据基础
Hive-jdbc驱动程序
1.启动
hiveserver2
服务器,监听端口10000$>hive--service
hiveserver2
&2.通过beeline命令行连接到
hiveserver2
$>beeline//进入beeline
我家排行老三
·
2019-02-27 13:46
Hive
Java通过JDBC操作Hive
使用JDBC连接Hive之前必须先启动
HiveServer2
HiveServer2
是服务器接口,能使客户端执行Hive查询的服务。是HiveServer1的改进版,支持多客户端并发和身份认证。
amyacker
·
2019-02-26 12:55
hive
使用JDBC操作Hive
首先启动Hive的远程服务:
hiveserver2
&所需jar包的pom文件如下:org.apache.hivehive-jdbc2.3.0为了避免在程序运行时出现以下错误:修改hadoop配置文件$HADOOP_HOME
曲健磊
·
2019-02-16 22:39
【hive】
Hive Query生命周期--钩子函数篇
前言无论HiveCli还是
HiveServer2
,一个HQl语句都要经过Driver进行解析和执行,粗略如下图:hivearch|centerDriver处理的流程如下:HQL解析(生成AST语法树)=
假的鱼
·
2019-02-13 11:23
大数据
hive与dbvisual整合
HowIConnectedDBVisualizer9.2.2onWindowstoHortonwork
HiveServer2
IntroductionNote!
hongtaq156136
·
2019-02-01 19:02
hive
如何使用Zookeeper实现
HiveServer2
的HA
之前Fayson介绍了《如何使用HAProxy实现
HiveServer2
负载均衡》,这种方案也有一些弊端,如HAProxy本身就是单点,虽然可以通过Keepalived来实现HAProxy的高可用,但这样配置会比较麻烦并且需要多部署两个组件
hongtaq156136
·
2019-02-01 15:35
hive
Hive-ThiftServer-
hiveserver2
#
hiveserver2
对应的hdfs://hdfscluster/path其中hdfscluster不能写成hdfs-cluster,中间不能有-号;#否则可能导致java.net.UnKnownHostException
liuzx32
·
2019-01-18 15:04
python查询hive结果保存到mysql的python代码优化历程
当然了,肯定还有一些其它的hive~mysql互导工具,通常我们用python驱动
hiveserver2
,hivecli官方并不建议,也利用python将结果保存到mysql。
ikeguang
·
2019-01-16 22:25
bigdata
hive
python
mysql
十二、Hive之JavaAPI操作(Test Record)
javaapi来使用hive前的实验记录Hive-Hadoop-MySQL的安装,请阅读这里hive-site.xml新添加(以下都是默认配置):hive.server2.thrift.port10000//
HiveServer2
玻璃水珠
·
2019-01-16 17:50
Java
Hadoop
hive
Hive --beeline客户端 --常用操作命令 --一些小知识点
原文:https://blog.csdn.net/qq_41028958/article/details/80861531HIVEBeenLine客户端-常用命令支持多链接启动
hiveserver2
服务
quincylk
·
2019-01-10 17:27
大数据
Hive 基础教程
RDBMS对比Hive架构图解Hive结构基本组成Hive的数据存储Hive特性Hive中的表分为内部表、外部表、分区表和Bucket表(分桶表)Hive环境搭建Hive安装Hive三种连接方式CLI
HiveServer2
夜古诚
·
2019-01-08 18:12
Hive
简述Hive的三种启动方式及内置服务
一Thrift服务通过hiveServer/
hiveServer2
启动Thrift服务,客户端连接Thrift服务访问Hive数据库(JDBC,JAVA等连接Thrift服务访问Hive)。
英菲nidi50070
·
2018-12-26 20:59
Hive的相关知识
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他