E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
beeline
Hive伪分布模式安装
1.1运行HiveServer2和
Beeline
1.2要求java1.7+,官网推荐1.8Hadoop2.x1.3安装Hive的稳定版下载当前稳定版http://mirrors.cnnic.cn/apache
Marho11
·
2020-07-29 03:37
Hive
Hadoop
Sentry 权限模型之授权策略SQL
hive用户是在$HIVE_HOME/conf/sentry-site.xml中配置,sentry.metastore.service.usershive,hive是用于授权的账号,可以理解为超级用户
beeline
-u'jdbc
woloqun
·
2020-07-28 23:13
hive
sentry
HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive
beeline
使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令...
1.上传tar包这里我上传的是apache-hive-1.2.1-bin.tar.gz2.解压mkdir-p/home/tuzq/software/hive/tar-zxvfapache-hive-1.2.1-bin.tar.gz-C/home/tuzq/software/hive/3.安装mysql数据库(切换到root用户)(装在哪里没有限制,只有能联通hadoop集群的节点)mysql安装可
weixin_33725126
·
2020-07-28 17:29
HIVE
beeline
使用shell 批量执行sql语句
shell脚本如图所示:principal:代表的是认证方式#!/bin/sh#--------------------------------------------#Date:#Author:#------------------------------------------------################################################./etc
weifengLD
·
2020-07-28 14:43
大数据
Spark 写入数据到Hive分区表
0.登录hive数据库,这里采用
beeline
[secret~]$beelinebeeline>!
mengjiangxi
·
2020-07-28 14:25
Spark thriftserver和
beeline
的简单使用
1.设置元数据库如果不设置,则使用$SPARK_HOME/metastore_db/,是只支持单用户的derby创建$SPARK_HOME/conf/hive-site.xmljavax.jdo.option.ConnectionURLjdbc:mysql://hostname:3306/hive_meta?createDatabaseIfNotExist=trueJDBC的连接字符串,如果没有h
hashFusion
·
2020-07-28 04:56
spark
hive
一.SparkSQL中thriftserver和
beeline
的使用
使用的前提是你已经安装好了spark,在这里我使用的版本是spark-2.0.2-bin-hadoop2.7,建议使用该版本,因为试了几个版本都不理想,最后找到了这个版本感觉挺好的,学习SparkSQL很方便.1.首先是启动thriftserver服务端:服务器端是在spark目录下的sbin目录下,但是启动的时候不能直接使用./start-thriftserver.sh进行启动,会报没有设置ma
飞翔的小宇宙
·
2020-07-28 02:20
Spark
SQL
Hive的若干操作
HiveServer2服务端配置与启动hiveserver2后台启动启动hiveserver2和metastorehive--servicemetastore&hiveserver2$HIVE_HOME/bin/
beeline
-ujdbc
野马16
·
2020-07-27 23:24
大数据
Hive中
beeline
连接报错 Required field 'client_protocol' is unset! Struct:TOpenSessionReq
报错信息如下:Requiredfield‘client_protocol’isunset!Struct:TOpenSessionReq(client_protocol:null,configuration:{use:database=defalut})19/04/2700:05:38ERRORHiveConnection:Erroropeningsessionorg.apache.thrift.T
Peasmaster
·
2020-07-27 18:02
Hive
hiveserver2+kerberos+sentry多用户权限管理
1kerberos配置1.1kerberos新建principal1.2导出对应的keytab文件2Sentry设置2.1用hiveserver2服务对应的tgt连接
beeline
2.2创建role2.3
nanata1115
·
2020-07-27 15:16
kerberos
Hive创建、删除数据库
1、使用hive客户端命令创建表,命令如下:注:发现hive客户端和hiveserver2不能同时使用,但可以使用
beeline
。
beeline
使用如下:输入命令:
beeline
然后输入连接命令:!
一度凡尘
·
2020-07-27 14:58
hive
hive
数据库
sparksql集成sentry遇到的问题
org.apache.hadoop.hive.metastore.api.MetaException:UserxxxdoesnothaveprivilegesforCREATETABLE',然而通过hive的
beeline
RacingHeart
·
2020-07-27 13:55
Spark Sql 分布式SQL引擎&&Pandas PySpark使用
可以使用Spark或Hive附带的
beeline
脚本测试JDBC服务器启动JDBC/ODBC服务器Spa
OnTheRoad_Kang
·
2020-07-16 05:37
Big
Data
技术点
Spark
SQL
hive笔记
hivesetmapreduce.job.queuename=productionsethive.execution.engine=spark/mr;
beeline
连接hivebeeline!
时待吾
·
2020-07-16 02:54
spark-
beeline
导出hive表数据到csv方法,乱码原因及解决方案
亲测语句1:spark-
beeline
-ujdbc:hive2://10.254.1.1:13002,10.254.1.1:13002,10.254.1.1:13002--verbose=true--outputformat
SunWuKong_Hadoop
·
2020-07-15 19:08
hive
spark
学习笔记(01):大数据与数据仓库入门到精通-Hive及impala安装部署
utm_source=blogtoedu#
beeline
#!
zdltkvxdut
·
2020-07-15 12:20
研发管理
hive的
beeline
连接方式
*##启动后台启动hs2服务,将输出日志输出到指定目录,然后使用
beeline
方式连接到hive上。
yoohhwz
·
2020-07-15 11:54
Hive
大数据_——利用hive仓库模拟数据进行日活、日新、留存数据的分析统计(详细代码步骤)
开启服务的方式连接hive:bin/
beeline
!
安安DE爸爸
·
2020-07-15 06:03
大数据
HDFS
hive
hadoop
通过远程jdbc方式连接到hive数据仓库
1.启动hiveserver2服务器,监听端口10000$>hive--servicehiveserver2&netstat-anop|grep100002.通过
beeline
命令行连接到hiveserver2
缘定三石
·
2020-07-14 23:44
Hive实战
三、HIVE 高级进阶笔记
1.hiveserver2bin/hiveserver2进入服务后端bin/
beeline
-ujdbc:hive2://$HS2_HOST:$HS2_PORT前段命令窗口,跟hiveshell一样操作2
冷叶飘零
·
2020-07-14 14:20
hive
hive的安装使用总结
折腾了三天,断断续续,到今天周五,终于搞定了,安装好Hive后,执行bin中的hive即可进入直接输入showtables;或者先启动hiveserver2,然后运行
beeline
,然后连接DB,执行showtables
linfenliang
·
2020-07-14 13:54
bigdata
nosql
hive快速上手
加入了启动hiveserver2并使用
beeline
客户端连接的步骤,去掉了直接使用hivecli的部分。
老朱.
·
2020-07-14 09:41
hadoop生态圈
hive
hiveserver2
beeline
Hive学习知识汇总
的学习3.1建表(createtable)3.2Hive内部表与外部表3.3Hive的分区3.4Hive表复制与数据的加载3.5Serde(Serializer&Deserializer)3.6Hive的
Beeline
心的步伐
·
2020-07-14 08:47
大数据学习
SQuirreL SQL客户端连接hive库
在安装hive数据库后,最好用外置客户端连接测试下,必须保证
beeline
和hiveserver2连接正常,着重注意hiveserver2是否启动,下图为正常连接有时会报错误,推荐博客https://blog.csdn.net
Way_Of_Heart
·
2020-07-13 11:37
大数据
Linux
hive server 2 服务端及
beeline
client客户端 远程debug方式
hiveserver2服务端代码远程debug调试方式:1.idea添加debug远程调试,如下:2.将idea远程debug参数添加到vihadoop_conf/hadoop-env.sh中HADOOP_CLIENT_OPTS配置项中,如:exportHADOOP_CLIENT_OPTS="-Xmx5g-agentlib:jdwp=transport=dt_socket,server=y,sus
merrily01
·
2020-07-13 08:23
随手记
beeline
通过HiveServer2访问Hive的配置和操作
1.前言作为数据仓库的工具,hive提供了两种ETL运行方式,分别是通过Hive命令行和
beeline
客户端;命令行方式即通过hive进入命令模式后通过执行不同的HQL命令得到对应的结果;相当于胖客户端模式
Heavbird
·
2020-07-12 15:44
大数据
Hive(四)函数(json_tuple和parse_url_tuple)/topN通用解法/
Beeline
连接
json_tuple创建一个只有一个string类型的字段来存放json数据的表,将下列类型数据load进表中:hive(d1_hive)>select*fromrating_jsonlimit10;OKrating_json.json{"movie":"1193","rate":"5","time":"978300760","userid":"1"}{"movie":"661","rate":"
钻石大门
·
2020-07-12 11:59
Hive
Spark Thrift Server 架构和原理介绍
因为SparkThriftServer的接口和协议都和HiveServer2完全一致,因此我们部署好SparkThriftServer后,可以直接使用hive的
beeline
访问SparkThriftServer
大数据技术架构
·
2020-07-12 02:41
Spark计算引擎
Hive基础总结及练习(自己总结的精华,基础复习只看这一篇就够了)
1.两种连接Hive的工具(1)通过
beeline
(2)通过commandLine命令行使用方法如下图解释:-e表示执行sql语句-f表示从一个文件中执行sql
望隐少年
·
2020-07-12 02:52
Hive运行报错:Java heap space
另外我使用hive的
beeline
连接hive运行sql出现同样的内存溢出错误。我在hive里设置了setio.sort.mb=10;可是还是有些数据分析可以运行,有些还会报错。
歌在路上
·
2020-07-11 19:30
大数据
hiveserver2连接报错:“User: xxx is not allowed to impersonate yyy (state=08S01,code=0)”
在用hive的
beeline
或者用DBeaver远程连接hiveserver2的时候,会报这样类似的错误:User:xxxisnotallowedtoimpersonateyyy(state=08S01
歌在路上
·
2020-07-11 19:30
大数据
HIVE总结
userinterface:hivecli,hiveclient,hwiHiveCLI(hivecommandlineinterface):Hive命令行交互模式,默认支持HiveClient(jdbc/odbc/
beeline
坦然之
·
2020-07-11 15:05
数据库
Python编程问题处理
SyntaxError:(unicodeerror)'unicodeescape'codeccan'tdecodebytes...出现这种问题的原因是打开的文件名,"C:\Users\Eric\Desktop\
beeline
.txt
论文通
·
2020-07-11 07:33
爬虫工程师带你分析反爬虫防护交互流程,当真受益匪浅!
其反爬虫的手段较多,大概分为:pencil、
beeline
、click、slide、voice等多种验证方式,尤其Slide方式是基于大数据的智能行为验证,用户体验较好很得客户青睐,比如我要抢鞋的官网就是基于它来做用户登录的身份验证
编程界的泥石流
·
2020-07-10 17:50
Hive的单节点集群详细启动步骤
一定要先去看这篇博客,如下再谈hive-1.0.0与hive-1.2.1到JDBC编程忽略细节问题HadoopHive概念学习系列之hive三种方式区别和搭建、HiveServer2环境搭建、HWI环境搭建和
beeline
weixin_30871905
·
2020-07-10 07:06
【Hive】常用的操作
连接hive先开启hiveserver2然后
beeline
连接[root@hadoop1conf]#
beeline
--hiveconfhive.server2.logging.operation.level
BIG*BOSS
·
2020-07-10 00:54
hive
向hive写入数据
1.使用命令“hive”或者命令“
beeline
-ujdbc:hive2://[安装HIVE主机的IP]:10000”进入cli模式直接使用insertinto插入2.hql作为字符串在shell脚本中执行
y_m_h
·
2020-07-09 02:49
Hive on spark 配置
1.配置1.1配置hive使用spark引擎1.1.1临时配置sethive.execution.engine=spark;在hive或
beeline
窗口运行该命令,则在该会话的sql将会使用spark
BenHahaha
·
2020-07-06 06:07
大数据
hive 未初始化元数据库报错
启动hive-metastore和hive-server2用
beeline
连接hive报错[root@node04hive]#beelineBeelineversion0.13.1-cdh5.3.0byApacheHivebeeline
weixin_33834075
·
2020-07-05 23:39
hive
beeline
拒绝连接的错误
1、启动hadoop2、开启metastore在开启hiveserver2服务nohuphive--servicemetastore>>log.out2>&1&nohuphive--servicehiveserver2>>log.out2>&1&查看进程是否起起来:tandemac:bintanzhengqiang$jps-ml|grepHive27154org.apache.hadoop.uti
zhengqiangtan
·
2020-07-05 15:28
hive
hive on spark
1.6hive测试1.7spark配置1.8读取hive数据二.hive三种模式1、内嵌Derby方式2.Local方式3.Remote方式(远程模式)三.sparksql远程连接(thriftserver--
beeline
飛翔的大雁
·
2020-07-05 10:33
BigData
大数据学习hadoop3.1.13——Hive操作命令相关
一、HiveJDBC访问1)启动
beeline
客户端bin/
beeline
-ujdbc:hive2://hadoop101:10000-ncaron2)看到如下界面Connectingtojdbc:hive2
Caron_xcb
·
2020-07-05 09:14
Hadoop
Hive UDF使用资源文件及动态更新方案
Hive0.13版本开始支持自定义永久函数(PermanentFunction),可以将函数注册到HiveMetastore,通过Hive/
Beeline
/SparkSQL可以直接引用,不需要类似
demigelemiao
·
2020-07-04 09:48
Hive
Hive3.1.2安装操作与问题解决记录
hadoop3.Xhive3.1.2安装参考链接相关启动命令nohuphive--servicemetastore1>/dev/null2>&1&nohuphiveserver21>/dev/null2>&1&
beeline
-ujdbc
聆听金生
·
2020-07-04 03:29
hive
Hadoop生态组件之Hive环境搭建--第十讲(hive实战-java连接hive)
/
beeline
然后输入!connectjdbc:hive2://ip地址:10000rootroot后面两个是你创建的用户名和密码如果能连接上就表示jdbc没有问题了注:!con
郝文龙
·
2020-07-01 15:38
hadoop
hive
hive join 查询
beeline
方式连接hive$
beeline
-ujdbc:hive2://localhost:10000/test_db-nharvey-p数据准备customers表0:jdbc:hive2://localhost
harveybd
·
2020-07-01 09:05
Hive
beeline
连接hiveserver2
在hive服务器端启动hiveserver2(即metastore服务所在的服务器)hiveserver2通过
beeline
连接有两种连接方式1.
beeline
-ujdbc:hive2://localhost
hello_zzw
·
2020-06-30 21:41
大数据
hive
Impala和hive数据同步
[root@bd-130~]#
beeline
-u'jdbc:hive2://192.X.X.X:10000/default'-nhive-phive首先,我们在hive命令行执行showdatabases
鲲鹏小飞猪
·
2020-06-30 20:29
Hadoop生态
数据处理工具
大数据入门教程系列之Hive篇汇总
HiveDDLDML及SQL操作4、Hadoop2.7.4编译支持5种压缩(Hive压缩)5、大数据入门教程系列之Hive的JavaAPI操作6、大数据入门教程系列之Hive内置函数及自定义函数7、使用hive的
beeline
zjh_746140129
·
2020-06-30 18:18
hive
Hive的
beeline
连接的方式
用户客户端连接:1)jdbc|odbc2)hiveserver2远程其他节点连接hive将hive的服务端启动启动为后台服务通过指定的工具在任意节点上连接hivejdbc配置:hive底层的数据存在hdfs的客户端连接hive的时候连接hdfshdfs需要开启连接权限的1)修改hdfs的配置文件修改的hadoop的连接权限1)hdfs-site.xml$hadoop_home/etc/hadoop
浮萍人生丶
·
2020-06-30 17:12
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他