ThriftServer

【平台运维】Hive ThriftServer报错解决

处理了一个问题，记录一下通过DBVisualizer连接HiveServer2，报错：org.apache.thrift.transport.TTransportException:java.net.SocketException:Softwarecausedconnectionabort:socketwriteerror查了一下发现是用户用的hive版本和hivedriver驱动版本不一致，解决
PowerMe·2020-07-30 04:49

spark基础之Spark SQL和Hive的集成以及ThriftServer配置

如果希望Maven编译Spark时支持Hive,需要给定-Phive-Phive-thriftserver。
happy19870612·2020-07-29 02:32

HBase原理--客户端

由于HBase本身是Java开发的，所以非Java语言的客户端需要先访问ThriftServer，然后通过ThriftServer的JavaHBase客户端来请求HBase集群。
小明的数据脚印·2020-07-28 23:32

Spark-ThriftServer源码分析

Spark1.1之后的版本引入了ThriftServer和CLI，使得Hive用户和RDBMS用户可以直接通过JDBC方式提交SQL至Spark运行而无需编写sparksql代码，下面对spark-thriftserver
RacingHeart·2020-07-28 14:30

修改spark thriftserver返回日志信息

通过sparkthriftserver提交sql至spark运行时，由于thriftserver默认读取的是本地的日志文件，因此getQueryLog会返回空，为了支持spark运行模式下返回任务运行信息
RacingHeart·2020-07-28 14:59

SparkSQL（3）：开启ThriftServer服务

一、实现功能SparkSQL的ThriftServer服务其实就是Hive的hiveServer2服务，只是将底层的执行改成spark，同时在spark上启动。
RayBreslin·2020-07-28 13:39

Spark thriftserver连elasticsearch

spark/lib，下载地址为：https://www.elastic.co/products/hadoop/2.需要在/usr/local/spark/conf的hive-site.xml中进行配置3.启动thriftserver
rongyongfeikai2·2020-07-28 10:21

thriftserver与spark application的区别

一.ThriftServer介绍ThriftServer是一个JDBC/ODBC接口，用户可以通过JDBC/ODBC连接ThriftServer来访问SparkSQL的数据。
亮大兵·2020-07-28 09:16

Spark thriftserver和beeline的简单使用

1.设置元数据库如果不设置，则使用$SPARK_HOME/metastore_db/，是只支持单用户的derby创建$SPARK_HOME/conf/hive-site.xmljavax.jdo.option.ConnectionURLjdbc:mysql://hostname:3306/hive_meta?createDatabaseIfNotExist=trueJDBC的连接字符串，如果没有h
hashFusion·2020-07-28 04:56

一.SparkSQL中thriftserver和beeline的使用

使用的前提是你已经安装好了spark,在这里我使用的版本是spark-2.0.2-bin-hadoop2.7,建议使用该版本,因为试了几个版本都不理想,最后找到了这个版本感觉挺好的,学习SparkSQL很方便.1.首先是启动thriftserver
飞翔的小宇宙·2020-07-28 02:20

【九】Spark SQL用JDBC代码访问ThriftServer

1.启动ThriftServer默认端口在10000可修改cd/app/spark/spark-2.2.0-bin-2.9.0.
jy02268879·2020-07-28 01:20

解决maven编译spark1.5报错问题

/make-distribution.sh--tgz-Phadoop-2.4-Pyarn-DskipTests-Dhadoop.version=2.4.0-Phive-Phive-thriftserver-Pspark-ganglia
weixin_30275415·2020-07-27 13:10

SparkSql

目录（SparkSql）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）SparkSQL由core，catalyst，hive和hive-thriftserver4
sean_spring·2020-07-16 03:40

利用yum升级cdh hbase0.90至0.94（即chd3-》cdh4）

一.集群布局haoop06thriftserver、hbasemaster、zookeeperserverhadoop01~04thriftserver、hbaseregionserver、zookeeperhadoop07
lxf310·2020-07-16 03:35

thriftserver log4j.properties 生效

/home/isuhadoop/spark2/sbin/start-thriftserver.sh--driver-class-path/home/isuhadoop/ark_data_bin/jar/
lingzhi007·2020-07-16 02:46

HBase thrift/thrift2 使用指南

Thriftserver简介Thriftserver是HBase中的一种服务，主要用于对多语言API的支持。
weixin_34304013·2020-07-12 09:38

用happybase查询hbase时出现ThriftServer报错

【运行环境】javaSE1.8.0_101，hadoop-2.7.3，HBase-1.1.2，Zookeeper-3.4.6，python2.7，happybase1.1.0【作业报错信息】IOError:IOError(message='org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException:Failed69992a
Tony_仔·2020-07-11 16:30

大数据技术分享：SparkSQL访问Hive遇到的问题及解决方法

core-site.xml，hive的hive-site.xml拷贝到project中测试代码报错查看源码解决方法将$HIVE_HOME/lib下的spark-hive_2.11-2.4.2.jar与spark-hive-thriftserver
xinxindsj·2020-07-09 02:58

Zeppelin 搭建遇到的若干坑

最近搭建zeppelin，单独起了一台spark-thriftserver，进行hive库的查询。遇到了N多坑，这边记录一下几个主要的地方。当然，有zeppelin相关的疑问也欢迎在文末评论！
Deegue·2020-07-06 14:38

Go Thrift RPC

ThriftServer架构流程图image.pngThriftServerGo里面开启一个TCPServer服务很简单，这得益于gonet库对底层socket的封装。
carlSQ·2020-07-05 14:23

hive on spark

安装1.5注意问题1.6hive测试1.7spark配置1.8读取hive数据二.hive三种模式1、内嵌Derby方式2.Local方式3.Remote方式(远程模式)三.sparksql远程连接（thriftserver
飛翔的大雁·2020-07-05 10:33

cloudera cdh编译carbondata

我们使用的是cdh版，所以编译命令是：mvn-DskipTests-Pspark-1.6-Dspark.version=1.6.0-cdh5.10.2cleanpackage遇到一个坑是spark-hive-thriftserver
fz1989·2020-07-04 16:18

spark基础之spark sql运行原理和架构

SparkSQL由Core、Catalyst、Hive、Hive-ThriftServer四部分构成：Core:负责处理数据的输入和输出，如获取数据，查询结果输出成DataFra
happy19870612·2020-06-30 14:44

设置spark thriftServer2 端口

/sbin/start-thriftserver.sh\--masteryarn\
wuzhilon88·2020-06-29 21:14

SparkSQL ThriftServer配置及连接测试

一.ThriftServer介绍ThriftServer是一个JDBC/ODBC接口，用户可以通过JDBC/ODBC连接ThriftServer来访问SparkSQL的数据。
泪痕残·2020-06-27 05:56

Hive架构、角色进程、访问流程

自带的命令行接口执行HiveQL、设置参数等功能JDBC/ODBC：用户可以使用JDBC或者ODBC的方式在代码中操作HiveWebGUI：浏览器接口，用户可以在浏览器中对Hive进行操作（2.2之后淘汰HWI）2、ThriftServer
双椒叔叔·2020-06-25 13:42

Ranger、LLAP管理SparkSQL权限配置(hiveserver2)

转载：https://zhuanlan.zhihu.com/p/35647068概述之前一直使用ranger管理hive的用户权限，现在系统要集成SparkSQL(thriftserver)，但是在ranger
W609392362·2020-06-22 07:52

spark的thrift-jdbcodbc-server+kerberos编程

2.3.3/sql-programming-guide.html#running-the-thrift-jdbcodbc-server2.启动和连接测试2.1在找到spark的sbin目录，启动start-thriftserver.sh
SimpleSimpleSimples·2020-06-22 05:15

spark参数

Driverspark.driver.coresdriver端分配的核数，默认为1，thriftserver是启动thriftserver服务的机器，资源充足的话可以尽量给多。
史鸿福·2020-06-10 15:45

Spark SQL ThriftServer

SparkSQLThriftServer启动命令默认情况下，Spark日志目录SPARK_LOG_DIR指向SPARK_HOME/logs，如因权限访问控制，可以通过显示设置环境变量SPARK_LOG_DIR，将日志目录指向其它路径，如：exportSPARK_LOG_DIR=/tmp/spark_client_logs启动/data0/spark/spark-2.2.1-bin/sbin/sta
demigelemiao·2020-05-26 13:00

spark无法同时启动thriftserver和spark-sql CLi的解决办法

报错如下：Initialjobhasnotacceptedanyresources:Investigatingtheclusterstate查看spark的8080页面发现，两个任务资源不够用（借用的图，忘记截屏了，但是意思一样）spark主要是因为spark默认为应用有一个初始分配资源的配置，如果机器配置不合理，就会导致资源申请失败需要修改spark-defaults.conf下的两个参数：sp
nicklbx·2020-04-12 11:48

python读取hive表

安装thrift_sasl（hive要开启thriftserver）注意pypi上的包有bug，要从github源码包安装gitclonehttps://github.com/cloudera/thrift_sasl.gitcdthrift_saslpythonsetup.pyinstall
ghymark·2020-04-03 20:24

Spark on Hive-derby数据库-thriftserver-多客户端使用

首先，要明确sparkonhive和hiveonspark的区别。--sparkonhive：是spark通过spark-sql使用hive语句操作hive，底层运行的还是sparkrdd。它是通过sparksql来加载hive的配置文件，获取到hive的元数据信息，这样就可以拿到hive的所有表的数据，接下来就可以用sparksql来操作hive表中的数据。--hiveonspark：是hive
铁虫_bcde·2020-03-26 10:05

如何在Spark平台搭建ThriftServer

ThriftJDBCServer描述ThriftJDBCServer使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBCServer进行交互使用。ThriftJDBCServer默认监听端口是10000。使用ThriftJDBCServer前需要注意：1、将hive-site.xml配置文件拷贝到$SPARK_HOME/co
这个该叫什么呢·2020-02-26 11:59

spark 参数调优详解

1、背景有需要的可以联系我2317384986yxxy1717①ApplicationProperties应用基本属性spark.driver.coresdriver端分配的核数，默认为1，thriftserver
清风_d587·2020-02-25 10:41

Spark 2.0.0 编译

/make-distribution.sh--tgz-Phadoop-2.6-Phive-Phive-thriftserver-Py
明月的味道·2020-02-19 11:38

打造基于thrift的RPC服务

这种处理方式有两个比较大的弊端：第一：客户端与服务端的关联太紧密，耦合性强第二：服务的信息没有形成配置化，不易中心化调用我在参考了slimina的大作，不过他是基于原生的thriftserver来访问的
igool·2020-02-09 01:56

「Spark」Spark SQL Thrift Server运行方式

SparkSQL提供两种方式来运行SQL：通过运行ThriftServer直接执行SparkSQL命令行运行ThriftServer方式1、先运行Hivemetastorenohuphive--servicemetastore
M。一直走·2020-02-01 22:00

「Spark」Spark SQL Thrift Server运行方式

SparkSQL提供两种方式来运行SQL：通过运行ThriftServer直接执行SparkSQL命令行运行ThriftServer方式1、先运行Hivemetastorenohuphive--servicemetastore
M。·2020-02-01 22:00

thrift client 报 EOF 的错误

服务B是thriftserver，上线后，服务A报EOF错误。据此怀疑以下几点：C/S端协议不一致。CR代码，发现S端协议中增加了新的required字段。
zippera·2020-01-06 06:16

spark on yarn部署

spark.apache.org/docs/latest/running-on-yarn.html下载spark2.0.2的源码后在根目录进行编译dev/make-distribution.sh\-Phive-Phive-thriftserver
breeze_lsw·2020-01-01 02:20

spark-sql thriftserver 方式使用hive udf函数

udf.jar;--添加jar，jar存放在hdfs上createfunctionyour_udf_nameas'com.alibaba.udf.UDFgetuuid';--创建函数2、在start-thriftserver.sh
赵简书·2019-12-30 04:41

spark 通过 Thrift JDBC/ODBC server 实现web JDBC查询

查询引擎，web程序通过JDBC连接实现sql查询;实现步骤：运行ThriftJDBC/ODBCserver在Spark目录下运行下面这个命令，启动一个JDBC/ODBCserversbin/start-thriftserver.sh
在路上_Rogge·2019-11-28 07:42

spark系统实现yarn资源的自动调度

当一个长期运行的服务（比如ThriftServer），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源张，这就造成了很大的资源浪费和资源不合理的调度。
达微·2019-11-28 01:45

服务间调用修改

RELEASE1.6org.apache.thriftlibthrift${libthrift.version}com.wyun.utilsutils${thrift.util.version}com.wyun.thriftserver
EddieZhang·2019-11-08 03:37

Spark开发常用参数

Driverspark.driver.coresdriver端分配的核数，默认为1，thriftserver是启动thriftserver服务的机器，资源充足的话可以尽量给多。
XIAO的博客·2019-09-27 13:00

20-SparkSQL01

SQLonHadoopHiveImpalaPrestoSharkDrillPhoenixSparkSQLHiveonSparkMapReduceTezSparkSparkAPISQLDataFrame/Datasetstart-thriftserver.shSparkSQLisnotaboutS
CrUelAnGElPG·2019-09-21 22:00

20-SparkSQL01

SQLonHadoopHiveImpalaPrestoSharkDrillPhoenixSparkSQLHiveonSparkMapReduceTezSparkSparkAPISQLDataFrame/Datasetstart-thriftserver.shSparkSQLisnotaboutS
CrUelAnGElPG·2019-09-21 22:00

Ambari2.7.3-HDP3.1.0集群页面添加HBase2.0.2(HBase Thrift Server和Rest Server)控制按钮

文章目录背景介绍集成hbase_restserver.pyhbase_thriftserver.py集成ambariAmbari安装HBase背景介绍hbase组件是HDP自带组件，缺少HBaseThriftServer
@TangXin·2019-09-03 16:34

7. Spark SQL的运行原理

SparkSQL由Core、Catalyst、Hive、Hive-ThriftServer四部分构成：Core：负责处理数据的输入和输出，如获取数据，查询结果输出成DataF
铖歌·2019-08-01 17:00
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他