kyuubi

Python请求kyuubi rest API

通过Python请求kyuubirestAPIDemo代码kyuubi版本：1.7.1kyuubi官网：https://kyuubi.readthedocs.io/en/master/收获通过Python
甜甜的巧克力阿·2024-02-07 09:24

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

Spark内容分享(二十)：网易基于 Kyuubi + Spark 内核优化以及实践

AQE–Shuffle3.AQE-SmallReducePartition4.AQE–SkewedReducePartition5.AQE–OptimizePlanKyuubi+Spark数仓类任务优化实践1.Kyuubi
之乎者也··2024-01-02 10:21

Apache Kyuubi 讲解与实战操作

文章目录一、概述二、SparkKyuubi架构三、Hadoop基础环境安装1）hadoop下载部署包2）创建网络3）部署MySQL4）部署HadoopHive四、SparkKyuubi安装1）下载Kyuubi2
大数据老司机·2023-12-21 02:02

以csv为源 flink 创建paimon 临时表相关 join 操作

目录概述配置关键配置测试启动kyuubi执行配置中的命令bug解决bug01bug02结束概述目标：生产中有需要外部源数据做paimon的数据源，生成临时表，以使用与现有正式表做相关统计及join操作。
流月up·2023-12-15 15:00

kyuubi整合flink yarn application model

目录概述配置flink配置kyuubi配置kyuubi-defaults.confkyuubi-env.shhive验证启动kyuubibeeline连接使用hivecatalogsql测试结束概述flink
流月up·2023-12-15 03:14

T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践

在日前的ApacheSeaTunnel&Kyuubi联合Meetup上，T3出行大数据平台负责人、ApacheKyuubicommitter杨华和T3出行高级大数据工程师李心恺共同分享了ApacheKyuubi
网易杭研·2023-12-03 23:41

DBT踩坑第二弹

考虑到开源组件Kyuubi也是基于Hiveserver2，使用的thrift协议，所以采用Kyuubi执行SparkSQL。
淡定一生2333·2023-11-26 10:02

杭州 Meetup｜ Apache Kyuubi & Celeborn，助力 Spark 拥抱云原生

ApacheSpark作为如今大数据离线计算领域事实标准，被广泛应用。ApacheCeleborn（Incubating）是大数据引擎统一中间数据服务，除了支持Shuffle，未来还会支持Spilleddata，帮助计算节点解除对大容量本地盘的依赖。这是在阿里云上诞生的第一个Apache孵化项目。2022年10月正式进入Apache孵化器，截至目前我们积累了1200+的Commits，56个Con
Apache Spark中国社区·2023-11-11 08:19

使用kyuubi查询出现集群单节点cpu飙升问题

问题现象：单节点cpu飙升初步定位原因是:业务人在查询操作时，表被锁表，查询不出结果，就反复执行，导致堆积，并kyuubi又是高并发操作。
墨卿风竹·2023-10-26 11:30

kyuubi的查询遇到的问题NoneType‘ object has no attribute ‘_getitem_‘

对一个空的查询结果进行索引操作：如果你执行了一个查询语句，但是返回的结果为空，那么在尝试对结果进行索引访问时就会触发此错误。在进行索引操作之前，应该先检查查询的结果是否为空，以避免此错误。还有可能是cpu过高的造成的
墨卿风竹·2023-10-18 19:49

Apache Kyuubi & Celeborn，助力 Spark 拥抱云原生

简介：10月14日13:00-17:30，ApacheKyuubi&Celeborn社区将在杭州举办「ApacheKyuubi&Celeborn(Incubating)助力Spark拥抱云原生」Meetup，欢迎报名参会！ApacheSpark作为如今大数据离线计算领域事实标准，被广泛应用。ApacheCeleborn（Incubating）是大数据引擎统一中间数据服务，除了支持Shuffle，未
阿里云大数据AI技术·2023-10-16 12:40

Kyuubi

GetstartedStartEnginesEnginesarelaunchedbytheserverautomaticallywithoutendusers’attention.Ifyouusethesameuserintheabovecasetocreateanotherconnection,theenginewillbereused.Youmaynoticethatthetimecostfo
zhixingheyi_tian·2023-09-10 19:46

spark读取hive phoenix映射

背景最近在调研Kyuubi，由于原有作业中有使用Hive读取Phoenix映射表因此需要做一些适配.过程适配不需要改动代码，只需要拷贝相关jar到sparkjars中即可(phoenix以及hbase)
ThomasgGx·2023-08-10 18:51

Java使用hive连接kyuubi

一、Maven依赖org.apache.hivehive-jdbc2.3.9二、相关配置信息驱动类：org.apache.hive.jdbc.HiveDriver连接URL:jdbc:hive2://xxx:2181,xxx:2181/;principal=hadoop/xxx@EMR-GMxxx;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=
偷代码的猫·2023-07-28 19:29

Kyuubi入门简介

一、官方简介HOME—ApacheKyuubi二、概述1、一个企业级数据湖探索平台2、一个高性能的通用JDBC和SQL执行引擎3、一个基于spark的查询引擎服务三、优点1、提供hiveserver2查询sparksql的能力，查询效率更为高效，首次构建连接时会持续保持连接session，高效执行后续sql2、提供更为安全、完整的权限校验（Kerberos认证）3、提供高可用性和负载均衡、弹性资源
偷代码的猫·2023-07-27 06:02

kyuubi的优化参数（全）

kyuubi的优化参数（全）kyubi.dynamic.resource:设置为true，启用动态资源调整功能。这将允许Kyuubi根据当前负载和资源可用性自动调整任务的资源分配。
墨卿风竹·2023-07-21 00:38

报错annot modify kyubi.dynamic.resource at runtime. It is not in list of params that are allowed to be

有些Kyuubi的配置参数只能在启
墨卿风竹·2023-07-21 00:08

Kyuubi的介绍优势（官网链接）

官网链接：https://kyuubi.apache.org/ApacheKyuubi™是一个分布式多租户网关，用于在数据仓库和Lakehouse上提供无服务器SQL。
墨卿风竹·2023-07-21 00:07

Kyuubi基本安装与使用指南

本文为kyuubi入门文章，介绍了Kyuubi基本安装与使用，并以Spark引擎为例讲述如何提交第一个SparkSQL任务。
BigDataToAI·2023-06-13 01:10

hadoop3.1.4+hive3.1.2+spark3.1.3+kyuubi1.5.1集成

环境|yfbd-virtual-machine-01|10.216.6.227|zookeeperdatanodenamenodesparkmaster/workhivehivemetastore||yfbd-virtual-machine-02|10.216.6.228|zookeeperdatanodesenamenodesparkworkhive||yfbd-virtual-machine-
于飞_d529·2023-04-16 19:27

我们怎么做开源

网易数帆是一家商业化组织，为什么要做开源，而且还把项目捐赠给基金会（今年我们把Kyuubi项目捐赠给了Apache基金
wangyuanzju·2023-04-05 23:27

Kyuubi 解锁 Spark SQL on CDH 6

随着Spark3.0的重磅发布，在性能方面又迎来了一次飞跃，本文将描述把Spark3集成到CDH6.3.1(未开启Kerberos)的过程，并使用Kyuubi替换HiveServer2，实现OLAP、ETL
517001e7cb6e·2023-01-28 19:10

Apache Kyuubi 成为 Apache 基金会顶级项目！

2022年12月22日，Apache软件基金会（ASF）官方宣布ApacheKyuubi正式毕业，成为顶级项目（TLP）。ApacheKyuubi是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器SQL。项目最初由网易数帆开发并于2018年开源，2021年6月捐赠Apache基金会，经过1年多的孵化于2022年11月通过投票，在12月顺利毕业，成为Apache基金会顶级开源项目！Apac
·2023-01-09 15:49

基于kyuubi+spark3 加速hive批计算任务

0x01架构kyuubi1.3.0spark3.1.2Scala2.12Submarine:SparkSercu
wangfann·2023-01-08 12:37

SQL Proxy 角色重叠

在原有架构中，我们以最简单的方式引入Kyuubi，为客户提供了另一种查询引擎的可能，但是这样的引入很明显存在其短板：1.JDBC链路太长用户从发起的JDBC连接到最终开始执行SQL，中间需要分别经过UniSQL
feidodo网络·2022-12-30 05:13

Apache Kyuubi 成为 Apache 基金会顶级项目！

2022年12月22日，Apache软件基金会（ASF）官方宣布ApacheKyuubi正式毕业，成为顶级项目（TLP）。ApacheKyuubi是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器SQL。项目最初由网易数帆开发并于2018年开源，2021年6月捐赠Apache基金会，经过1年多的孵化于2022年11月通过投票，在12月顺利毕业，成为Apache基金会顶级开源项目！Apac
·2022-12-29 17:46

多点DMALL × Apache Kyuubi：构建统一SQL Proxy探索实践

本文将从引入Kyuubi实现统一SQLProxy的角度讲述这一探索实践的历程。
·2022-12-23 22:49

自编译Spark3.X，支持CDH 5.16.2(hadoop-2.6.0-cdh5.16.2)

参考文章Kyuubi实践|编译Spark3.1以适配CDH5并集成Kyuubi-技术圈(proginn.com)https://jishuin.proginn.com/p/763bfbd67cf6https
四木の君·2022-12-15 12:12

CDH6.3.2（cdh5适用）集成自制Kyuubi Parcel（自定义parcel部署到CM）

CDH6.3.2（cdh5适用）集成自制KyuubiParcel（自定义parcel部署到CM）前言参考文章一、部署前准备1.maven2.cm_ext-master二、环境安装1.maven环境2.上传并解压文件3.配置setting文件3.1配置maven本地存储路径3.2修改镜像地址为阿里地址三、cm_ext-master下载编译1.下载2.解压编译四、parcel包、csd概念介绍五、下载
佑白4399·2022-12-15 11:06

Kyuubi 实践 | Apache Kyuubi on Spark 在CDH上的深度实践

Kyuubi简介Kyuubi是网易有数的大数据开源项目，于2021年6月全票通过进入世界顶级开源基金会ApacheSoftwareFoundation孵化器。
大数据技术架构·2022-12-15 11:27

Kyuubi1.4.0集成spark3.2.0

目录一、Kyuubi1.4.0集成spark3.2.0单机部署二、Kyuubi1.4.0集群模式部署三、Kyuubi问题四、参数解释五、KyuubiMetrics六、参考网址一、Kyuubi1.4.0集成
咖啡加冰不加糖~·2022-12-15 11:21

CDH5适配spark3.0集成kyuubi详细教程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档CDH5适配spark3.0集成kyuubi详细教程前言参考文章一、编译环境准备二、环境安装1.maven环境（Java和Scala环境这里就不说了
佑白4399·2022-12-15 11:33

Apache Kyuubi 在B站大数据场景下的应用实践

01背景介绍近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示，我们的BI、ADHOC以及DQC服务都是通过自研的Dispatcher路由服务来实现统一SQL调度，Dispatcher会结合查询SQL语法特征、读HDFS量以及当前引擎的负载情况，动态
·2022-12-01 13:24

Apache Hudi X Apache Kyuubi，中国移动云湖仓一体的探索与实践

分享嘉宾：孙方彬中国移动云能力中心软件开发工程师编辑整理：HohXil出品平台：DataFunTalk导读：在云原生+大数据的时代，随着业务数据量的爆炸式增长以及对高时效性的要求，云原生大数据分析技术，经历了从传统数仓到数据湖，再到湖仓一体的演进。本文主要介绍移动云云原生大数据分析LakeHouse的整体架构、核心功能、关键技术点，以及在公有云/私有云的应用场景。主要内容包括：湖仓一体概述移动云L
·2022-12-01 13:51

多点DMALL × Apache Kyuubi：构建统一SQL Proxy探索实践

本文将从引入Kyuubi实现统一SQLProxy的角度讲述这一探索实践的历程。
·2022-11-30 12:40

Apache Kyuubi 在B站大数据场景下的应用实践

01背景介绍近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示，我们的BI、ADHOC以及DQC服务都是通过自研的Dispatcher路由服务来实现统一SQL调度，Dispatcher会结合查询SQL语法特征、读HDFS量以及当前引擎的负载情况，动态
·2022-10-31 01:49

Apache Hudi X Apache Kyuubi，中国移动云湖仓一体的探索与实践

分享嘉宾：孙方彬中国移动云能力中心软件开发工程师编辑整理：HohXil出品平台：DataFunTalk导读：在云原生+大数据的时代，随着业务数据量的爆炸式增长以及对高时效性的要求，云原生大数据分析技术，经历了从传统数仓到数据湖，再到湖仓一体的演进。本文主要介绍移动云云原生大数据分析LakeHouse的整体架构、核心功能、关键技术点，以及在公有云/私有云的应用场景。主要内容包括：湖仓一体概述移动云L
·2022-09-06 17:33

Apache Kyuubi 在小米大数据平台的应用实践

导读：今天分享的主题是《Kyuubi在小米大数据平台的应用实践》，主要分为四部分内容：Kyuubi在小米的落地过程打造易用和高可用的Kyuubi服务基于kyuubi的改进kyuubi的一些新特性在业务场景的应用
·2022-09-02 16:56

T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践 网易数帆 网易数帆

在日前的ApacheSeaTunnel&Kyuubi联合Meetup上，T3出行大数据平台负责人、ApacheKyuubicommitter杨华和T3出行高级大数据工程师李心恺共同分享了ApacheKyuubi
·2022-03-31 16:34

eBay 基于 Apache Kyuubi 构建统一 Serverless Spark 网关的实践

本文来自eBay软件工程师、ApacheKyuubiPPMCMember王斐在ApacheSeaTunnel&Kyuubi联合Meetup的分享，介绍了ApacheKyuubi(Incubating)的基本架构和使用场景
·2022-03-25 12:25

Apache Kyuubi调研

1.QuickStart1.1下载安装启动下载：https://github.com/NetEase/kyuubi/releasestarzxvfkyuubi-1.2.0-bin-spark-3.0-hadoop2.7
静哥哥~·2022-03-18 05:57

Apache Kyuubi & SeaTunnel 联合 Meetup | 见证中国大数据崛起！

十多年来，Apache社区一向是大数据技术的风向标。去年，5个源自中国的新项目进入ASF项目孵化器，其中3个是大数据相关项目，更是见证了本土大数据的雄起。2022年3月12日（星期六），ApacheKyuubi和ApacheSeaTunnel两大新锐社区携手，邀请来自eBay、T3出行、oppo等团队的五位实战型专家，从技术实践到业务优化，从项目发展到社区参与，为企业大数据开发者、开源技术爱好者带
·2022-03-02 10:28

从消息到数据湖：看 Apache RocketMQ、Hudi、Kyuubi 最新进展

简介：聚焦消息队列&数据湖场景，ApacheRocketMQwithHudi&Kyuubi上海的开发者小伙伴们，12月18号，ApacheRocketMQ&ApacheHudi&ApacheKyuubi
·2021-11-22 12:50

Apache Kyuubi 助力 CDH 解锁 Spark SQL

ApacheKyuubi(Incubating)（下文简称Kyuubi）是⼀个构建在SparkSQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供高可用、多租户能力。
·2021-11-18 16:07

从消息到数据湖：看 Apache RocketMQ、Hudi、Kyuubi 最新进展

本场活动聚焦ApacheRocketMQ及Hudi，Kyuubi数据湖结合，帮助开发者能更好地应对业务挑战。活动将邀请喜马拉雅、平安证券、网易、阿里云的众多技术专家，共同为大家分享Ap
·2021-11-17 20:45

Hadoop Meetup 2021 回顾 - Apache Kyuubi 助力 CDH 解锁 Spark SQL

ApacheKyuubi(Incubating)（下文简称Kyuubi）是⼀个构建在SparkSQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供高可用、多租户能力。
网易杭研·2021-11-17 11:48

Apache Kyuubi 在 T3 出行的深度实践

*支撑了80%的离线作业，日作业量在1W+*大多数场景比Hive性能提升了3-6倍*多租户、并发的场景更加高效稳定T3出行是一家基于车联网驱动的智慧出行平台，拥有海量且丰富的数据源。因为车联网数据的多样性，T3出行构建了以ApacheHudi为基础的企业级数据湖，提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言，平台的技术门槛是另一种挑战。如果能将平台的能力统合，并不断地优化和迭代，让用
·2021-11-12 15:26

Apache Kyuubi 在 T3 出行的深度实践

支撑了80%的离线作业，日作业量在1W+大多数场景比Hive性能提升了3-6倍多租户、并发的场景更加高效稳定T3出行是一家基于车联网驱动的智慧出行平台，拥有海量且丰富的数据源。因为车联网数据的多样性，T3出行构建了以ApacheHudi为基础的企业级数据湖，提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言，平台的技术门槛是另一种挑战。如果能将平台的能力统合，并不断地优化和迭代，让用户能够
网易数帆·2021-11-12 15:00

COSCon‘21 精彩回顾 | Apache Kyuubi 在 T3 出行的深度实践

支撑了80%的离线作业，日作业量在1W+大多数场景比Hive性能提升了3-6倍多租户、并发的场景更加高效稳定T3出行是一家基于车联网驱动的智慧出行平台，拥有海量且丰富的数据源。因为车联网数据的多样性，T3出行构建了以ApacheHudi为基础的企业级数据湖，提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言，平台的技术门槛是另一种挑战。如果能将平台的能力统合，并不断地优化和迭代，让用户能够
网易杭研·2021-11-12 09:33
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他