hivecatalog

execute sql error: HdfsOrcScanner::do_open failed. reason = Failed to parse the postscript from file

目录一、背景概述二、定位原因三、解决方法一、背景概述通过hivecatalog同步hive表数据到starrocks数据库，结果报错执行语句：insertintosr_db.sr_table_nameselect
chimchim66·2025-01-27 11:52

Fink CDC数据同步（三）Flink集成Hive

1目的持久化元数据Flink利用Hive的MetaStore作为持久化的Catalog，我们可通过HiveCatalog将不同会话中的Flink元数据存储到HiveMetastore中。
苡~·2024-02-04 07:20

大数据技术-Hudi学习笔记

学习相关文档hudi源码编译Hudi基本使用操作步骤集成Flink-SQL-Client方式环境准备数据写入集成Flink-代码编写方式代码地址环境准备编写代码提交运行集成Hive环境准备同步Hive使用HiveCatalog
笑一笑、·2024-01-25 09:51

Flink集成Hive之Hive Catalog

流程流程:Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流表insert进Hive,注意分区时间字段需要为yyyy-MM-dd形式,否则抛出异常
实时即未来·2024-01-13 09:44

4 Paimon数据湖之Hive Catalog的使用

更多Paimon数据湖内容请关注：https://edu.51cto.com/course/35051.htmlPaimon提供了两种类型的Catalog：FilesystemCatalog和HiveCatalog
大数据徐葳·2023-11-10 13:32

6 Hive引擎集成Apache Paimon

前面我们在Flink代码里面，借助于HiveCatalog，实现了在Flink中创建Paimon表，写入数据，并且把paimon的元数据信息
大数据徐葳·2023-11-10 12:18

Flink SQL Hive Connector使用场景

目录1.介绍2.使用2.1注册HiveCatalog2.2HiveRead2.2.1流读关键配置2.2.2示例
数据与后端架构提升之路·2023-11-01 23:25

flink读取hive数据写入mysql_【翻译】Flink Table Api & SQL — Hive —— 读写 Hive 表

使用HiveCatalog和Flink的Hive连接器，Flink可以读取和写入Hive数据，以替代Hive的批处理引擎。确保遵循说明在您的应用程序中包括正确的依赖项。
295515812·2023-10-25 11:17

Flink实战之Kafka To Hive

HiveCatalog由于写hive表必须基于hivecatalog，所以需要注册hivecatalo
〇白衣卿相〇·2023-10-20 17:45

Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12

本文分享，将继续介绍Flink集成Hive的另外两个概念：HiveCatalog与HiveDialect。本文包括以下内容，希望对你有所帮助。
大数据技术与数仓·2023-09-15 12:37

hivecatalog异常

Causedby:org.apache.flink.table.api.ValidaationException:Couldnotfindanyfactoryforidentifier'hive’thatimplements'org.aapache.flink.table.planner.delegation.ParserFactory’intheclasspath.flink1.14.4使用hi
arbalest1080·2023-09-06 08:10

流数据湖平台Apache Paimon（二）集成 Flink 引擎

文章目录第2章集成Flink引擎2.1环境准备2.1.1安装Flink2.1.2上传jar包2.1.3启动Hadoop2.1.4启动sql-client2.2Catalog2.2.1文件系统2.2.2HiveCatalog2.2.3sql
Maynor996·2023-08-30 03:14

Hudi系列13:Hudi集成Hive

Hivejar包到Flinklib目录2.1.3Flink以及FlinkSQL连接Hive的jar包2.2重启hive2.3Flink访问Hive表2.3.1启动FlinkSQLClient2.3.2创建hivecatalog2.3.3
只是甲·2023-08-13 02:51

Iceberg 合并datafiles、manifest files，清除过期snapshot、删除孤立文件

本文Iceberg使用的为HiveCataLog，依赖HiveMemstore1、首先获取要操作的表对象及SparkSessionimportorg.apache.iceberg.
xhaoDream·2023-08-12 12:56

新一代开源流数据湖平台Apache Paimon入门实操-上

文章目录概述定义核心功能适用场景架构原理总体架构统一存储基本概念文件布局部署环境准备环境部署实战Catalog文件系统HiveCatalog创建表创建Catalog管理表查询创建表（CTAS）创建外部表创建临时表修改表修改表修改列修改水印概述定义
IT小神·2023-08-04 04:55

Iceberg从入门到精通系列之十八：一篇文章深入了解Flink对Iceberg的支持

五、Hivecatalog六、类型转换七、待支持的功能ApacheIceberg支持ApacheFlink的DataStreamAPI和TableAPI。一、Flink支持的iceb
最笨的羊羊·2023-07-20 11:54

Iceberg从入门到精通系列之一：Iceberg核心概念理解

Iceberg核心概念理解一、Iceberg核心概念二、Iceberg表结构三、数据文件四、表快照Snapshot五、清单列表Manifestlist六、表快照、数据文件和清单列表之间的关系七、Catalog八、HiveCatalog
最笨的羊羊·2023-06-23 11:23

Iceberg从入门到精通系列之二：Iceberg集成Hive

Iceberg集成Hive一、Hive引入Iceberg的jar包二、修改hive-site.xml三、启动hadoop集群四、启动hive元数据服务五、进入Hive数据库六、创建和管理Catalog七、使用HiveCatalog
最笨的羊羊·2023-06-23 10:22

flink1.14 sql基础语法（二） flink sql表定义详解

flink1.14sql基础语法（二）flinksql表定义详解一、表的概念和类别1.1表的标识结构每一个表的标识由3部分组成：catalogname(常用于标识不同的“源”，比如hivecatalog
undo_try·2023-04-15 00:01

实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）

系列文章目录提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言1.启动flinksql2.建kafka表3.读kafka的数据写入到kafka4.写入到iceberg4.1创建hivecatalog
*星星之火*·2023-04-14 03:18

实践数据湖iceberg 第五课 hive catalog特点

本节：了解hivecatalog与hadoopcatalog的区别，进行认识1.建立hivecatalog，建表创建hive_catalog与表CREATECATALOGhive_catalog4WITH
*星星之火*·2023-04-14 03:48

Flink 1.17 Flink-SQL-Gateway HiveServer2 源码分析

源码解析目录汇总一、研究背景最近公司想通过JDBC的方式使用flinksqlgateway，Flink官方提供了HiveServer2的flink-sql-gateway使用方式，但是Flink官方这里使用的是HiveCatalog
EdwardsWang丶·2023-04-03 08:41

Flink TableAPI和SQL（二十四）连接到外部系统（Hive）

Flink提供了“Hive目录”（HiveCatalog）功能，允许使用Hive的“元存储”（Metastore）来管理Flink的元数据。这带来的好处体现在两个方
Alienware^·2023-03-19 11:30

Flink HiveCatalog

HiveMetastore作为一个元数据管理的标准在Hadoop生态系统中已经成为公认的事实，因此Flink也采用HiveCatalog作为表元数据持久化的介质。
sunrising_hill·2023-03-19 11:24

Flink on Hive构建流批一体数仓

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。
大数据技术与数仓·2023-02-02 11:53

Flink1.10.0读取并插入Hive1.2.1

FLink读取+插入Hive数据入坑指南Flink1.9以上版本可以使用hivecatalog读取Hive数据，但是1.9对于Hive的版本支持不太友好，只支持2.3.4和1.2.1，笔者用的Hive版本是比较老的版本
嘿嘿hhahaah·2023-02-02 11:49

flink与iceberg的集成

flink与iceberg的集成一、概述二、iceberg优势三、Flink+Iceberg搭建使用3.1准备3.2创建catalogs和使用catalogs3.2.1Hivecatalog3.2.2Hadoopcatalog3.2.3Customcatalog3.2.4CreatethroughYAMLconfig3.3DDL
明月清风，良宵美酒·2022-12-18 16:31

【Flink实战系列】Flink SQL 实时同步数据到 Hive

通过HiveCatalog,ApacheFlink可以对ApacheHiveTables进行统一的BATCH和STREAM处理。
JasonLee实时计算·2022-12-10 13:58

Flink SQL 结合 HiveCatalog 使用

Flink支持HiveCatalog作为表元数据持久化的介质，在生产环境我们一般采用HiveCatalog来管理元数据,这样的好处是不需要重复使用DDL创建表,只需要关心业务逻辑的SQL,简化了开发的流程
JasonLee实时计算·2022-12-10 13:58

【FLINK SQL CLIENT】使用flink 1.11.2 sql client 使用HiveCatalog实践过程

版本：ApacheFlink1.11.2forScala2.11下载地址：https://mirror.bit.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.11.tgz下载地址官网有变动，我直接贴最全的flink下载地址，可以自行在上面下载：Indexof/dist/flinkHive2.1.1参考官方Example链接：Ap
Zsigner·2022-12-10 13:50

使用Scala/Java对Iceberg数据湖的Hive Catalog/Hadoop Catalog/HDFS Path进行表操作

目录1.HiveCatalog(创建表、加载表、重命名表、删除表)2.HadoopCatalog(创建表、加载表、重命名表、删除表)3.直接通过HDFSPath创建、加载、删除HadoopCatalog
Bulut0907·2022-07-13 08:35

使用Flink1.14 + Iceberg0.13构建数据湖

目录1.FlinkSQLClient配置Iceberg2.Java/Scalapom.xml配置3.Catalog3.1HiveCatalog3.2HDFSCatalog4.数据库和表相关DDL命令4.1
Bulut0907·2022-07-13 08:35

Apache Iceberg 数据湖从入门到放弃(2) —— 初步入门

目前Iceberg主要支持HiveCatalog和HadoopCatalog两种Catalog。
黄瓜炖啤酒鸭·2022-07-13 08:15

Flink v1.12 Hive

一是利用了Hive的MetaStore作为持久化的Catalog，用户可通过HiveCatalog将不同会话中的
CarloPan·2021-10-02 14:04

Flink on Hive构建流批一体数仓-flink1.12

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。
javastart·2021-02-23 18:34

Flink SQL1.12 三 Hive 内表和外表读写

***HiveCatalog的作用***hive的兼容表和非兼容表is_generic=true***Dialect的作用SETtable.sql-dia
Lara1111·2021-02-15 22:52

Flink1.12集成Hive打造自己的批流一体数仓

但是随着Flink1.12版本的发布，Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过
王知无(import_bigdata)·2021-01-10 19:05

Flink on Hive构建流批一体数仓

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。
大数据技术与数仓·2021-01-06 02:22

Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12

本文分享，将继续介绍Flink集成Hive的另外两个概念：HiveCatalog与HiveDialect。本文包括以下内容，希望对你有所帮助。
大数据技术与数仓·2021-01-06 02:44

Flink on Hive构建流批一体数仓

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。
大数据技术与数仓·2021-01-06 01:21

Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12

本文分享，将继续介绍Flink集成Hive的另外两个概念：HiveCatalog与HiveDialect。本文包括以下内容，希望对你有所帮助。
大数据技术与数仓·2020-12-22 11:28

Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12

本文分享，将继续介绍Flink集成Hive的另外两个概念：HiveCatalog与HiveDialect。本文包括以下内容，希望对你有所帮助。
大数据技术与数仓·2020-12-22 09:25

Flink SQL 中动态修改 DDL 的属性

Flink支持使用HiveCatalog来管理Flink的元数据信息,HiveCatalog通过授权用户仅创建一次表和其他元数据对象，这样就避免了重复创建kafka流表,节省了大量的时间,对于不同的用户来说
JasonLee'blog·2020-12-20 10:00

Flink 1.10 SQL、HiveCatalog与事件时间整合示例

本文用根据埋点日志计算PV、UV的简单示例来体验Flink1.10的两个重要新特性，一是SQLDDL对事件时间的支持，二是HiveMetastore作为Flink的元数据存储（即HiveCatalog）
LittleMagic·2020-08-21 17:42

Flink教程--flink 1.11 使用sql将流式数据写入hive

文章目录修改hive配置案例讲解引入相关的pom构造hivecatalog创建hive表将流数据插入hive，遇到的坑问题详解修改方案修改hive配置上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用
大数据技术与应用实战·2020-08-21 07:41

13.2、Flink Table API & SQL - Hive 之 读写Hive表

使用HiveCatalog和Flink到Hive的连接器，Flink可以读写Hive数据，作为Hive批处理引擎的替代。
飞朋·2020-07-09 06:47

Flink使用Hive Metastore管理元数据

Flink1.10提供了HiveCatalog连接HiveMetastore，可以将kafka表元数据存储到HiveMeta
zhdan~·2020-06-30 13:43

Flink 1.10.0 读取并插入Hive1.2.1

FLink读取+插入Hive数据入坑指南Flink1.9以上版本可以使用hivecatalog读取Hive数据，但是1.9对于Hive的版本支持不太友好，只支持2.3.4和1.2.1，笔者用的Hive版本是比较老的版本
wangyu_qiuxue·2020-06-27 13:22

Flink 1.10 SQL、HiveCatalog与事件时间整合示例

本文用根据埋点日志计算PV、UV的简单示例来体验Flink1.10的两个重要新特性，一是SQLDDL对事件时间的支持，二是HiveMetastore作为Flink的元数据存储（即HiveCatalog）
LittleMagics·2020-06-24 16:04

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

本文用根据埋点日志计算PV、UV的简单示例来体验Flink1.10的两个重要新特性：一是SQLDDL对事件时间的支持；二是HiveMetastore作为Flink的元数据存储（即HiveCatalog）
ApacheFlink·2020-06-04 01:34
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他