Spark3.X

spark3.x 写入hudi报错

报错信息如下：Exceptioninthread"main"org.apache.hudi.exception.HoodieUpsertException:Failedtoupsertforcommittime20231201202516518atorg.apache.hudi.table.action.commit.BaseWriteHelper.write(BaseWriteHelper.ja

南城守护·2023-12-02 08:52

spark3.x 读取hudi报错

报错信息如下：Exceptioninthread"main"org.apache.hudi.exception.HoodieUpsertException:Failedtoupsertforcommittime20231201203145254atorg.apache.hudi.table.action.commit.BaseWriteHelper.write(BaseWriteHelper.ja

南城守护·2023-12-02 08:48

Spark 9：Spark 新特性

Spark3.0新特性AdaptiveQueryExecution自适应查询(SparkSQL)由于缺乏或者不准确的数据统计信息(元数据)和对成本的错误估算(执行计划调度)导致生成的初始执行计划不理想，在Spark3

ZhaoXiangmoStu·2023-10-11 20:28

在Spark中集成和使用Hudi

1.安装Hudi适用于Spark-2.4.3+和Spark3.x版本。1.1Spark3支持矩阵Hudi

shangjg3·2023-10-06 06:46

Hadoop3.x入门-Spark3.x部署

1.前言Spark集群模式包括：Local，Standalong，Yarn，Kubernetes，但在生产环境中SparkOnYarn是主流。其中，Spark提供计算服务，Yarn提供资源调度能力，HDFS提供存储。本文介绍如何部署Spark3.1.3OnYarn，这种模式下，Spark没有集群的概念，而是作为一个客户端组件向Yarn提交自定义Jar包程序任务，只需要将Spark相关配置配好并部署

-小末·2023-09-14 10:06

Spark实例学习(一)spark3.x集群搭建

目录集群规划spark安装包下载虚拟机搭建NAT静态网络配置Hadoop集群搭建scala安装配置spark修改conf下文件分发虚拟机修改启动文件名配置历史日志启动sparkUI界面查看测试spark与hadoop集群是否配置成功集群规划集群类型spark01masterspark02workerspark03workerspark安装包下载http://archive.apache.org/d

阳光里哭泣的狗·2023-09-14 10:34

【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何进行DDL DML操作以及Catalog plugin API

让你从复杂的Lambda架构中解放出来,上篇文章我们分析了delta是如何自定义自己的sql,这篇文章我们分析一下delta数据是如何基于CatalogpluginAPI进行DDLDMLsql操作的(spark3

鸿乃江边鸟·2023-08-06 19:50

Spark 3.0中 Spark SQL优化

在Spark3.x版本提供AdaptiveQueryExecution自适应查询技术，通过在”运行时”对查询执行计划进行优化，允许Planner在运行时执行可选计划，这些可选计划将会基于运行时数据统计进行动态优化

不忘初欣丶·2023-04-09 06:16

SparkSql之用户自定义函数

2）Spark3.x推荐使用extendsAggregator自定

万事万物·2023-02-18 20:08

spark 入门

国内镜像https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.2.1/启动方式举例：将spark3.x的tar包上传linux，解压进入bin

乘以零·2023-02-06 03:30

自编译Spark3.X，支持CDH 5.16.2(hadoop-2.6.0-cdh5.16.2)

参考文章Kyuubi实践|编译Spark3.1以适配CDH5并集成Kyuubi-技术圈(proginn.com)https://jishuin.proginn.com/p/763bfbd67cf6https://issues.apache.org/jira/browse/SPARK-35758https://jishuin.proginn.com/p/763bfbd67cf6[SPARK-3575

四木の君·2022-12-15 12:12

spark3.x 集群部署

一.zookeeper集群部署#配置hosts解析cat>/etc/hosts/etc/profile.d/zookeeper.sh/opt/zookeeper/conf/zoo.cfg/opt/zookeeper/data/myid[root@spark02~]#echo'2'>/opt/zookeeper/data/myid[root@spark03~]#echo'3'>/opt/zookee

Cocktail_py·2022-11-27 15:32

Spark3.x入门到精通-阶段四(SparkSql详解&java&scala实战)

SparkSQL简介SparkSQL是Spark中的一个子模块，主要用于操作结构化数据。它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC，JSON和JDBC等；支持HiveQL语法以及HiveSerDes和UDF，允许你访问现有的Hi

顶尖高手养成计划·2022-08-18 20:44

Spark3.x入门到精通-阶段三(深度剖析spark处理数据全流程)

深度剖析spark原理简介深度剖析源码加图解spark处理数据全流程spark内核开篇图下面是Standalone集群模式的情况，yarn集群也是大同小异向集群submit一个应用以后，启动一个Application,里面会启动一个Driver进程Driver里面会生成一个sparkContext，每一个action执行都会启动一个job初始化sparkContext以后会生成一个DAGsched

顶尖高手养成计划·2022-07-16 15:26

Spark3.x入门到精通-阶段五(SparkStreaming详解原理&java&scala双语实战)

SparkStreaming简介SparkStreaming是Spark的一个子模块，用于快速构建可扩展，高吞吐量，高容错的流处理程序。具有以下特点：通过高级API构建应用程序，简单易用；支持多种语言，如Java，Scala和Python；良好的容错性，SparkStreaming支持快速从失败中恢复丢失的操作状态；能够和Spark其他模块无缝集成，将流处理与批处理完美结合；SparkStream