spark-sql

spark 执行 hive sql数据丢失

spark-sql丢失数据1.通过spark执行hivesql的时候，发现hive四条数据，spark执行结果只有两条数据目标对应的两条数据丢失selectdate，user_id，payfromdim.isr_pay_failedwhereuser_id
qq_40841339·2025-06-07 13:38

Spark-SQL核心编程

数据的加载与保存加载数据的方法选项参数：可以通过选项参数传入URL地址、用户名、密码和数据表名称等。路径参数：可以传入加载数据的路径。MySQL语句：可以直接导入MySQL语句来加载数据。保存数据的方法通用方法：使用df.write方法保存数据。格式和选项：可以指定保存的数据格式和选项参数。保存模式：可以选择不同的保存模式（如追加、覆盖、忽略、报错）。数据源格式默认数据源格式：SparkSQL默认
凉白开338·2025-05-15 19:17

Spark-SQL

Spark-SQLSparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。HiveandSparkSQL，SparkSQL可以简化RDD的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是SparkSQL。SparkSQL为了简化RDD的开发，提高开发效率，提供了2个编程抽象，类似SparkCore中的RDD➢DataFrame➢Data
海金沙33·2025-05-11 01:14

Spark SQL开发实战：从IDEA环境搭建到UDF/UDAF自定义函数实现

利用IDEA开发Spark-SQL1、创建子模块Spark-SQL，并添加依赖org.apache.sparkspark-sql_2.123.0.03、创建Spark-SQL的测试代码：importorg.apache.spark.SparkConfimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql
哈哈~156·2025-04-28 12:44

Spark-SQL核心编程

1.Spark-SQL数据加载与保存-通用方式：加载使用spark.read.load，可通过format("…")指定数据类型，load("…")传入数据路径，option("…")设置JDBC参数。保存用df.write.save，同样可指定类型、路径和JDBC参数，还能通过mode()设置SaveMode处理已存在文件。-Parquet格式：SparkSQL默认数据源，加载和保存操作简单，无
桑榆0806·2025-04-22 09:09

Spark-SQL简介与编程

1.Spark-SQL是什么SparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。Hadoop与Spark的对比Hadoop的局限性Hadoop无法处理结构化数据，导致一些项目无法推进。例如，MySQL中的数据是结构化的，Hadoop无法直接处理。Spark的出现Spark解决了Hadoop无法处理结构化数据的问题。Spark推出了SparkSQL模块，专
凉白开338·2025-04-22 09:39

Spark-SQL编程

1.Spark-SQL连接Hive连接方式概述：SparkSQL编译时可选择包含Hive支持，包含后能支持Hive表访问、UDF、HQL等功能，且无需事先安装Hive。连接方式有内嵌Hive、外部Hive、Spark-SQLCLI、Sparkbeeline及代码操作。具体连接方式内嵌Hive：使用时无需额外操作，但实际生产中很少使用。外部Hive：在spark-shell中连接外部Hive，需拷贝
桑榆0806·2025-04-22 09:08

Spark-SQL核心编程

Spark-SQL核心编程（四）实验内容：利用IDEA开发Spark-SQL。
露卡_·2025-04-21 01:39

spark-SQL核心编程课后总结

通用加载与保存方式加载数据：Spark-SQL的spark.read.load是通用加载方法，借助format指定数据格式，如csv、jdbc、json等；load用于指定数据路径；option在jdbc
一元钱面包·2025-04-21 01:09

Spark-SQL与Hive的连接及数据处理全解析

Spark-SQL与Hive的连接及数据处理全解析在大数据处理领域，Spark-SQL和Hive都是重要的工具。今天就来聊聊Spark-SQL如何连接Hive以及相关的数据处理操作。
不要天天开心·2025-04-21 01:38

Spark-SQL核心编程

利用IDEA开发Spark-SQL。
zzh-·2025-04-19 16:59

Spark-SQL核心编程：DataFrame、DataSet与RDD深度解析

在大数据处理领域，Spark-SQL是极为重要的工具。今天就来深入探讨Spark-SQL中DataFrame、DataSet和RDD这三个关键数据结构。
不要天天开心·2025-04-18 11:51

spark-SQL核心编程

1.Spark-SQL简介起源与发展：Spark-SQL前身为Shark，因对Hive依赖制约Spark发展而被弃用。它汲取Shark优点重新开发，在数据兼容、性能优化和组件扩展方面表现出色。
桑榆0806·2025-04-18 10:16

Spark-SQL2

Spark-SQL一.Spark-SQL核心编程（二）利用IDEA开发Spark-SQL创建子模块Spark-SQL，并添加依赖org.apache.sparkspark-sql_2.123.0.0创建
戈云 1106·2025-04-17 14:37

Spark-SQL3

Spark-SQL一.Spark-SQL核心编程（四）1.数据加载与保存：1）通用方式：SparkSQL提供了通用的保存数据和数据加载的方式。
戈云 1106·2025-04-17 14:36

Spark-SQL核心编程实战：自定义函数与聚合函数详解

在大数据处理领域，Spark-SQL是极为重要的工具。今天和大家分享一下在Spark-SQL开发中的自定义函数和聚合函数的使用，这些都是基于实际项目开发经验的总结。
不要天天开心·2025-04-17 13:30

spark spark-sql提交方式及参数优化建议

目前spark提交命令有spark-shell、spark-submit、spark-sql三种方式，下面我就来看看spark-sql的提交方式。
爱折腾的小土豆·2025-04-17 12:25

Spark-Sql编程（三）

一、数据加载与保存通用方式：使用spark.read.load和df.write.save，通过format指定数据格式（如csv、jdbc、json等），option设置特定参数（jdbc格式下的url、user等），load和save指定路径。保存时可通过mode设置SaveMode，如ErrorIfExists（默认，文件存在则抛异常）、Append（追加）、Overwrite（覆盖）、Ig
煤烦恼·2025-04-17 12:24

spark-sql cli 参数及使用

原文地址https://www.cnblogs.com/mobiwangyue/p/9049928.html很难找到spark-sqlcli使用的教程，总结下一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql--masterspark://master:7077--total-executor-cores10--executor-memory1g--exe
千淘万漉·2025-04-16 15:01

spark-sql日志屏蔽

aliasmyspark-sql='spark-sql--driver-java-options"-Dlog4j.configuration=file:/spark/conf/log4j-warn.properties"'
jinruoqq·2025-04-16 14:00

Spark-sql编程

创建子模块并添加依赖‌在IDEA中创建一个名为Spark-SQL的子模块。
神奇的黄豆·2025-04-16 14:28

spark-sql

实验内容：利用IDEA开发Spark-SQL。
什么芮.·2025-04-16 14:58

spark-sql提交参数详解整理

#1.spark任务提交当SPARK-SQL开发完成后需要将其提交到大数据平台上去跑，提交的时候需要对要使用的资源参数进行设置，目的：a.让任务在正确的环境下运行b.根据任务自身情况，设置合理参数，提高运行效率
海阔天空_81·2025-04-15 23:15

避免Hive和Spark生成HDFS小文件

Hive和spark-sql是两个在常用的大数据计算分析引擎，用户直接以SQL进行大数据操作，底层的数据存储则多由HDFS提供。
穷目楼·2025-03-03 22:36

HIVE- SPARK

日常记录备忘Hive修改字段类型之后（varchar->string）Hive可以查到数据，Presto查询报错;分区字段数据类型和表结构字段类型不一样；spark-sql分区表和非分区表兼容问题，不能关联可以建临时表把分区数据导入
流川枫_·2025-02-19 13:14

编程常用命令总结

编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523·2024-09-13 02:42

spark任务优化参数整理

以下参数中有sql字眼的一般只有spark-sql模块生效，例外的时候会另行说明，此外由于总结这些参数是在不同时间段，当时使用的spark版本也不一样，因此要注意是否有效，如果本博主已经试过的会直接说明
尘世壹俗人·2024-09-06 09:08

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki5·2024-09-03 07:39

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
不想起的昵称·2024-03-02 15:03

hive join中出现的数据暴增（数据重复）

我们来看一下案例：spark-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid
不想起的昵称·2024-03-02 15:03

记一次spark-sql数据倾斜解决方案

spark-sql数据倾斜解决方案背景今天在做一张埋点事实表，需要关联几张维表，补充一些维度属性。
王糍粑的小夕·2024-01-10 08:20

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。##使用方法csv```spark.sql("select*fromcsv.
kikiki4·2024-01-09 09:18

spark-sql字段血缘实现

spark-sql字段血缘实现背景ApacheSpark是一个开源的大数据处理框架，它提供了一种高效、易于使用的方式来处理大规模数据集。
王糍粑的小夕·2024-01-09 07:32

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
大猪大猪·2024-01-04 07:02

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-30 07:34

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。##使用方法csv```spark.sql("select*fromcsv.
kikiki4·2023-12-28 03:49

Java SparkSql 2.4.0 ArrayIndexOutOfBoundsException error

在spark-core/spark-sql之前添加以下依赖项为我解决了这个问题。com.thoughtworks.paranamerparanamer2.8
smileyboy2009·2023-12-26 10:56

阻断血缘关系以及checkpoint文件清理

spark-sql读写同一张表，报错Cannotoverwriteapaththatisalsobeingreadfrom1.增加checkpoint，设置检查点阻断血缘关系sparkSession.sparkContext.setCheckpointDir
Keep hunger·2023-12-25 04:21

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki5·2023-12-20 08:02

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala、Spark-Sql
偶余杭·2023-12-15 17:22

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-06 11:16

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-06 01:07

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-06 01:40

Hudi-集成Spark之spark-sql方式

Hudi集成Spark之spark-sql方式启动spark-sql#启动spark-sql之前需要先启动Hive的Metastorenohuphive--servicemetastore&#针对Spark3.2spark-sql
迷雾总会解·2023-12-04 02:01

spark-sql 指定metastore地址、读取mysql

spark-sql-hivespark-sql--databasesrc--hiveconfhive.metastore.uris=thrift://hdp02:2083-e"select*fromsrc_db2"--driver-java-options'-Djava.net.preferIPv4Stack=true'spark-sql-jdbc1.启动spark-sql##--driver-c
qzWsong·2023-12-04 02:00

【Spark九十四】spark-sql工具的使用

spark-sql是Sparkbin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过hive>输入的指令可以通过spark-sql>输入的指令来完成。
axxbc123·2023-12-04 02:59

高效率：使用DBeaver连接spark-sql

提高运行效率一般采取底层使用spark引擎替换成hive引擎的方式提高效率，但替换引擎配置较为复杂考虑到兼容版本且容易出错，所以本篇将介绍使用DBeaver直接连接spark-sql快速操作hive数据库
open_test01·2023-12-01 14:48

SPARK-SQL中join问题

首先抛出Dataset的join算子在spark-sql_2.11版本2.3.0中所有重载方法：由于本人公司产品在执行挖掘任务时任务过长，划分stage过多，并且在过程中存在着关联关系，因此不得不进行数据关联。首次本人在编写代码时使用Seq的join方式：Datasetselect=json1.select("id","callID");SeqcallID=JavaConverters.asSca
marvinbb·2023-11-29 12:33

Spark-sql离线抽取全量数据到hive分区表中

先建立spark连接valspark:SparkSession=SparkSession.builder().appName("test").master("local[*]).enableHiveSupport().getOrCreate()控制日期格式并获取当前日期(这里做了-1)valdateStr=newSimpleDateFormat("yyyyMMdd")valcalendar=Cal
77zhi·2023-11-21 10:53

SPARK-SQL - RDD/Dataset/DataFrame的互相转换

转换用到的方法如下rdd()，as()，toDF()代码示例importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.rdd.RDD;importorg.apache.spark.sql.*;importpojo.Dog;import
小哇666·2023-11-18 21:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他