Spark-SQL

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
大猪大猪·2023-09-17 19:17

Spark集成hudi创建表报错

环境描述：hudi版本：0.13.1spark版本：3.3.2Hive版本：3.1.3Hadoop版本：3.3.4问题1：描述：按照官方文档运行spark-sql创建spark的hudi表报错建表语句：
Toroidals·2023-09-14 12:32

org.apache.spark.sql.functions汇总

除UDF函数，均可在spark-sql中直接使用。经过importorg.apache.spark.sql.functions._，也可以用于Dataframe，Dataset。
kamisamak·2023-09-03 01:41

Spark SQL 函数全集

除UDF函数，均可在spark-sql中直接使用。经过importorg.apache.
一步难登天mzk·2023-09-03 01:41

Spark SQL函数总结

.排序函数8.字符串函数9.UDF函数10.窗口函数org.apache.spark.sql.functions是一个Object，提供了约两百多个函数大部分函数与Hive的差不多除UDF函数，均可在spark-sql
明月清风，良宵美酒·2023-09-03 01:41

Spark SQL 函数

除UDF函数，均可在spark-sql中直接使用。经过importorg.apache.spark.sql.f
'煎饼侠·2023-09-03 01:11

用seatunnel替代logstash，把数据从kafka抽取到ES

seatunnel(2.1.3)调用spark-sql(2.4)、flink-sql(1.14)对结构化数据进行处理；能够通过配置，在一个任务里调度多个source和sink文章目录一、为sparkstructuredstreaming
百战天王·2023-09-02 19:07

日志解析方法汇总

prefix=tran&max=2HTTP/1.1"--spark-sql解析字段(按csv格式读取)createtemporaryviewtmpusingcsvoptions('path'='oss_path
盛源_01·2023-08-30 04:21

spark常用参数

spark-sql\--masteryarn\--deploy-modeclient\--num-executors"20"\--executor-cores"2"\--executor-memory"
scottzcw·2023-08-17 05:53

spark-sql(jdbc)本地模式导出csv或Excel文件

1.spark-sql读取数据jdbc或者hive数据本地模式导出依赖org.apache.poipoi-ooxml5.2.1org.apache.poipoi5.2.1jxljxl1.0commons-iocommons-io2.11.0注意：当前excel和commons-io版本都是较较新版本，而commons-io在spark的jars安装目录下也在commons-io的包，如版本冲突，找
SimpleSimpleSimples·2023-08-13 10:02

注册spark UDF实例1【入门必修第一篇，简单函数注册，scala，python】

写在前面：关于spark的UDF你不得不清楚的区分和理解它适用的范围（spark-Sql还是DataFrame）和不同语言下的使用方法（scala还是python）。1、注册SQL的UDF自定义函数。
Just Jump·2023-08-11 18:19

Spark SQL & Elasticsearch

SparkSQL&Elasticsearch一、读取二、转换三、写入四、适配分析器方案五、示例一、读取使用spark-sql读取es数据如下代码所示：SparkSessionsession=SparkSession.builder
柴狗狗·2023-08-09 12:55

1、sparkStreaming概述

1、sparkStreaming概述1.1SparkStreaming是什么它是一个可扩展，高吞吐具有容错性的流式计算框架吞吐量：单位时间内成功传输数据的数量之前我们接触的spark-core和spark-sql
Wzideng·2023-08-07 13:51

在 spark-sql / spark-shell / hive / beeline 中粘贴 sql、程序脚本时的常见错误

有时候我们会粘贴一段已经成功运行过的SQL或程序脚本，但是在spark-sql/spark-shell/hive/beeline中执行时可能会报这样的错误：hive>CREATEEXTERNALTABLEIFNOTEXISTSORDERS
　Laurence·2023-08-03 10:59

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-08-02 17:58

spark-sql : “java.lang.NoSuchFieldError: out“ 异常解决

异常现象atjava.lang.reflect.Method.invoke(Method.java:498)atorg.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)atorg.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkS
骑着蜗牛向前跑·2023-08-02 03:30

spark-sql处理json字符串的常用函数

整理了spark-sql处理json字符串的几个函数：1get_json_object解析不含数组的json2from_json解析json3schema_of_json提供生成json格式的方法4explode
士弘毅·2023-07-22 23:35

spark-sql优化

1任务拆解1)原始查询sql(多个etype,多个dt查询,数据量过大查询不出来)selectdt,etype,count(distinctgazj)fromtable_namewheredtbetween'20201101'and'20210228'andetypein('10410007','10410008')andget_json_object(eparam,'$._pkg')='net.
盛源_01·2023-07-22 14:21

Spark-SQL连接JDBC的方式及代码写法

提示：文章内容仅供参考！目录一、数据加载与保存通用方式：加载数据：保存数据：二、Parquet加载数据：保存数据：三、JSON四、CSV五、MySQL一、数据加载与保存通用方式：SparkSQL提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL默认读取和保存的文件格式为parquet加载数据：spark.read.loa
羙橘·2023-07-16 23:13

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。##使用方法csv```spark.sql("select*fromcsv.
kikiki4·2023-07-13 16:36

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。##使用方法csv```spark.sql("select*fromcsv.
kikiki4·2023-06-15 18:44

Spark UI

SQLTab这是spark-shell提交queries，展示得都是console这是spark-sql提交queries，展示得都是sql
zhixingheyi_tian·2023-06-14 22:18

SPARK-SQL内置函数之字符串函数

转自：http://www.cnblogs.com/feiyumo/p/8763186.html1.concat对于字符串进行拼接concat(str1,str2,…,strN)-Returnstheconcatenationofstr1,str2,…,strN.Examples:>SELECTconcat('Spark','SQL');SparkSQL2.concat_ws在拼接的字符串中间添加
ASKED_2019·2023-04-19 03:41

Spark Thrift Server 部署与应用

前言在介绍sparkthriftserver需要先介绍一下其与hiverserver2及spark-sql的关系与区别HiveServer2Hive提供了一个命令行终端，在安装了Hive的机器上，配置好了元数据信息数据库和指定了
PONY LEE·2023-04-18 19:20

大数据hive篇--hive去重

distinct2.使用groupby3.使用row_number()4.使用leftjoin5.使用位操作：unionall+groupby1.使用distinct问题：每个app下只保留一个用户案例：spark-sql
在路上的小苑·2023-04-13 18:14

spark第五章：SparkSQL实例

实例文章目录系列文章目录前言一、数据准备1.数据导入二、项目实例1.需求简介2.需求分析3.功能实现4.代码实现总结前言上一次我们介绍了一下SparkSQL的基本操作,这次我们来完成一个项目实例.一、数据准备我们这次Spark-sql
超哥--·2023-04-09 13:47

Spark参数配置和调优，Spark-SQL、Config

一、Hive-SQL/Spark-SQL参数配置和调优#设置计算引擎sethive.execution.engine=spark;#设置spark提交模式setspark.master=yarn-cluster
Just Jump·2023-04-09 02:55

Spark-SQL数据的加载与保存|加载数据|保存数据|默认数据源

通用的加载和保存spark.read.load是加载数据的通用方法df.write.save是保存数据的通用方法加载数据直接加载数据spark.read.json("/opt/module/spark-local/examples/src/main/resources/people.json").showformat指定加载数据类型spark.read.format("json").load("/
SmallScorpion·2023-04-08 01:33

第五章 Spark-SQL进阶（三）之SQL函数

第五章Spark-SQL进阶（三）3.SQL函数3.1内置函数3.1.1数学函数3.1.2集合函数3.1.3类型转换函数3.1.4日期函数3.1.5条件函数3.1.6字符函数3.1.7聚合函数3.1.8
angeliacmm·2023-04-06 11:31

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki4·2023-04-06 06:43

三十二、《大数据项目实战之用户行为分析》Spark SQL操作Hive的几种方式

例如，列出当前所有数据库，代码如下：spark-sql>showdatabases;defaultTimetaken:3.66seconds,Fetched1row(s)可以看到，默认有一个名为defa
大数据张老师·2023-04-05 23:12

SPARK -SQL 小文件问题

SPARK小文件问题spark-sql小文件生成原因设置参数减少小文件的生成spark-sql小文件生成原因spark-sql提交任务默认shuffle数量是200如果数据量过小会造成每一个shuffle
hjmbt·2023-04-05 16:30

Spark-SQL连接Hive 的五种方法

目录一、Spark-SQL是什么二、HiveandSparkSQL三、Spark-SQL特点四、Spark-SQL连接Hive1）内嵌的HIVE2）外部的HIVE3）运行Sparkbeeline4）运行
羙橘·2023-04-04 07:35

Pyspark让pandas特征工程代码在集群上飞起来——天猫复购率baseline

天猫复购率baseline环境与数据准备导包创建spark应用第一种特征工程方式：pyspark.pandas.dataframe第二种特征工程方式：pyspark.dataframe第三种特征工程方式：spark-SQL
初淅沥以萧飒·2023-04-04 01:57

Spark-SQL连接Hive 的五种方法

Spark-SQL连接HiveApacheHive是Hadoop上的SQL引擎，SparkSQL编译时可以包含Hive支持，也可以不包含。
谷谷奇·2023-04-03 06:03

hive on spark 集成（spark-sql 整合hive）

SparkSQL整合hive就是获取hive表中的元数据信息（在mysql中），然后通过SparkSQL来操作数据。整合步骤：1、拷贝hive配置文件到spark查看hive目录中conf目录下的配置文件，hive-site.xml，可以发现之前配置的hive的元数据信息在master的mysql数据库中。javax.jdo.option.ConnectionURLjdbc:mysql://loc
Siobhan. 明鑫·2023-04-03 06:26

spark-sql 能够读取hive表

在服务器中直接使用spark-sql来读取hive表的数据，使用spark引擎进行hive表数据查询，既快又方便。
上杉仓南·2023-04-03 06:19

spark-shell & spark-sql 使用

2]\--jars/opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar通过spark-shell操作hiveWebUI查看任务：spark-sql
路飞DD·2023-04-03 06:16

Spark-SQL连接Hive的五种方法

一、内嵌的Hive若使用Spark内嵌的Hive，直接使用即可，什么都不需要做（在实际生产活动中，很少会使用这一模式）二、外部的Hive步骤：将Hive中conf/下的hive-site.xml拷贝到Spark的conf/目录下；把Mysql的驱动copy到jars/目录下；如果访问不到hdfs，则将core-site.xml和hdfs-site.xml拷贝到conf/目录下；重启spark-sh
CREATE^_^·2023-04-03 06:39

hive（spark-sql） -e -f -d以及传参数, sh并行

1、统计hive一个库下的表的个数hive-e"usedatabases;showtables;--showtableslike'edw*';"|grep-vtmp|wc-l1、hive-e"usedatabasesshowtables;">database_name_tables.txt2、统计量wc-ldatabase_name_tables.txt1.使用“spark-sql-e”与“Hiv
四月天03·2023-04-03 06:02

hive安装、配置及spark-sql远程连接hive服务

一、最小集群安装1、Hive安装及配置（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面tar-zxvfapache-hive-1.2.1-bin.tar.gz-C/opt/module/（3）修改apache-hive-1.2.1-b
柳奕坤·2023-04-03 05:54

原生spark-sql连接原生hive问题

报错22/02/2210:24:20INFOClient:Applicationreportforapplication_1642757441712_0012(state:FAILED)22/02/2210:24:20INFOClient:clienttoken:N/Adiagnostics:Applicationapplication_1642757441712_0012failed2times
jzy3711·2023-04-03 05:23

Spark-SQL连接Hive

Spark-SQL连接HiveApacheHive是Hadoop上的SQL引擎，SparkSQL编译时可以包含Hive支持，也可以不包含。
Aricya·2023-04-03 05:03

Spark-sql读取hive分区表限制分区过滤条件及限制分区数量

问题描述在开发过程中使用spark去读取hive分区表的过程中（或者使用hiveonspark、nodepad开发工具），部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题解决办法1、自定义规则CheckPartitionTable类，实现RuletypeExtensionsBuilder=SparkSessionExtensions=>U
海轩_fan·2023-04-02 18:43

SPARKSQL3.0-DataFrameAPI与spark.sql()区别源码分析

一、前言：阅读本节需要先掌握spark-sql内部执行的基本知识：SessionStateUnresolved阶段Analyzer阶段中queryExecution的介绍二、区别spark.sql的执行顺序为
高世之智·2023-03-31 11:54

SparkSQL 项目实战

SparkSQL项目实战1.1数据准备我们这次Spark-sql操作中所有的数据均来自Hive，首先在Hive中创建表,，并导入数据。
翁老师的教学团队·2023-03-23 22:39

SparkSQL项目实战：TopN

文章目录数据准备需求描述数据准备这次Spark-SQL操作所有的数据均来自Hive，所以首先需要在Hive中创建表,并导入数据。
塞上江南o·2023-03-23 21:59

springboot mybatis和spark-sql、SDB对接

springbootmybatis和spark-sql对接本次将在已经部署了spark、hive和SequoiaDB的环境中，通过实验来实现springboot、mybatis框架与spark-sql的整合
YauChungYin·2023-03-22 12:02

Flink-cdc写入hudi并使用hive和spark-sql查询(基于flink1.13.5和hudi0.10.0，flink-cdc2.1.1)

一、环境准备flink1.13.5flink-cdc2.1.1hudi-0.10.0spark-3.1.2、hadoop-2.6.5、hive-1.1.0(cdh5.16版本)jar包:hudi-spark3-bundle_2.12-0.10.0.jarhudi-flink-bundle_2.11-0.10.0.jarflink-sql-connector-mysql-cdc-2.1.1.jar二
小三你妹·2023-03-19 11:32

flink-cdc写入hudi，使用hive或者spark-sql统计分析hudi的数据

一、环境准备：flink1.12.2_2.11hudi-0.9.0(master分支)spark-2.4.5、hadoop-3.1.3、hive-3.1.2(选择的是阿里云emr-2.4.5)二、flink-cdc写入hudi1、mysql建表语句createtableusers(idbigintauto_incrementprimarykey,namevarchar(20)null,birthd
明喆_sama·2023-03-19 11:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他