********Spark

spark sql的行转列

起因日常应用中，我们经常会使用到把行转成列的功能，以NBA球队的球员薪资记录作为例子，表中的每一条记录表示球队在某一年支付的员工薪资记录。teamyearsalaryLaker20192000wLaker20203000wCleveland20193000wCleveland20205000w我们希望行转列成以下结构:teamyear_2019year_2020Laker2000w3000wCle
lixia0417mul2·2023-10-10 06:36

hive、sparksql行转列 列转行详解

行转列：行转列的需求一般都是对某个分组键做聚合，并且造出新的列如下面一个简单案例：转换前：转换后：答案如下：insertoverwritetablestd2selectname,if(all_subjectlike'%yuwen%',split(split(all_subject,'yuwen_')[1],',')[0],'')asyuwen,if(all_subjectlike'%shuxue%
请叫我超哥·2023-10-10 06:36

Spark 列转行操作

这里主要讲解Spark的列转行操作。
iFence·2023-10-10 06:35

【*SQL】关于SQL数组arrar行转列

今天是跟公司的数据分析师小姐姐学习的一天，学习了两个行转列的用法，先简单记录一下开心1.sparkSQL的数组行转列LATERALVIEWexplode(entities)aasentities_new2
你一定能成为你想要成为的人·2023-10-10 06:05

spark sql如何行转列

在数据仓库中，行转列通常称为”变形”(Pivoting)或“透视”(Pivoting)，可使用SparkSQL的pivot语句实现。
大模型大数据攻城狮·2023-10-10 06:04

【Spark】实验四：SparkStreaming编程初级实践

实验准备实验目的掌握使用Socket编程掌握SparkStreaming的基本操作掌握SparkStreamingupdateStateByKey的使用实验内容使用SparkStreaming构建实时数据计算系统
小手の冰凉·2023-10-10 05:08

spark任务提交

好久时间没有用spark了，最近工作需要，在提交spark任务的时候发现打jar一直很大，自己又是搞C++的，以前打jar的时候按照网上的提示，都是用的是在IDEA里面File->ProjectStructure
sf705·2023-10-10 05:58

PySpark

Resilientdistributeddatasets:afault-tolerantabstractionforin-memoryclustercomputing-AMinerSpark最早源于一篇论文
Int mian[]·2023-10-10 04:48

spark-08

学习视频：黑马程序员Spark全套视频教程，4天spark3.2快速入门到精通，基于Python语言的spark教程_哔哩哔哩_bilibili
不负长风·2023-10-10 04:47

安装spark并配置高可用

0、说明上一篇文章讲了如何安装hadoop，这里将spark的详细安装步骤记录在这里。其中实现了spark的高可用配置，即将zookeeper配置到spark集群中。对于资源管理也配置了yarn模。
欧阳小伙·2023-10-10 04:14

Spark_on_k8s开发说明文档

Sparkonk8s架构图提交任务的方式spark-submit介绍提交机制：①Spark创建一个SparkDriver运行在一个Kubernetespod容器里；②SparkDriver再去创建executors
YF_raaiiid·2023-10-10 01:27

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
大猪大猪·2023-10-10 00:31

离线Spark集群使用第三方包

Spark集群有时需要使用到一些第三方包，比如graphframes，kafka等等（以下均以graphframes为例）。
苦咖啡JerryKFC·2023-10-09 23:53

使用spark 训练机器学习大数据量情况下模型-native bayes

今天介绍笔者使用spark的platform进行nativebayes的训
小小兰哈哈·2023-10-09 23:27

Spark 'generated.java', Line 37, Column 53: No applicable constructor/method found for zero actua...

最近在Spark学习过程中，遇到了如下的错误：java.util.concurrent.ExecutionException:org.codehaus.commons.compiler.CompileException
mumu_cola·2023-10-09 21:33

大数据——SparkCore学习笔记

Spark一、Spark简介Spark是一种由Scala语言开发的快速、通用、可扩展的大数据分析引擎SparkCore中提供了Spark最基础与最核心的功能SparkSQL是Spark用来操作结构化数据的组件
Ostrich5yw·2023-10-09 21:34

大数据——SparkStreaming学习笔记

Spark一、SparkStreamingSparkStreaming用于流式数据的处理（准实时，微序列）。
Ostrich5yw·2023-10-09 21:34

大数据—— Spark Core 知识点整理

1.Spark和Hadoop相比有什么优势运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。
Vicky_Tang·2023-10-09 21:34

Spark技术栈——SparkStreaming

SparkStreaming1.SparkStreaming有哪几种方式消费Kafka中的数据，它们之间的区别是什么？1.基于Receiver的方式这种方式使用Receiver来获取数据。
锦超风采·2023-10-09 21:34

大数据——基于Spark Streaming的流数据处理和分析

基于SparkStreaming的流数据处理和分析流是什么为什么需要流处理流处理应用场景如何进行流处理SparkStreaming简介SparkStreaming流数据处理架构SparkStreaming
蜂蜜柚子加苦茶·2023-10-09 21:03

【Spark分布式内存计算框架——Spark Streaming】2. Streaming 概述（下）Streaming 计算模式、SparkStreaming 计算思想

1.3Streaming计算模式流式处理任务是大数据处理中很重要的一个分支，关于流式计算的框架也有很多，如比较出名的Storm流式处理框架，是由NathanMarz等人于2010年最先开发，之后将Storm开源，成为Apache的顶级项目，Trident对Storm进行了一个更高层次的抽象；另外由LinkedIn贡献给社区的Samza也是一种流处理解决方案，不过其构建严重依赖于另一个开源项目Kaf
csdnGuoYuying·2023-10-09 21:33

大数据——Spark Streaming中的Window（窗口）操作和Spark Streaming结合SparkSQL

SparkStreaming中的Window（窗口）操作窗口函数Window（windowLength,slideInterval）countByWindow（windowLength,slideInterval
蜂蜜柚子加苦茶·2023-10-09 21:33

【Spark分布式内存计算框架——Spark Streaming】1. Streaming 概述（上）Streaming 应用场景、Lambda 架构

前言在很多实时数据处理的场景中，都需要用到流式处理（StreamProcess）框架，Spark也包含了两个完整的流式处理框架SparkStreaming和StructuredStreaming（Spark2.0
csdnGuoYuying·2023-10-09 21:33

大数据基础之SparkStreaming——SparkStreaming整合Flume

SparkStreaming继承Flume  SparkStreaming通过Push和Pull两种方式对接Flume数据源。
Clozzz·2023-10-09 21:03

大数据——Spark Streaming

是什么SparkStreaming是一个可扩展、高吞吐、具有容错性的流式计算框架。
AIGC人工智残·2023-10-09 21:02

org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘dwd‘ not found

spark操作hive时，报错如下：实际上hive中是有这个库的，后来查看了一下，是因为spark没有开启对hive的支持加上这个就好了
Better~Me·2023-10-09 18:40

Flink和spark的对比

SparkStreamingvsFlink两者最重要的区别(流和微批)(1).MicroBatching模式(spark)Micro-Batching计算模式认为"流是批的特例"，流计算就是将连续不断的微批进行持续计算
Better~Me·2023-10-09 18:40

spark、hive中窗口函数实现原理复盘

窗口函数在工作中经常用到，在面试中也会经常被问到，你知道它背后的实现原理吗？这篇文章从一次业务中遇到的问题出发，深入聊了聊hsql中窗口函数的数据流转原理，在文章最后针对这个问题给出解决方案。一、业务背景先模拟一个业务背景，比如大家在看淘宝app时，如下图：搜索一个关键词后，会给展示一系列商品，这些商品有不同的类型，比如第一个是广告商品，后面这几个算是正常的商品。把这些数据用下面的测试表来描述：c
小萝卜算子·2023-10-09 16:19

hive 修改cluster by算法_spark、hive中窗口函数实现原理复盘

窗口函数在工作中经常用到，在面试中也会经常被问到，你知道它背后的实现原理吗？这篇文章从一次业务中遇到的问题出发，深入聊了聊hsql中窗口函数的数据流转原理，在文章最后针对这个问题给出解决方案。一、业务背景先模拟一个业务背景，比如大家在看淘宝app时，如下图：搜索一个关键词后，会给展示一系列商品，这些商品有不同的类型，比如第一个是广告商品，后面这几个算是正常的商品。把这些数据用下面的测试表来描述：c
weixin_39836530·2023-10-09 16:47

Spark 之 DataType

TimestampTypespark-sql>createtableifnotexiststest_emr_date(>idint,>datetime1timestamp>);spark-sql>>insertintotest_emr_datevalues
zhixingheyi_tian·2023-10-09 15:06

Spark 之 UDF

示例//Defineandregisteraone-argumentUDFvalplusOne=udf((x:Int)=>x+1)spark.udf.register("plusOne",plusOne
zhixingheyi_tian·2023-10-09 15:06

Spark 之 ArrowColumnVector

ArrowColumnVector直接继承ColumnVector，而ColumnVector只有Get方法构造函数publicArrowColumnVector(ValueVectorvector){this(ArrowUtils.fromArrowField(vector.getField()));initAccessor(vector);}ArrowColumnVector(DataType
zhixingheyi_tian·2023-10-09 15:05

Spark 之 WholeStageCodegen

CodeGenframeworkCodegenSupport(接口)相邻Operator通过Produce-Consume模式生成代码。Produce生成整体处理的框架代码，例如aggregation生成的代码框架如下:if(!initialized){#createahashmap,thenbuildtheaggregationhashmap#callchild.produce()initial
zhixingheyi_tian·2023-10-09 15:05

spark原理及其优化

一、spark大数据处理引擎介绍Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。
背帆·2023-10-09 15:35

Spark 之 logical plan

CastCast强制类型转换发生在LogicalPlan转成AnalyzedLogicalPlan阶段，根据表达式overridedefinputTypes()方法进行校验，然后childrenResolved最终和inputTypes进行校验overrideprotecteddefcoerceTypes(plan:LogicalPlan):LogicalPlan=planresolveExpre
zhixingheyi_tian·2023-10-09 15:35

Spark sql Expression的deterministic属性

在sql语句中，除了select、from等关键字以外，其他大部分元素都可以理解为expression，比如：selecta,bfromtestdata2wherea>2这里的a,b,>,2都是expressionExpression的deterministic属性Expression类中有个基本属性deterministic：这个属性是用来标记表达式是否为确定性的，即每次执行eval函数的输出是
小萝卜算子·2023-10-09 15:34

03-Spark MLib

构建一个机器学习流水线：以逻辑斯蒂回归为例查找出所有包含“spark”的句子，即将包含spark的句子的标签设为1，没有spark的句子标签设备0下面是完整代码，之后分步骤对代码进行解析1.需要使用SparkSession
yu1069153913·2023-10-09 15:04

Spark源码解析之读取文件

原理读文件分区源码/***PhysicalplannodeforscanningdatafromHadoopFsRelations.**@paramrelationThefile-basedrelationtoscan.*@paramoutputOutputattributesofthescan,includingdataattributesandpartitionattributes.*@par
Woten我特牛·2023-10-09 15:31

Spark之UDF失效

代码importorg.apache.spark.sql.SparkSessionimportorg.apache.spark.sql.functions._import
成程晨·2023-10-09 15:01

Spark expression Codegen 之code代码块

背景本文基于spark3.2.0由于codegen涉及到的知识点比较多，我们先来说清楚code""""""，我们暂且叫做code代码块scala字符串插值要想搞清楚spark的code代码块，就得现搞清楚
鸿乃江边鸟·2023-10-09 14:00

Spark原理

Spark介绍Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集
Popcorn丶30·2023-10-09 14:29

SPARK

1.Spark-shell启动选择hive还是in-memory?
innersense·2023-10-09 14:59

Spark Catalog深入理解与实战

写过Spark应用程序的同学都知道，通过下面这段代码就可以加载和访问外部Hive数据源：SparkSession.builder().appName(TestSparkHive.class.getSimpleName
鸨哥学JAVA·2023-10-09 14:58

Spark 之 expression

##./***ReturnsthenumberofdaysfromstartDatetoendDate.*/@ExpressionDescription(usage="_FUNC_(endDate,startDate)-Returnsthenumberofdaysfrom`startDate`to`endDate`.",examples="""Examples:>SELECT_FUNC_('200
zhixingheyi_tian·2023-10-09 14:57

Spark 核心概念

MasterSpark特有资源调度系统的Leader。
_云起·2023-10-09 14:48

智能AI系统源码ChatGPT系统源码+详细搭建部署教程+AI绘画系统+已支持OpenAI GPT全模型+国内AI全模型

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统，支持OpenAIGPT全模型+国内AI全模型。
白云如幻·2023-10-09 13:57

Spark经典案例之求平均值

1、需求分析对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。2、原始数据1）math：张三,88李四,99王五,66赵六,772）china：张三,78李四,89王五,96赵六,673）english：张三,80李四,82王五,84赵
piziyang12138·2023-10-09 12:56

论文笔记：Structured Streaming: A Declarative API for Real-Time Applications in Apache Spark

一、引言早期的流处理系统存在两个问题：(1).系统需要用户去考虑复杂的物理执行概念，比如at-least-oncedelivery、状态存储、触发模式等流处理独有的概念。(2).许多系统只关注流计算这一件事，然而在实际应用场景中，流处理仅仅是一个大型商业应用程序的一部分，该应用程序同时还会包括批处理、静态数据连接和交互式查询等处理流程。论文贡献：为流数据处理描述了一个高层次的API——结构化流媒体
Bamboooooo_Yoo·2023-10-09 07:34

Spark之自定义AccumulatorV2

本文介绍如何使用Spark2中自定义累加器来实现数据的统计。
阿坤的博客·2023-10-09 06:45

Spark sql 从hive中读取数据

这种方式只适用在服务器上提交spark-submit时读取本集群hive中的数据valspark=SparkSession.builder()//项目名字，任意取.appName("five")//从hive
The_Boy_le·2023-10-09 05:02
上一页 67 68 69 70 71 72 73 74 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他