spark调优

Spark 学习笔记3. spark-submit + spark-shell

spark-submit:相当于hadoopjar命令--->提交MapReduce任务（jar文件）提交Spark的任务（jar文件）Spark提供Example例子：/root/training/spark
aimmon·2023-11-29 12:05

spark-RDD

Bin/spark-shell码的代码,用Eclipse码一下;(分别使用Java和Scala)Rdd:容器,多台服务器共享的容器;算子:transformaction算子和action算子;RDDAPI
墨染繁华执念心悠·2023-11-29 12:34

SPARK-SQL中join问题

首先抛出Dataset的join算子在spark-sql_2.11版本2.3.0中所有重载方法：由于本人公司产品在执行挖掘任务时任务过长，划分stage过多，并且在过程中存在着关联关系，因此不得不进行数据关联
marvinbb·2023-11-29 12:33

【IDEA】spark-scala快速返回数据类型的方法

目录1、需求说明2、操作1、需求说明在使用scala语言做spark项目时，在IDEA中需要快速返回带类型的值；2、操作
郝少·2023-11-29 12:02

spark学习一-------------------Spark算子最详细介绍

Spark学习–spark算子介绍1.基本概念spark算子：为了提供方便的数据处理和计算，spark提供了一系列的算子来进行数据处理。
创作者mateo·2023-11-29 12:28

CET4-星火英语(Spark)

口语重点-自我介绍（姓名、年龄、学校、专业、学科领域、理想工作、感谢语）拓展词汇专业课程-Arts文科Science理科major主修minor辅修curriculum课程Finance金融学Medicine医学性格态度-extrovert外向的introvert内向的energetic精力充沛的amiable和蔼可亲的industrious勤奋的业余爱好-sketching素描tennis网球个
圣诺干·2023-11-29 11:15

精通Nginx（20）-配置调试方法与技巧

NGINX功能强大，模块多，对复杂需求要正确配置或正确调优，是有一定难度的。因此，如何进行配置调试就很重要，特别是对于生产环境调试。本文主要提供调试方法或技巧，对于配置调试Nginx非常又帮助。
乐享技术·2023-11-29 10:59

HCIA-Big Data华为认证大数据工程师 习题册 含答案

查看课堂笔记（含习题册）目录1.大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark
k Chivalrous man·2023-11-29 08:16

HCIA-Big Data V3.0 华为认证大数据工程师在线课程章节测试题汇总

1.大数据发展趋势与鲲鹏大数据1、(单选)以下哪个不是大数据时代新兴的技术:A.HBaseB.HadoopC.MySQLD.Spark正确答案：C2、(单选)第三次信息化浪潮的标志是:A.云计算、大数据
gaogao_jack·2023-11-29 08:11

Spark出错：No applicable constructor/method found for actual parameters “...types.Decimal“

今天调试一段spark代码，收到一个错误：CompileException:File‘generated.java’,Line60,Column30:Noapplicableconstructor/methodfoundforactualparameters
无级程序员·2023-11-29 07:31

Spark---SparkCore（三）

一、Spark广播变量和累加器1、广播变量1）、广播变量理解图2）、广播变量使用valconf=newSparkConf()conf.setMaster("local").setAppName("brocast
30岁老阿姨·2023-11-29 07:08

Spark Streaming流式数据处理

目录一、SparkStreaming简介二、简单的例子三、SparkStreaming相关核心类3.1StreamingContext3.2离散流DiscretizedStreams(DStreams)
NightFall丶·2023-11-29 07:38

Spark---Master启动及Submit任务提交

一、SparkMaster启动1、Spark资源任务调度对象关系图2、集群启动过程Spark集群启动之后，首先调用$SPARK_HOME/sbin/start-all.sh，start-all.sh脚本中调用了
30岁老阿姨·2023-11-29 07:38

Spark Streaming + Kafka构建实时数据流

数据见UserBehavior.csv数据解释：本次实战用到的数据集是CSV文件，里面是一百零四万条淘宝用户行为数据，该数据来源是阿里云天池公开数据集根据这一csv文档运用Kafka模拟实时数据流，作为SparkStreaming
茶树油酸梅酱·2023-11-29 07:08

Spark---SparkCore（二）

四、补充算子1、transformations类算子mapPartitionWithIndex类似于mapPartitions,除此之外还会携带分区的索引值。repartition增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle）coalescecoalesce常用来减少分区，第二个参数是减少分区的过程中是否产生shuffle。true为产生shuffle，fal
30岁老阿姨·2023-11-29 07:08

SparkStreaming基本数据源

SparkStreaming基本数据源SparkStreaming的大体流程图SparkStreaming分周期将数据封装在RDD中，底层抽象使用Dstream。本质还是对RDD中数据的处理。
简丶致·2023-11-29 07:06

Spark Streaming基本概念

SparkStreaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
晓之以理的喵~~·2023-11-29 07:36

Spark Streaming使用Kafka数据流示例

Spark作为目前最流行的分布式计算框架，可用于处理实时数据流，本文主要介绍SparkStreaming如何使用Kafka数据流做分析，具体使用的版本信息见pom配置。
追风落叶乔木生·2023-11-29 07:34

基于Spark Streaming 的流数据处理和分析

文章目录一.流介绍1.流是什么2.为什么需要流处理3.流处理应用场景4.如何进行流处理二.SparkStreaming1.SparkStreaming流数据处理架构2.SparkStreaming内部工作流程
sun_0128·2023-11-29 07:03

Spark_Spark高阶特性

wscgfilter导致断链Codegen向量化simdjsonOrcParquet支持批量读取spark本身对parquet支持比较好，因为parquet
高达一号·2023-11-29 07:03

Spark Streaming提取数据

一、简介SparkStreaming是一个从各种来源获取实时流数据的框架。它支持的流资包括HDFS、Kafka、Flume以及自定义流等。
简单不过l·2023-11-29 07:29

Spark Streaming【数据流处理原理分析】

SparkStreaming介绍SparkStreaming它是对Spark核心API的扩展，目的在于对实时数据流进行高吞吐、高容错的处理。SparkStreaming底层是SparkCore。
Smile to everyday·2023-11-29 07:29

SparkStreaming之基本数据源输入

SparkStreaming拥有两类数据源（1）基本源（Basicsources）：这些源在StreamingContextAPI中直接可用。例如文件系统、套接字连接、Akka的actor等。
coco_ethan·2023-11-29 07:59

使用Spark Streaming处理Kafka数据流

Kafka作为优秀的日志采集系统，可以作为SparkStreaming的高级数据源，本文主要介绍如何使用SparkStreaming实时处理Kafka传递过来的数据流。
打酱油的葫芦娃·2023-11-29 07:28

Spark---资源、任务调度

一、Spark资源调度源码1、Spark资源调度源码过程Spark资源调度源码是在Driver启动之后注册Application完成后开始的。
30岁老阿姨·2023-11-29 07:25

Spark Streaming的基本数据流

先来介绍一下按照动静对数据的区分静态数据静态数据（StaticData）指的是在一段时间内不会或很少发生变化的数据。这种类型的数据通常是固定的，并且不会随着时间的推移而更新或仅偶尔更新。静态数据的典型例子包括配置文件、参考表、历史记录、已发布的研究报告等。在大数据环境中，尤其是使用Hadoop分布式文件系统（HDFS）时，数据通常被认为是静态的，这是因为HDFS被设计成适合一次写入和多次读取的场景
俺会hello我的·2023-11-29 07:55

Spark_spark shell退出方式

问题描述在使用SparkShell进行交互式编程时，如何优雅地退出SparkShell，即关闭Shell会话，并释放资源。
高达一号·2023-11-29 07:54

Spark SQL,DF,RDD cache常用方式

._2)).setName("testRDD")testRDD.cache()dataframe中的cache利用catalog以表的形式对数据进行缓存importorg.apache.spark.SparkConf
高达一号·2023-11-29 07:19

生产环境_sql获spark将课程与对应的选课人员以逗号分隔的形式存储

DavidScience|EmilyScience|Franksql代码：SELECT课程,GROUP_CONCAT(人员ORDERBY人员SEPARATOR',')AS课程所有人员FROM表GROUPBY课程;spark
Matrix70·2023-11-29 07:18

常见性能优化实践总结

二：数据库数据库的调优，总的来说分为以下三部分：SQL调优这是最常用、每一个技术人员都应该掌握基本的SQL调优手段（包括方法、
一只阿木木·2023-11-29 06:39

阿里P7/P8学习路线图——技术封神之路

栈、方法区、直接内存、堆和栈区别Java内存模型内存可见性、重排序、顺序一致性、volatile、锁、final垃圾回收内存分配策略、垃圾收集器（G1）、GC算法、GC参数、对象存活的判定JVM参数及调优
未来无所不能·2023-11-29 05:25

面试篇spark（spark core，spark sql，spark 优化）

一：为什么学习spark？相比较map-reduce框架，spark的框架执行效率更加高效。mapreduce的执行框架示意图。
宇智波云·2023-11-29 05:21

Scala写入文件时乱码解决

今天在需要将spark操作后的数据保存到本地文件时出现乱码问题,现在记录下来valwriter=newPrintWriter(newFile("E://data/gps_bus_data01.txt")
鬼古神月·2023-11-29 03:49

10X空间转录组数据分析之Pattern recognition and clustering

hello，我们接上一篇，10X空间转录组空间高变基因分析之SPARK，上一篇我们利用一些方法，找到了很多显著性的空间高变基因，那么这些基因在我们分析数据的时候起到了什么作用呢？
单细胞空间交响乐·2023-11-29 03:27

【Spark入门】基础入门

【大家好，我是爱干饭的猿，本文重点介绍Spark的定义、发展、扩展阅读：SparkVSHadoop、四大特点、框架模块、运行模式、架构角色。
爱干饭的猿·2023-11-29 02:30

关于设置Linux线程调度策略的实践

在Linux下运行应用方案，在某些场景下，为了调试和调优，可能会有调整任务的优先级的需求，它的基本流程是这样的：#include#include#include#include#include#include
papaofdoudou·2023-11-28 23:45

怎么给数据库某个字段建立一个前缀索引

说明：SQL调优中重要的一个环节是建立索引，其中有一条是字段值过长字段应该建立前缀索引，即根据字段值的前几位建立索引，像数据库中的密码字段、UUID字段。
何中应·2023-11-28 22:14

深入理解Java高级特性：反射（三）之：反射性能慢的原因及调优

1：反射性能为什么慢查找确定真正的函数入口（可能是接口方法什么的）1：判断权限比较慢（static，出入栈）。2：拆箱装箱也是个问题3：执行入口、访问权限、所属类和代码执行地址4：遍历Method方法表得到ArtMethod指针（ArtMethod结构体：包含了Java方法的所有信息，包括执行入口、访问权限、所属类和代码执行地址），然后根据ArtMethod指针来得到方法的执行入口，当我们调用某一
FishAnd_Yu·2023-11-28 22:09

stream分页+排序：Java实际开发中list.sort()集合排序详解之多条件排序、分页、空值null的最常用解决方案（JAVA8用lamda表达式和增强版Comparator进行排序）

Java实际开发中list.sort集合排序详解之多条件排序、分页、空值null的最常用解决方案前言一、单条件排序二、多条件排序三、分页处理四、空值处理❤️作者主页：温文尔雅的清欢渡❤️近期学习方向：性能调优
爱喝皮蛋瘦肉粥的小饶·2023-11-28 20:17

解决Spark SQL读数据库时不支持某些数据类型的问题

之前开发数据湖新版本时使用SparkSQL来完成ETL的工作，但是遇到了SparkSQL不支持某些数据类型（比如ORACLE中的TimestampwithlocalTimezone）的问题。
alexlee666·2023-11-28 20:49

ElasticSearch第二讲 ES配置环境参数/调优参数讲解

ES配置参数cluster.name:elasticsearch配置的集群名称，默认是elasticsearch，es服务会通过广播方式自动连接在同一网段下的es服务，通过多播方式进行通信，同一网段下可以有多个集群，通过集群名称这个属性来区分不同的集群。node.name:node-01当前配置所在机器的节点名，你不设置就默认随机指定一个name列表中名字，该name列表在es的jar包中conf
程序员路同学·2023-11-28 15:08

生成式深度学习(第二版)-译文-第三章-变分自编码器

我们将看到GAN训练、调优的方式，以及它如何
Garry1248·2023-11-28 15:25

超过100个的优秀开源项目

Github：https://github.com/SparkDevNetwork/Rock详细介绍：点击查看145、用于自动化测试Windows应用程序的开源框架（Flau
程序猿的杂货店·2023-11-28 14:33

Spark 自定义外部数据源

翻译自：ExtendingSparkDatasourceAPI:writeacustomsparkdatasourceDataSourceAPIBasicInterfacesBaseRelation:展示从
一生逍遥一生·2023-11-28 13:01

终于拿到了阿里2023年度九大Java技术文档——面试题+文档+白皮书

2023年阿里巴巴面试参考指南（泰山版）阿里巴巴1000道Java工程师面试题（2023版）阿里巴巴2023版JDK源码笔记（2月第三版）阿里巴巴Java开发手册1.4.0阿里巴巴Java性能调优实战（
隔壁老王的代码·2023-11-28 12:06

Java中的jvm——面试题+答案（JVM的一些高级概念、调优技巧、垃圾回收算法等）——第13期

当涉及到Java虚拟机（JVM）时，面试官可能涉及更深入的问题，涵盖性能调优、垃圾回收算法、类加载机制等方面。什么是类加载机制？请解释类加载的过程。
Keep forward upup·2023-11-28 12:31

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据一、使用EXPORT导出数据1.背景信息2.导出流程3.基本原理4.相关配置5.基本操作6.最佳实践二
最笨的羊羊·2023-11-28 11:38

SparkSQL与parquet，处理decimal类型数据时遇到的问题及注意事项

SparkSQL为了更好的性能，在读写Hivemetastoreparquet格式的表时，会默认使用自己的ParquetSerDe，而不是采用Hive的SerDe进行序列化和反序列化。
雾岛与鲸·2023-11-28 11:03

sparksql 自动DataSourceV2源

表模型明细模型：表中会存在主键重复的数据行，并且与导入的数据是完全对应的。您可以召回所导入的全部历史数据。聚合模型：表中不存在主键重复的数据行，主键满足唯一性约束。导入的数据中主键重复的数据行聚合为一行，即具有相同主键的指标列，会通过聚合函数进行聚合。您只能召回导入的全部历史数据的聚合结果，但是无法召回历史明细数据。主键模型和更新模型：表中不存在主键重复的数据行，主键满足唯一性约束。最新导入的数据
大数据启示录·2023-11-28 11:00

Nginx性能调优策略

以下是一些常见的Nginx性能调优策略：一、调整worker_processes和worker_connections在Nginx配置文件中，可以通过worker_processes和worker_connections
Y2000104·2023-11-28 10:34
上一页 59 60 61 62 63 64 65 66 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他