Spark调优

spark sql基于CBO的优化

前言sparksql基于CBO的优化是建立在物理计划层面的，原理是计算出所有可能的物理执行计划，并挑选成代价最小的物理执行计划。
！@123·2023-12-06 07:02

spark 写入 hudi时数据类型报错

报错信息如下：Causedby:org.apache.spark.sql.execution.QueryExecutionException:Parquetcolumncannotbeconvertedinfilehdfs
南城守护·2023-12-06 07:31

spark sql-Broadcast Hash Join、SMB-JOIN

那么再次进行join的时候，就相当于大表的各自分区的数据与小表进行本地join，从而避免了shuffle配置setspark.sql.autoBroadcastJoinThreshold=10m，默认为
！@123·2023-12-06 07:27

PySpark开发环境搭建常见问题及解决

PySpark环境搭建常见问题及解决1、winutils.exe问题2、SparkURL问题3、set_ugi()问题本文主要收录PySpark开发环境搭建时常见的一些问题及解决方案，并收集一些相关资源
对许·2023-12-06 07:54

使用 pyarrow 将parquet转成spark能用的parquet

最近发现spark的一个坑（发现时spark最新为2.4.4版本），spark对parquet格式有特殊要求，不支持带“uint8”类型的parquethttps://github.com/apache
爱知菜·2023-12-06 06:55

比较 Apache Hive 和 Spark

Hive和Spark是两种非常流行且成功的用于处理大规模数据集的产品。换句话说，他们进行大数据分析。本文重点描述这两种产品的历史和各种功能。
vvoennvv·2023-12-06 06:50

Ambari hdp Spark多版本并存

本示例基于ambarihdp-2.6.0.3（spark2.1.0），集成spark2.2.2，其他的版本思路类似（spark2.3经测试也是没问题的）下载spark-2.2.2-bin-hadoop2.7
Respect123·2023-12-06 05:20

日常运维之JVM学习

所以深入了解JVM，并且进行调优排查问题。由于时间比较仓促，简单记录一下学习笔记供大家参考，如果不对的地方请指出。
Xu-小安安·2023-12-06 05:22

记一次系统上线的JVM调优

前言开发了大半年的数据中台系统，近期在测试环境上线压测，监控JVM时发现GC频繁，开启GC日志后发现隔几秒就要做一次MinorGC（对新生代内存进行回收），并且堆内存不到十分之一的时候就进行GC（测试-Xmx设置为10g,使用不到1g就进行了gc），于是从两个方面进行系统的优化（代码层面和jvm启动参数）。1、代码层面观察jvm内存使用的时候，发现堆内存在5秒内就迅速上升1g，此时HTTP访问的人
南风过境jz·2023-12-06 04:05

Spark Streaming（三）集成Kafka

Kafka从0.8版本到0.10版本提供了一种新的消费者api，所以根据你的kafka版本不同相应的有2种包可用，分别是spark-streaming-kafka-0-8和spark-streaming-kafka
Sx_Ren·2023-12-06 03:33

分享2024年第一期！全国高校大数据与人工智能师资研修班

全国高校大数据与人工智能师资研修班2024年第一期上海线下班：数据采集与机器学习实战广州线下班：大数据技术应用实战（Hadoop+Spark）线上班（十一大专题）PyTorch深度学习与大模型应用实战数据采集与处理实战大数据分析与机器学习实战大数据技术应用实战
泰迪智能科技·2023-12-06 03:22

Scrapy爬虫数据存储为JSON文件的解决方案

它基于JavaScriptSpark语言的一个子集，但独立于Smashing语言，因此在许多中语言中都可以使用。JSON文件由键值对组成，可以表示对象和缓存等复杂结构。
小白学大数据·2023-12-06 02:16

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-06 01:07

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-06 01:40

深度学习早停机制（Early Stopping）与早退机制（Early exiting）

早停机制，一种机器学习模型调优策略，提升调优效率下图损失值明显经过了欠拟合到过拟合使用早停机制后，模型不再过拟合模型早停是面向模型训练过程的。
追忆苔上雪·2023-12-06 00:12

当发送“Hello，World”时，channel发生了什么？

Cassandra-nosql数据库Spark-大数据分布式计算框架Hadoop-大数据
仙草不加料·2023-12-05 22:53

Flink快速入门

大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop/storm/spark
WaiSaa·2023-12-05 21:30

Linux 的性能调优的思路

Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放，那么Linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是Linux操作系统和应用程序的最佳结合。01、性能问题综述系统的性能是指操作
测试界柠檬·2023-12-05 21:23

MySQL之性能分析和系统调优

MySQL之性能分析和系统调优性能分析查看执行计划EXPLAINEXPLAIN作为MySQL的性能分析神器，可以用来分析SQL执行计划，需要理解分析结果可以帮助我们优化SQLexplainselect…
努力学习的小飞侠·2023-12-05 20:54

基于Docker搭建Spark集群

介绍在MacOS下使用Docker搭建Spark集群，进行学习。
_吹灭读书灯_·2023-12-05 19:39

Spark中cache和persist区别

cache和persist的区别基于Spark1.4.1的源码，可以看到/**PersistthisRDDwiththedefaultstoragelevel(`MEMORY_ONLY`).
西二旗老司机·2023-12-05 18:51

Spark-03: Spark SQL 基础编程

目录1.SparkSQL简介2.SparkSession3.SparkSQL数据的读写3.1读写TXT文件3.2读写CSV文件3.3读写JSON文件3.4读写Parquet文件3.5读写ORC文件3.6
m0_37559973·2023-12-05 18:17

Spark的五种JOIN策略

JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。
大数据学习·2023-12-05 16:25

spark mllib和spark ml机器学习基础知识

spark机器学习SparkMLib完整基础入门教程-y-z-f-博客园(cnblogs.com)参考spark机器学习简介机械学习是一门人工智能的科学，用于研究人工智能，强调算法，经验，性能开发者任务
厨 神·2023-12-05 16:50

黑马一站制造数仓实战1

1.项目目标一站制造企业中项目开发的落地：代码开发代码开发：SQL【DSL+SQL】SparkCoreSparkSQL数仓的一些实际应用：分层体系、建模实现2.内容目标项目业务介绍：背景、需求项目技术架构
ZhaoXiangmoStu·2023-12-05 15:20

PHP程序员2020学习方向：高并发、性能调优、分布式、微服务...

以下都是阿里大牛推荐的主流技术，当你全部掌握上述的这些技术相信你至少也是阿里P6级以上了，而且你也已经形成了自己的体系，当更加新潮的技术出来时那么你自己稍微花点时间就能吃透，毕竟那时候你已经不是以前的那个你了，懂底层原理，知道性能特征，以及功能，想要弄懂新的技术那么也不会太吃力。平台与图片大小限制，需获取以下PHP思维导图完整Xmind版可以私信小编【导图】获取领取方式！一、框架源码解析专题应用框
盖世英雄_7557·2023-12-05 14:26

部门来了个测试开发，听说是00后，上来一顿操作给我看呆了...

后来才知道，他在以前的公司，业务能力特别强，JVM调优经验丰富。在他来之前我们公司从不不做JVM调优，之前也有朋友说，“我们公司的系统从来都没有经过性能调优，集成测试没问题后就上线了，上线后
自动化测试 老司机·2023-12-05 12:40

spark无法执行pi_如何验证spark搭建完毕

在配置yarn环境下的spark时，执行尚硅谷的以下命令发现报错，找不到这个也找不到那个，尚硅谷的代码是bin/spark-submit\--classorg.apache.spark.examples.SparkPi
Guff_hys·2023-12-05 10:57

spark sql基于RBO的优化

讲解RBO之前必须对sparksql的执行计划做一个简单的介绍。
！@123·2023-12-05 10:57

【Spark基础】-- 理解 Spark shuffle

目录前言1、什么是Sparkshuffle？2、Spark的三种shuffle实现3、参考前言以前，Spark有3种不同类型的shuffle实现。每种实现方式都有他们自己的优缺点。
high2011·2023-12-05 10:24

Apache Spark

ApacheSpark是一个快速、可扩展、开源的大数据处理框架，采用内存计算，具有比HadoopMapReduce更高的性能和更好的扩展性。
m0_64180190·2023-12-05 10:24

腾讯式“游戏科技”：理解硬核技术、去游戏化和数字解决方案

在刚刚结束的“SPARK2022”腾讯游戏发布会上，腾讯结结实实地秀了一把肌肉。
谈游言戏研究所·2023-12-05 10:23

sparkc程序idea调试提示内存不足

Exceptioninthread"main"java.lang.IllegalArgumentException:Systemmemory259522560mustbeatleast471859200.Pleaseincreaseheapsizeusingthe--driver-memoryoptionorspark.driver.memoryinSparkconfiguration
超超超超子·2023-12-05 09:52

精通Nginx（21）-大幅度提升性能优化方法

性能优化通常在碰到性能瓶颈时才进行调优测试，确定瓶颈，改进限制，并不断重复，直至满足性能需求。本文仅针对Nginx作为一个中间件如何进行性能优化，解决出现在Nginx这个环节的瓶颈。
乐享技术·2023-12-05 09:06

阿里P8架构师详解Java性能调优策略

一、性能测试Ⅰ.测试方法微基准性能测试可以精准定位到某个模块或者某个方法的性能问题，例如对比一个方法使用同步实现和非同步实现的性能差异宏基准性能测试宏基准性能测试是一个综合测试，需要考虑到测试环境、测试场景和测试目标测试环境：模拟线上的真实环境测试场景：在测试某个接口时，是否有其他业务的接口也在平行运行，进而造成干扰测试目标可以通过吞吐量和响应时间来衡量系统是否达标，如果不达标，就需要进行优化如果
Java_苏先生·2023-12-05 06:30

粒子群算法调参支持向量回归进行预测（PSO-SVR）Python实现

目录一、算法简介二、示例1.导入库包、数据以及数据预处理2.利用粒子群算法调优参数gamma和C3.模型训练与预测4.对模型进行性能评估5.结果展示三、代码总结SVR.pyPSO_SVR.py一、算法简介
镜子kk·2023-12-05 06:26

SparkSQL中RDD和DF之间相互转换

packagecom.huc.sparkSqlimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.
huchao7·2023-12-05 06:55

AI创作ChatGPT网站系统源码保姆级搭建部署教程+支持GPT-4图片对话能力

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-05 05:46

ai绘画Midjourney绘画提示词Prompt教程

一、Midjourney绘画工具SparkAi【无需魔法使用】：SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT？
白云如幻·2023-12-05 05:07

Flink-Flink及主流流框架比较

是不是听起来很像spark？没错，两者都希望提供一个统一功能的计算平台给用户。虽然目标非常类似，但是flink在实现上和spark存在着很大的区别，flink是一个面向
lisery_nj·2023-12-05 05:19

jmeter压测websocke指南，接入arms分析，以及mysql，jvm，tomcat性能调优

文章目录注意，受到本地主机的带宽，cpu核心数，磁盘空间影响，建议服务器压测配置线程数设置http请求设置请求头信息设置断言察看结果树每个线程300ms后执行配置计数器变量引用汇总报告压测结果设置常数吞吐量定时器java.net.BindException:Addressalreadyinuse:connectmysqlsleep线程数过多配置websocketwebsocket连接直接断开ARM
Nuan_Feng·2023-12-05 03:21

线程池技术总结

使用线程池可以进行统一的分配，调优和监控。使用线程池的优势降低资源消
=PNZ=BeijingL·2023-12-05 03:48

大数据开发：Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下，Hive作为Hadoop生态当中的数仓组件工具，在于Spark生态的配合当中，开始有了HiveonSpark的思路，那么具体是怎么实现的呢？
成都加米谷大数据·2023-12-05 01:44

从 MapReduce 的运行机制看它为什么比 Spark 慢

在Hadoop1中，MapReduce计算框架即负责集群资源的调度，还负责MapReduce程序的运行。一，MapReduce组成MapReduce的运行过程有三个关键进程：1，大数据应用进程。这是用户启动的MapReduce程序进程，主要是指定Map和Reduce类、输入输出文件路径等，并提交作业给Hadoop集群的JobTracker进程。2，JobTracker进程。这是Hadoop集群的常
stone_zhu·2023-12-05 00:36

Spark读写Oracle性能深度调优

Spark作为一个分布式计算框架，可以很好的适用于Hadoop。那么Spark是否可以与关系型数据库较好的进行兼容呢？以Spark作为计算，以关系型数据库（例如Oracle）作为存储？  
weixin_43370502·2023-12-04 21:16

如何理解SparkSQL中的partitionColumn, lowerBound, upperBound, numPartitions

如何理解SparkSQL中的partitionColumn,lowerBound,upperBound,numPartitions在SparkSQL中，读取数据的时候可以分块读取。
肿么肥四啊哈·2023-12-04 20:43

大数据的技术栈-逐步完善

分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris数据库3.混合处理框架SPARKa.Sparkb
刘文钊1·2023-12-04 20:12

Spark - 输出parqute文件

pom.xml4.0.0org.springframework.bootspring-boot-starter-parent2.2.5.RELEASEcom.spspark0.0.1-SNAPSHOTsparkspark1.8
是个吃不饱的人·2023-12-04 20:39

hive sql&spark 优化

在数据抽取中常用到从其他数据库抽取数据后数据灌入到hive数据库的情况。大体逻辑是，连接源数据库，抽取数据，缓存转换，数据插入到hive数据库（或者直接覆盖db文件）。中间源数据库的效率和代码质量、抽取数据的服务器资源、数据转换的效率、hive数据的插入sql效率等都是限制数据抽取效率的瓶颈，如何在保证系统稳定的情况下，效的优化各阶段的运行速度，从而整体提高数据抽取的效率，是一个比较大的课题。从三
刘文钊1·2023-12-04 20:08

深入理解JVM内存空间的担保策略

Java虚拟机（JVM）的内存管理是Java性能调优中最重要的方面之一，特别是在处理大型应用和服务时。JVM内存管理的一个关键组成部分是垃圾回收（GC）。
一个搬砖的农民工·2023-12-04 19:32
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他