Spark调优

Apache Flink 进阶教程（七）：网络流控及反压剖析

目录前言网络流控的概念与背景为什么需要网络流控网络流控的实现：静态限速网络流控的实现：动态反馈/自动反压案例一：Storm反压实现案例二：SparkStreaming反压实现疑问：为什么Flink（beforeV1.5
话数Science·2023-12-23 08:10

SparkStreaming学习记录

版本：Spark2.4.01.OverviewSparkingStreaming是对SparkAPI的一种扩展，用于处理实时数据流。
Jorvi·2023-12-23 08:49

CVE-2023-49898 Apache incubator-streampark 远程命令执行漏洞

项目介绍ApacheFlink和ApacheSpark被广泛用作下一代大数据流计算引擎。基于大量优秀经验结合最佳实践，我们将任务部署和运行时参数提取到配置文件中。
棱镜七彩·2023-12-23 07:51

PID算法

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-23 07:21

【hadoop|报错】Cannot modify tez.queue.name at runtime. It is not in list of params that are allowed ...

*|spark.*|tez*hive.security.authorization.sqlstd.confwhitelist.appe
维运·2023-12-23 06:10

真正解决spark local模式的日志级别输出问题

真正解决sparklocal模式的日志级别输出问题在IDEA中开发Spark程序，程序一执行密密麻麻的Info日志一大堆，这让人很恶心，如下图：image很早以前就解决过一次，不过谷歌百度都没有真正的解决这个问题
小狼星I·2023-12-23 05:14

【Spark源码分析】Spark的RPC通信二-初稿

Spark的RPC通信二-初稿SparkRPC的传输层传输层主要还是借助netty框架进行实现。
顧棟·2023-12-23 05:25

【Spark源码分析】Spark的RPC通信一-初稿

Spark的RPC通信一-初稿文章目录Spark的RPC通信一-初稿Spark的RPC顶层设计核心类`NettyRpcEnv`核心类`RpcEndpoint`核心类`RpcEndpointRef`SparkRPC
顧棟·2023-12-23 05:53

PySpark 日志治理方法

无论是PySpark程序、还是Scala编写的Spark程序，对于运行中的日志写入与查看的现状都是类似的，大体有两点痛点：1.特别是一直在线运行的Streaming项目，通过print打印的日志直接进入了
AGERA_0429·2023-12-23 03:37

毕业设计项目：基于Django2.2+MySQL+spark的在线电影智能推荐系统的设计与实现

项目源码地址：https://download.csdn.net/download/lijunhcn/88463157本项目实现在线电影推荐系统的前后端开发，使用Django2.2+MySQL+spark
辣椒种子·2023-12-23 02:44

【影像组学入门百问】#38--#40

3.Scikit-learn：一个强大的机器学习库，提供广泛的监督和无监督学习算法、特征提取、模型评估和调优等功能。4.Simple
有Li·2023-12-23 01:54

JVM调优总结

JVM调优总结-Xms-Xmx-Xmn-Xss堆大小设置JVM中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。
果冉多·2023-12-22 20:35

网络调优，部署内网备份冗余和负载分担---实验

目录网络调优，部署内网备份冗余和负载分担---实验拓扑需求配置步骤：配置命令:网络调优，部署内网备份冗余和负载分担---实验拓扑需求主机获取IP地址，访问WEB服务器，WEB服务器网关在SW5上SW5作为
网工—tea·2023-12-22 19:00

Spark(二十二）Shuffle调优之调节Map端内存缓冲与Reduce端内存占比

一、背景spark.shuffle.file.buffer，默认32kspark.shuffle.memoryFraction，0.2Map端内存缓冲，Reduce端内存占比；很多资料、网上视频，都会说
文子轩·2023-12-22 17:57

Learning Spark——client mode和cluster mode的区别

在使用spark-submit提交Spark任务一般有以下参数：./bin/spark-submit\--class\--master\--deploy-mode\--conf=\...
达微·2023-12-22 16:48

JVM监控和调优常用命令工具总结

阅读目录JVM监控和调优jpsjinfojstatjstackjmapjhatjconsole,jvisualvm回到顶部JVM监控和调优在Java应用和服务出现莫名的卡顿、CPU飙升等问题时总是要分析一下对应进程的
圆月弯刀丶·2023-12-22 16:34

Spark 性能优化：资源分配

性能调优的王道是分配更多的资源，当目前资源够用的情况下，分配的资源越充分，在性能和速度上的提升越明显。当资源无法分配更多时候才会去考虑后续的一些调优手段。一，分配的资源有哪些？
stone_zhu·2023-12-22 16:00

【银行测试】银行系统项目-性能测试压测，场景设计分析...

DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜）前言1、性能测试的四个方面完整的性能测试可以分为四个方面：1）测试策略制定；2）性能脚本编写；3）被测系统监控4）性能瓶颈调优
百度测试开发·2023-12-22 12:55

Spark中使用scala完成数据抽取任务 -- 总结

如题任务二：离线数据处理，校赛题目需要使用spark框架将mysql数据库中ds_db01数据库的user_info表的内容抽取到Hive库的user_info表中，并且添加一个字段设置字段的格式第二个任务和第一个的内容几乎一样
冲鸭嘟嘟可·2023-12-22 12:23

工具系列：PyCaret介绍_Fugue 集成_Spark、Dask分布式训练

工具系列：PyCaret介绍_Fugue集成_Spark、Dask分布式训练Fugue是一个低代码的统一接口，用于不同的计算框架，如Spark、Dask。
愤斗的橘子·2023-12-22 12:22

[Spark] 读取项目下resources/的文件

背景这个spark程序要读取项目下的一些文件,当我把这个项目打成jar包后,spark-submit到集群后执行将文件作为资源文件打包到JAR中可以通过Maven或sbt这样的构建工具完成。
言之。·2023-12-22 12:22

Spark系列之：使用spark合并hive数据库多个分区的数据到一个分区中

Spark系列之：使用spark合并hive数据库多个分区的数据到一个分区中把两个分区的数据合并到同一个分区下把其中一个分区的数据通过append方式添加到另一个分区即可%sparkvaldf=spark.sql
最笨的羊羊·2023-12-22 11:37

SQL---数据抽样

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-22 11:01

Pulsar详解6—Pulsar的性能调优（示例：Go语言）

Pulsar详解-索引目录一、Broker优化1、Broker优化1.1内存管理通过优化内存管理，可以提高PulsarBroker的性能和稳定性。1.JVM堆内存设置PulsarBroker是基于Java开发的，因此可以通过调整JVM的堆内存来优化性能。主要的JVM堆内存参数有：-Xms:初始堆大小-Xmx:最大堆大小示例：在启动PulsarBroker时，可以通过以下命令设置初始堆大小为4GB，
风不归Alkaid·2023-12-22 10:48

策略优化方向分析

目录一、定向思路二、确定调优方向A类调优-提高通过率1）明确哪些规则可以调整，哪些不能调整2）查看规则命中情况3）观察规则对应的特征分布D类调优-降低逾期率1）确认是新客户还是老客户导致逾期上升，确认时间段
真钢镚·2023-12-22 10:46

Apache Spark 的基本概念和在大数据分析中的应用。

个人主页：SHOW科技，公众号：SHOW科技‍♂️作者简介：2020参加工作，专注于前端各领域技术，共同学习共同进步，一起加油呀！优质专栏：前端主流技术分享资料领取：前端进阶资料可以找我免费领取摸鱼学习交流：我们的宗旨是在「工作中摸鱼，摸鱼中进步」，期待大佬一起来摸鱼！————————————————版权声明：本文为CSDN博主「SHOW科技」的原创文章，遵循CC4.0BY-SA版权协议，转载请附
SHOW科技·2023-12-22 10:41

Spark SQL 教程

一、什么是SparkSQLSparkSQL是Spark用来处理结构化数据的一个模块，它提供了两个编程抽象分别叫做DataFrame和DataSet，它们用于作为分布式SQL查询引擎。
数据萌新·2023-12-22 10:06

Linux内核参数优化——网络调优(性能)

tcp连接保持管理：#如果在该参数指定时间内某条连接处于空闲状态，则内核向远程主机发起探测net.ipv4.tcp_keepalive_time=7200#多久探测一次net.ipv4.tcp_keepalive_intvl=75#连续探测次数net.ipv4.tcp_keepalive_probes=9tips:内核发送保活探测的最大9次，如果探测次数大于这个数，则断定远程主机不可达，则关闭该连
快乐人丶老朱·2023-12-22 10:48

最新国内AI绘画Midjourney绘画提示词Prompt分享

一、Midjourney绘画工具SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-22 08:17

GPTs | Actions应用案例

第1步：创建GPTs首先，我们来创建一个GPTs，给出提示词需求：创建一个能阅读网址内容的GPT，并且根据内容自动总结信息，总结的信息使用中文第2步：配置调优接下来进行更为详细的配置这里我们不
远见阁·2023-12-22 08:13

沃趣&英特尔：构建高性能数据库专有云基座

通过对数据库软件与底层硬件的统一管理与深度调优，拥有高性能、高可用、TCO成本低等优势，因此更广泛地应用在业务连续性要求、高并发的核心数据库系统。数据显示，2017
沃趣数据库管理平台·2023-12-22 07:22

centos spark单机版伪分布式模式

Spark的部署方式包括Standalone、YARN、Mesos，在我们学习Spark编程的过程中，往往机器资源有限，于是可以采用伪分布式部署。
数据萌新·2023-12-22 07:17

spark-thrift-server 报错 Wrong FS

文章目录@[toc]具体报错实际原因查看hive元数据修改spark-thrift-server配置修改hive元数据具体报错spark-thrift-server执行删表语句，出现如下报错Error:
月巴左耳东·2023-12-22 07:47

【深入解析spring cloud gateway】12 gateway参数调优与分析

本节主要对网关主要的一些参数做一些解释说明，并用压测工具测试一下网关的接口，通过压测来验证参数配置是否合理一、连接池参数参数示例spring:application:name:gatewaycloud:gateway:#http连接设置httpclient:#全局的响应超时时间，网络链接后，后端服务多久不返回网关就报错Theresponsetimeout.PT10S代表10秒的意思response
suyukangchen·2023-12-22 07:15

hive报metadata.HiveException: Hive Runtime Error while processing row (tag=0)错误

个人觉得报出这样的异常是由于sparksql转化成物理计划时会
weixin_42412645·2023-12-22 07:45

org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session

问题描述Logginginitializedusingconfigurationinjar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.propertiesAsync:trueHiveSessionID=0c953008-3c72-4e36-bcaf-47e92a5b9759FAILED:SemanticExceptio
qq_41504585·2023-12-22 07:13

【实践】MySQL调优的最强连招

一般传统互联网公司很少接触到SQL优化问题，其原因是数据量小，大部分厂商的数据库性能能够满足日常的业务需求，所以不需要进行SQL优化，但是随着应用程序的不断变大，数据量的激增，数据库自身的性能跟不上了，此时就需要从SQL自身角度来进行优化，这也是我们这篇文章所讨论的。SQL优化步骤当面对一个需要优化的SQL时，我们有哪几种排查思路呢？1、通过showstatus命令了解SQL执行次数首先，我们可以
笔名辉哥·2023-12-22 07:05

Spark在云原生时代的发展

在这个云原生的时代拥抱云变成了不二之选，那么对于Spark[1]来说它是如何在云原生时代积极拥抱云的呢？背景1
Apache Spark中国社区·2023-12-22 07:18

SQL---Zeppeline前驱记录与后驱记录查询

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-22 07:17

spark广播变量，累加器和SparkShuffle

文章目录广播变量累加器Sparkshufflesparkshuffle演进的历史1、未经优化的HashShuffleManager2、优化后的HashShuffleManager3、SortShuffle4
落幕7·2023-12-22 07:16

LAS Spark+云原生：数据分析全新解决方案

文章主要介绍了火山引擎湖仓一体分析服务LAS（下文以LAS指代）基于Spark的云原生湖仓分析实践，利用Spar
字节数据平台·2023-12-22 07:15

字节跳动 Spark Shuffle 大规模云原生化演进实践

Spark是字节跳动内部使用广泛的计算引擎，已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过150万，每天的Shuffle读写数据量超过500PB。
字节跳动云原生计算·2023-12-22 07:09

监督学习之回归模型

1.术语解释监督学习：利用一组有标签的样本数据训练和调优模型参数，使其达到所要求性能的过程。分类模型：分类的输出为研究对象所属的类别，类别状态个数有限且离散，是一种定性分析。
三翼鸟数字化技术团队·2023-12-22 06:30

深度学习库 SynapseML for .NET 发布0.1 版本

2021年11月微软开源一款简单的、多语言的、大规模并行的机器学习库SynapseML（以前称为MMLSpark），以帮助开发人员简化机器学习管道的创建。
dotNET跨平台·2023-12-22 06:08

Spark的stage源码解析

https://zhuanlan.zhihu.com/p/535000671?utm_id=0stage创建划分的过程就是一个深度优先遍历rdd依赖树的过程，通过不断的循环递归形式，最早的stage被首先创建出来。然后顺序创建后续stage，stage创建完毕后会注册stage到shuffleToMapStage，这是一个map，key为shuffleId，value为stage。每一个stage
Logan_addoil·2023-12-22 05:19

MapReduce 的 shuffle 与 spark的 shuffle 有什么区别？

MapReduce的shuffle在Map端的shuffle过程是对Map的结果进行分区、排序、分割，然后将属于同一划分（分区）的输出合并在一起并写在磁盘上，最终得到一个分区有序的文件。主要是：Partition、Collector、Sort、Spill、Merge几个阶段。在Reduce端，shuffle主要分为复制Map输出、排序合并两个阶段。主要是：Copy、Merge、Reduce几个阶段
Logan_addoil·2023-12-22 05:18

idea中设置JVM参数，简单理解JVM常见参数，JVM调优简单入门

前面学习了JVM的内存分布，今天就来验证下。顺便通过测试学习一下JVM的几个参数，不过测试是在idea中，所以先要在idea上设置JVM参数。一、idea设置全局的JVM参数一共三步，第一步在菜单栏Help下选择EditCustomerVMOptions.......第二步：可以看到选中后的参数，然后就可以设置常规参数，设置完成后记得重启idea。如下图：第三步：重启后，查看结果，在idea的最右
IT乐知·2023-12-22 05:36

JVM(二)---JVM调优

1.利用工具分析JVM运行情况要想合理地分配内存、优化GC，通过前一篇的性能调优过程可以发现，我们至少需要知道如下的一些信息：新生代对象增长的速率，YoungGC的触发频率，YoungGC的耗时，每次YoungGC
兢兢业业的子牙·2023-12-22 05:33

java tails_1.java应用jvm原理及参数调优

一、相关概念基本回收算法引用计数(ReferenceCounting)比较古老的回收算法。原理是此对象有一个引用，即增加一个计数，删除一个引用则减少一个计数。垃圾回收时，只用收集计数为0的对象。此算法最致命的是无法处理循环引用的问题。标记-清除(Mark-Sweep)此算法执行分两阶段。第一阶段从引用根节点开始标记所有被引用的对象，第二阶段遍历整个堆，把未标记的对象清除。此算法需要暂停整个应用，同
小鱼拉姆·2023-12-22 05:02

JVM中性能调优工具功能详解（下）--jmap、jinfo、jstack、jcmd

JVM中性能调优工具功能详解（下）文章目录JVM中性能调优工具功能详解（下）前言一、jmap二、jinfo三、jstack四、jcmd前言前面介绍了jps、jstat命令，下面面我们将继续介绍jmap、
林罔顾·2023-12-22 05:30
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他