spark调优

JVM垃圾回收器的原理和调优详解！

全文目录：开篇语前言摘要概述垃圾回收器分类及原理1.Serial垃圾回收器2.Parallel垃圾回收器3.CMS垃圾回收器4.G1垃圾回收器源码解析示例代码使用案例分享案例1：Web服务的GC调优案例
喵手·2025-01-28 02:34

【TVM教程】为 Mobile GPU 自动调优卷积网络

更多TVM中文文档可访问→https://tvm.hyper.ai/作者：LianminZheng,EddieYan针对特定设备的自动调优对于获得最佳性能至关重要。本文介绍如何调优整个卷积网络。
·2025-01-27 22:46

anaconda中pyspark_自学大数据——9 Anaconda安装与使用pyspark

首先从Anaconda官网上下载Anaconda。一、解压安装包sudobashAnaconda3-2020.07-Linux-x86_64.shchown-Rhadoop:hadoop/opt/anaconda/vi/etc/profileexportANACONDA_HOME=/opt/anacondaexportPATH=$PATH:$ANACONDA_HOME/bin:source/etc
步六孤陆·2025-01-27 17:59

PySpark数据处理过程简析

作者：禅与计算机程序设计艺术1.简介PySpark是ApacheSpark的PythonAPI，可以用Python进行分布式数据处理，它在内存中利用了ApacheHadoopYARN资源调度框架对数据进行并行处理
AI天才研究院·2025-01-27 17:28

2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群

第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。
王络不稳定·2025-01-27 17:28

PySpark

1.PySpark的搭建https://blog.csdn.net/qq_36330643/article/details/78429109PySpark是Spark为Python开发者提供的API，位于
rainyrainbow·2025-01-27 17:56

spark2如何集成到cdh里

最近做性能测试需要spark2测试下和spark1.6性能有多大差别，官方文档里写着可以集成，但是自己怎么搞都不行，折磨了3天的时间，目前终于把spark2集成到集群里了我安装的是最新版本的下载spark2
蘑菇丁·2025-01-27 16:55

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方
「已注销」·2025-01-27 15:17

xgboost-spark-scala

今天学习写scala，拿xgboost试一下～先记一下xgboost调参要点：7.xgboost中比较重要的参数介绍（1）objective[default=reg:linear]定义学习任务及相应的学习目标，可选的目标函数如下：“reg:linear”–线性回归。“reg:logistic”–逻辑回归。“binary:logistic”–二分类的逻辑回归问题，输出为概率。“binary:logi
maokunnn·2025-01-27 15:14

大数据平台建设整体架构设计方案

《大数据平台建设整体架构设计方案》关键词：大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink
AI天才研究院·2025-01-27 02:55

JVM 常见知识点总结

3.2哪些对象可以作为gcroots3.3垃圾回收算法3.4MinorGC和FullGC的区别3.5HotSpot为什么分为新生代和老年代3.6常见的垃圾收集器3.7详细介绍CMS垃圾回收器四、JVM调优篇
南波塞文·2025-01-27 00:38

JVM - 内存划分、类加载、GC 机制、常见参数、简单调优

目录前言一、JVM内存划分二、类加载2.1、类加载是在干什么？2.2、类加载的过程2.3、何时触发类加载？2.4、双亲委派模型（重点考察）2.4.1、什么是双亲委派模型？2.4.2、涉及到的类加载器2.4.3、详细过程图解三、GC（垃圾回收机制）3.1、STW问题（StopTheWorld）3.2、GC回收哪部分内存？3.3、垃圾对象的判定算法3.3.1、引用计数法（非JVM采取的办法）3.3.2
陈亦康·2025-01-27 00:33

Scala简介

hadoop生态圈—>javaspark生态圈—>scala1.scala是面向对象的、面向函数的基于静态类型的编程语言。
醉游江湖·2025-01-26 18:21

spark官方配置参数详解

以下是整理的Spark中的一些配置参数，官方文档请参考SparkConfiguration。
我丶怀念的·2025-01-26 18:21

【spark床头书系列】如何在YARN上启动Spark官网权威详解说明

【spark床头书系列】如何在YARN上启动Spark官网权威详解说明点击这里看全文文章目录添加其他JAR文件准备工作配置调试应用程序Spark属性重要说明KerberosYARN特定的Kerberos
BigDataMLApplication·2025-01-26 18:20

老大说了，即使你是女程序员，这性能调优你也得拿下！

优秀的架构胜过一万次的调优这个问题很容易理解，一个单节点（一台应用服务器+一台数据库服务器）的系统架构，任凭你使出浑身解数来调优也不可能让系统达到百万级并发，别说百万级了，上万并发都不可能。
码炫课堂-码哥·2025-01-26 17:49

xgboost在spark集群使用指南

简介XGBoost是一个优化的分布式梯度增强库，具有高效、灵活和可移植性。在梯度增强框架下实现了机器学习算法。XGBoost提供了一种并行树增强(也称为GBDT、GBM)，可以快速、准确地解决许多数据科学问题。相同的代码在主要的分布式环境(Hadoop、SGE、MPI)上运行，可以解决数十亿个示例的训练问题。xgb相对于gbt所做的改进：1.2.3.XGBoost可以使用R、python、java
一颗小草333·2025-01-26 17:49

性能优化案例：通过合理设置spark.default.parallelism参数的值来优化PySpark程序的性能

在PySpark中，spark.default.parallelism是一个关键参数，直接影响作业的并行度和资源利用率。
weixin_30777913·2025-01-26 06:52

性能优化案例：通过合理设置spark.storage.memoryFraction参数的值来优化PySpark程序的性能

优化PySpark程序的性能时，合理设置spark.storage.memoryFraction（或相关内存参数）是关键。
weixin_30777913·2025-01-26 05:14

转：Spark RDD算子练习题

版权声明：本文为博主原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_40825218/article/details/83720732给定数据如下：12张三25男chinese5012张三25男math6012张三25男english7012李四20男chinese5012李四20男math5012李四20男e
爱萨萨·2025-01-26 05:42

spark sql的练习题

1、使用StructuredStreaming读取Socket数据，把单词和单词的反转组成json格式写入到当前目录中的file文件夹中2、请使用StructuredStreaming读取student_info文件夹写的csv文件，2.1、统计出文件中的男女生各有多少人2.2、统计出姓“王”男生和女生的各有多少人3、请使用StructuredStreaming读取department_info文
a大数据yyds·2025-01-26 05:39

Spark>sql练习题

练习题-------------------------------以下使用StructuredStreaming：-------------------------------1、请使用StructuredStreaming读取Socket数据，统计出每个单词的个数2、请使用StructuredStreaming读取student_info文件夹写的csv文件，2.1、统计出文件中的男女生各有多
BigMoM1573·2025-01-26 05:38

《Spark大数据分析与内存计算》——第三章

(单选题)并不是所有企业都能自己产生数据，从而用于决策辅助，而更多的互联网企业如电商等大部分是要靠什么来抓取互联网数据进行分析A.HadoopB.pythonC.SparkD.网路爬虫正确答案:D:网路爬虫
阿万古·2025-01-26 05:07

PySpark之金融数据分析（Spark RDD、SQL练习题）

目录一、数据来源二、PySparkRDD编程1、查询特定日期的资金流入和流出情况2、活跃用户分析三、PySparkSQL编程1、按城市统计2014年3月1日的平均余额2、统计每个城市总流量前3高的用户四
唯余木叶下弦声·2025-01-26 04:02

用 Docker 搭建 Spark 集群

简介Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。
yeasy·2025-01-26 00:22

nginx常用配置及调优

文章目录nginx编译安装php编译安装整合nginx连接php测试LNMP环境的PHP服务是否可以连接mysqlnginx配置ssl证书及http跳转https编译安装nginx后新添加模块隐藏nginx版本号和标识配置nginx运行用户和cpu亲和性优化nginx事件处理模型优化nginx最多可打开文件数优化nginx进程最大并发连接数虚拟主机(servername)和location匹配规则
大白菜和MySQL·2025-01-25 23:18

C语言程序性能调优：提升执行效率与内存优化的终极指南

系列文章目录01-C语言从零到精通：常用运算符完全指南，掌握算术、逻辑与关系运算02-C语言控制结构全解析：轻松掌握条件语句与循环语句03-C语言函数参数传递深入解析：传值与传地址的区别与应用实例04-C语言数组与字符串操作全解析：从基础到进阶，深入掌握数组和字符串处理技巧05-C语言指针与内存管理：指针使用、内存泄漏与调试技巧06-C语言数据结构深度解析：结构体与联合体的实战应用与技巧07-C语
大模型铲屎官·2025-01-25 20:54

golang性能调优工具pprof的使用

文章目录前言一、cpu1.下载实例代码2.运行项目中的main.go文件3.查看CPU性能数据4.使用topN（N是可选的数量，也可以不加直接运行）命令来查看占用资源最多的函数5.查看可能存在问题的具体函数代码6.使用web命令来调用关系可视化二、堆内存1.查看堆内存性能数据2.在浏览器中进行查看三、goroutine1.查看goroutine性能数据四、mutex1.查看mutex性能数据五、m
KhaD·2025-01-25 17:32

Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf

3.基于ApacheFlink的流式计算平台为解决上述问题，bilibili希望根据以下三点要求构建基于ApacheFlink的流式计算平台。第一点，需要提供SQL化编程。bilibili对SQL进行了扩展，称为BSQL。BSQL扩展了Flink底层SQL的上层，即SQL语法层。**第二点，**DAG拖拽编程,一方面用户可以通过画板来构建自己的Pipeline，另一方面用户也可以使用原生Jar方式
2501_90243308·2025-01-25 16:58

Tomcat调优相关理解

什么是QPS？是QueriesPerSecond的缩写，是指服务器每秒查询数，比如定义一个a接口，该接口是10QPS，那么就是指该接口每秒可以处理10个请求springboot默认并发处理数是多少？springboot并发处理要看servlet容器，而servlet容器默认是Tomcat，而Tomcat容器可以处理的并发请求数主要受到最大线程数（max-threads）的限制，Tomcat的默认最
smile_life_·2025-01-25 14:13

【趣学SQL】第八章：SQL 实战案例 8.2 SQL 性能监控与调优——给数据库装上“心电图仪“的硬核指南

第八章：SQL最佳实践8.2SQL性能监控与调优——给数据库装上"心电图仪"的硬核指南欢迎来到「数据库急诊监护室」！
精通代码大仙·2025-01-25 09:05

免费AI大模型API汇总（非常详细），零基础入门到精通，看这一篇就够了

前言一、免费大模型API一览大模型免费版本免费限制控制台（api_key等）讯飞星火大模型spark-litetokens：总量无限；QPS：2；(每秒发送的请求数)有效期：不限访问链接百度千帆大模型平台
大模型扬叔·2025-01-25 06:08

用 Java 的思路快速学习 Scala

引言Scala是一种结合了面向对象和函数式编程的现代编程语言，广泛应用于大数据处理框架如ApacheSpark和ApacheFlink。对于熟悉Java的开发者来说，Scala的学习曲线相对平缓。
进朱者赤·2025-01-24 23:50

《Go底层原理与工程化实践》发布啦！

最后，只有对Go语言底层有一定了解，才能开发出高性能、高可用的Go服务，并在解决线上问题、性能调优时游刃有余。本书特色掌握Go高并发
·2025-01-24 20:44

如何进行SQL调优？

这只是粗略总结，之后会就各个模块详细说SQL调优指南SQL调优是面试中常见的问题，考察候选人对SQL性能优化的理解和掌握程度。
M-bao·2025-01-24 18:08

MySQL优化之SQL调优策略

首先以一张思维导图从全局上给大家分享以下几种SQL优化策略，再详细讲解1、避免使用SELECT*在阿里的编码规范中也强制了数据库查询不能使用SELECT*，因为SELECT*方式走的都是全表扫描，导致的结果就是查询效率非常低下，其原因为当我们使用SELECT*方式时，SQL会有一个格式化的阶段，这个阶段会将所有表字段都取出(将*号解析成表的各个字段)，增加了查询解析器的成本2、小表驱动大表小表驱动
零度可乐不加冰·2025-01-24 17:36

如何在 Linux 系统中查看 CPU 核数和内存大小

无论是进行性能调优，还是资源分配，了解CPU的核数和内存大小可以帮助我们更好地规划应用的运行环境。本篇博客将介绍如何在Linux系统中查看CPU核数和内存大小。
Ryann6·2025-01-24 16:29

【Spark】Spark Join类型及Join实现方式

SparkJoin类型1.InnerJoin(内连接)示例：valresult=df1.join(df2,df1("id")===df2("id"),"inner")执行逻辑：只返回那些在两个表中都有匹配的行
DataCrafter·2025-01-24 13:33

Spark运行模式及Spark on Yarn两种运行模式的区别

Spark运行模式1.Standalone模式描述：Standalone模式是Spark的独立集群模式，Spark自己管理资源和调度任务。适合小型集群或个人开发环境。特点：简单易用，适合开发和测试。
DataCrafter·2025-01-24 13:03

pnpm下载element-plus，卡住不动，如何解决？？

本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由；同时，欢迎大家关注&&收藏&&订阅！
bug菌¹·2025-01-24 11:48

MyBatis性能调优——优化SQL查询和分页查询速度

作者：禅与计算机程序设计艺术1.简介1.0什么是MyBatis?MyBatis是MyBatisSQLMapperFramework的简称，是一个Java框架，用于存取数据库中的数据。MyBatis将sql映射到java对象上，并将对象映射成sql，最终实现对关系数据库进行持久化操作。MyBatis使用xml或注解的方式来配置映射关系，并通过xml文件或注解来生成mybatis核心配置文件mybat
AI天才研究院·2025-01-24 09:56

如何从Oracle Autonomous Database加载文档

OracleAutonomousDatabase是一种云数据库，利用机器学习来自动化数据库调优、安全性、备份、更新以及其他传统由数据库管理员(DBAs)执行的例行管理任务。
fGVBSAbe·2025-01-24 08:18

TiDB架构特性

文章目录TiDB整体架构TiDBServerPDServerTiKVServerTiSparkTiDBOperatorTiDB核心特性水平扩展高可用TiDB存储和计算能力存储能力-TiKV-LSM计算能力
·2025-01-24 05:24

大数据学习（七）Python3操作livy（使用pylivy模块）

Livy是一个用于与Spark交互的开源REST接口。pylivy是Livy的Python客户端，可以在Spark集群上轻松实现远程代码执行。
猪笨是念来过倒·2025-01-24 04:46

云计算相关

服务器管理制度访问控制变更管理备份与恢复监控与审计2、操作系统安全管理规范更新与补丁管理用户账号管理防火墙与安全软件日志管理3、虚拟化管理规定资源分配隔离策略模版与镜像三、操作系统1、操作系统安装2、操作系统调优
xianKOG·2025-01-24 01:27

GBase 数据库的性能调优与故障排查

为了最大化GBase数据库的性能，了解如何调优数据库的配置、查询执行计划和硬件资源使用至关重要。
big crab·2025-01-23 23:13

【Redis】golang操作Redis基础入门

总结了一篇【Redis】golang操作Redis基础入门sparkles:喜欢的小伙伴可以点点关注??
m0_74825360·2025-01-23 19:14

搭建单机伪分布式Hadoop+spark+scala

目录一、准备环境包：二、创建centos7虚拟机并配置ip三、链接Xshell并上环境包四、安装JDK1.解压jdk2.设置JAVA环境变量3.执行source使设置生效：4.检查JAVA是否可用。五、免密登陆1.创建ssh秘钥，输入如下命令，生成公私密钥2.将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出六、安装Hadoop软件1.解压hadoo
啥也不会0-0·2025-01-23 16:21

CDP中的Hive3之Apache Hive3特性

ApacheHive3架构概述CDP中采用的是ApacheHive3版本，相比Hive1/2，该版本在事务和安全性等方面有重大改进，了解这些版本之间的主要差异对于SQL用户至关重要，包括使用ApacheSpark
对许·2025-01-23 16:51

Hadoop 与 Spark：大数据处理的比较

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-23 16:50
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他