spark调优

数据工程中九大痛点

你可以让几个独立的数据产品团队致力于花哨的ML建模，在SparkGPU集群上花费数千美元，但模型的准确性却
极道Jdon·2023-11-14 08:10

数据库01-慢查询优化

MySQL优化MySQL优化是数据库管理和应用性能调优的一个重要方面。以下是一些常规性的MySQL优化经验和适用场景：索引优化：确保表的字段上有适当的索引，以加速查询。
Elaine202391·2023-11-14 08:09

SSH全能终端工具mobaXterm（远程工具）使用教程

mobaXterm使用教程目录引言mobaXterm概述安装与配置下载mobaXterm安装过程基础设置SSH连接创建SSH会话SSH命令行操作文件传输高级特性多标签和分屏宏和自动化脚本插件和扩展问题排查连接问题性能调优总结参考资料
Dontla·2023-11-14 07:59

大数据-Spark调优（二）

大数据-Spark调优（二）尽量避免使用shuffle类算子shuffle描述spark中的shuffle涉及到数据要进行大量的网络传输，下游阶段的task任务需要通过网络拉取上阶段task的输出数据，
海恋北斗星·2023-11-14 06:18

大数据之Spark调优：Explain 查看执行计划

目录Explain查看执行计划准备测试用表和数据基本语法执行计划处理流程案例实操代码Explain查看执行计划Spark3.0大版本发布，SparkSQL的优化占比将近50%。
浊酒南街·2023-11-14 06:17

Spark性能调优案例-优化spark估计表大小失败 和 小表关联 走 broadcast join

B任务关联一张小表，实际任务耗时较长排查思路A任务排查查看sparkUIsql界面：问题1：发现并没有走广播join观察此处join，对于76条数据的表，估计的大小超过10M，实际76条数据大小小于spark.sql.autoBroadcastJoinThreshold
fir_dameng·2023-11-14 06:46

Spark性能调优案例-多表join优化，减少shuffle

背景A任务在凌晨1点到3点，平均耗时1h,且是核心公共任务，急需优化。整体逻辑示意图：//从tableA读取一次数据，放到临时表t1DROPTABLEIFEXISTStemp.tmp_xx_$date_1;CREATETABLEIFNOTEXISTStemp.tmp_xxx_$date_1asselectxxxfromtableAwherexxxx;//从临时表t1读取和转换数据，得临时表t2DR
fir_dameng·2023-11-14 06:45

JVM调优案例分析

1、大内存硬件上的程序部署策略这是笔者很久之前处理过的一个案例，但今天仍然具有代表性。一个15万PV/日左右的在线文档类型网站最近更换了硬件系统，服务器的硬件为四路志强处理器、16GB物理内存，操作系统为64位CentOS5.4，Resin作为Web服务器。整个服务器暂时没有部署别的应用，所有硬件资源都可以提供给这访问量并不算太大的文档网站使用。软件版本选用的是64位的JDK5，管理员启用了一个虚
一直不懂·2023-11-14 06:44

Spark 算子调优

使用mapPartition提升map类操作的性能数据量不是特别大的时候，都可以用这种MapPartitions系列操作，性能还是非常不错的，是有提升的。mapToPair----->mapPartitionsToPairreturnactionRDD.mapToPair(newPairFunction(){@OverridepublicTuple2call(Rowrow)throwsExcept
星空下的那个人影·2023-11-14 06:14

Spark 调优

Spark调优一、Spark资源参数调优二、开发调优**调优思路：**优先使用参数调优，如果参数调优不能满足我们的业务场景，这里就要涉及到代码调优一、Spark资源参数调优•num-executors：
栗子呀！·2023-11-14 06:13

Spark性能调优总结

目录1：spark为什么需要调优2.调优的本质3.什么是RDD从薯片加工了解rddRDD的特征和属性4.关于内存计算什么是内存计算：什么是DAGstage的划分stage中的内存计算是怎么样的5.调优之数据不动代码动
只会写demo的程序猿·2023-11-14 06:43

spark调优-开发调优

开发调优方式：（1）避免重复的RDD（2）尽可能多的复用一个RDD（3）对多次使用的RDD进行持久化（4）尽量避免使用shuffle类的算子（5）使用map-side预聚合的shuffle操作（combine
qichangjian·2023-11-14 06:12

hive on spark调优学习笔记

1集群环境概述1.1集群配置概述：所用集群由5台节点构成，其中2台为master节点，用于部署HDFS的NameNode，Yarn的ResourceManager等角色，另外3台为worker节点，用于部署HDFS的DataNode、Yarn的NodeManager等角色。Master节点配置为16核CPU、64G内存。Workder节点配置为32核CPU、128G内存。1.2集群规划概述：2ya
一只友·2023-11-14 06:39

大数据开发-Spark调优常用手段

Spark调优spark调优常见手段，在生产中常常会遇到各种各样的问题，有事前原因，有事中原因，也有不规范原因，spark调优总结下来可以从下面几个点来调优。
Hoult-吴邪·2023-11-14 06:39

Spark性能调优案例

在实际工作中，性能调优是必不可少的，虽然业务千种百样，实际落地的解决方案可能也不尽相同，但归根结底，调优的最终目的是使得内存、CPU、IO均衡而没有瓶颈。
大数据男·2023-11-14 06:08

Spark SQL调优案例：单字段NOT IN子查询优化

背景有如下的数据查询场景。表结构createtableorder(order_idlong,customer_idlong)partitionedby(datestring);要查询当天有订单，但是前一天没有订单的用户在当天的订单记录。数据分析的同事编写的最初版本的SQL如下select*fromorderwheredate='2021-07-17'andcustomer_idnotin(sele
hammertank·2023-11-14 06:38

【技术难点】hive on spark 调优

hiveonspark性能远比hiveonmr要好，而且提供了一样的功能。用户的sql无需修改就可以直接运行于hiveonspark。udf函数也是全部支持。
无精疯·2023-11-14 06:05

Spark SQL 每年的1月1日算当年的第一个自然周, 给出日期，计算是本年的第几周

一、问题按每年的1月1日算当年的第一个自然周(遇到跨年也不管，如果1月1日是周三，那么到1月5号（周日）算是本年的第一个自然周,如果按周一是一周的第一天)计算是本年的第几周，那么sparksql如何写?
_lizhiqiang·2023-11-14 06:02

spark调优案例分享

做了一个Spark调优案例的分享最近在整理了Spark相关的调优案例，并做了以下分享:spark调优案例，注意是MacKeynote
鸿乃江边鸟·2023-11-14 06:01

Spark3.0中的AOE、DPP和Hint增强

1Spark3.0AQESpark在3.0版本推出了AQE（AdaptiveQueryExecution），即自适应查询执行。
shangjg3·2023-11-14 06:32

Spark数据倾斜优化

1数据倾斜现象1、现象绝大多数task任务运行速度很快，但是就是有那么几个task任务运行极其缓慢，慢慢的可能就接着报内存溢出的问题。2、原因数据倾斜一般是发生在shuffle类的算子，比如distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup等，涉及到数据重分区，如果其中某一个key数量特别大，就发生了数据倾斜。2数据倾斜大key定
shangjg3·2023-11-14 06:30

基于C#+WPF编写的调用讯飞星火大模型工具

工具源码：https://github.com/lishuangquan1987/XFYun.SparkChat工具效果截图：支持流式输出:其中ApiKey/ApiSecret/AppId需要自己到讯飞星火大模型官网去注册账号申请
lishuangquan1987·2023-11-14 04:45

Redhat Linux v8.2 实时内核环境配置及参数调优

BC-LinuxV8.2实时内核环境配置及参数调优-------物理机&虚拟机一、前言本文档包含有关RedhatLinuxforRealTime的基本安装和调试信息。
沉浮简·2023-11-14 03:14

SparkSQL之Analyzed LogicalPlan生成过程

  经过AstBuilder的处理，得到了UnresolvedLogicalPlan。该逻辑算子树中未被解析的有UnresolvedRelation和UnresolvedAttribute两种对象。Analyzer所起到的主要作用就是将这两种节点或表达式解析成有类型的（Typed）对象。在此过程中，需要用到Catalog的相关信息。  因为继承自RuleExecutor类，所以Analyzer执行
RainTicking·2023-11-14 01:48

Advanced Materials_Ben Cloward

Episode2——SparklingSnowShader这一集来制作一个闪闪发光的雪的材质用到的材质是这个下载的是4K的，但是为了性能考虑需要优化一下这个纹理，把法线分为主要的和细节法线，主N为1024
嘟嘟小魔王_·2023-11-13 23:14

postgresql数据库优化

目录概要优化方法硬件知识CPU及服务器体系结构内存硬盘文件系统及I/O调优文件系统的崩溃恢复Ext2文件系统Ext3文件系统Ext4文件系统XFS文件系统BarriersI/OI/O调优的方法SSD的Trim
necessary653·2023-11-13 22:28

MySQL索引及调优篇

第06章_索引的数据结构1.为什么使用索引索引是存储引擎用于快速找到数据记录的一种数据结构，就好比一本教科书的目录部分，通过目录中找到对应文章的页码，便可快速定位到需要的文章。MySQL中也是一样的道理，进行数据查找时，首先查看查询条件是否命中某条索引，符合则通过索引查找相关数据，如果不符合则需要全表扫描，即需要一条一条地查找记录，直到找到与条件符合的记录。[外链图片转存失败,源站可能有防盗链机制
t624027645·2023-11-13 22:27

MySQL性能瓶颈以及优化

原链接：https://www.toutiao.com/a6725727372672238094/原来这样调优可以攻破MySQL性能瓶颈来一杯82年的Java2019-08-1619:37:13一、前言
eleven_4u·2023-11-13 22:44

Linux内核分析(十三)--内存管理之I/O交换与性能调优

2.2、匿名页(Anonymouspage)------>2.3、读写方式------>2.4、常驻内存三、页面回收------>3.1、LRU算法------>3.2、嵌入式系统的zRAM四、内存性能调优
文艺小少年·2023-11-13 21:44

【Java开发】之 JDK 自带的 JVM 性能调优监控工具

一、简介JDK本身自带了许多JVM调优监控工具，可以帮助我们查看Java应用程序的进程、线程、内存栈等信息。这些工具命令包括jps、jstack、jmap、jhat等等。
王廷云的博客·2023-11-13 17:03

Spark Worker 启动流程及源码详解

环境：spark2.3.3scala2.11.8Java1.8.0_141可以参考【SparkMaster启动流程及源码详解】${SPARK_HOME}/sbin/start-slaves.sh#Launchtheslaves
ustbxyls·2023-11-13 17:59

Oracle数据库调优实战：优化SQL查询的黄金法则！

下面将介绍Oracle数据库调优的黄金法则，帮助您提高SQL查询的性能和效率。一、分析SQL执行计划SQL执行计划是优化SQL查询的第一步。
胖头鱼不吃鱼-·2023-11-13 16:45

大数据SparkSql创建临时表并查询数据

importorg.apache.spark.sql.{DataFrame,SparkSession}importorg.apache.spark.sql.types.
Vincer_DB·2023-11-13 16:04

JVM关键指标监控(调优)

JVM99%情况下不需要调优使用性能更好的垃圾回收器核心指标针对单台服务器而言：jvm.gc.time:每分钟GC耗时在1s以内500ms以内最佳jvm.gc.meantime:每次YGC耗时在100ms
牛壹壹·2023-11-13 13:22

Dataset 的一些 Java api 操作

文章目录一、使用JavaAPI和JavaRDD在SparkSQL中向数据帧添加新列二、foreachPartition遍历Dataset三、Dataset自定义Partitioner四、Dataset重分区并且获取分区数五
小强签名设计·2023-11-13 12:29

spark sql读取hive数据直接写入doris，离线批量导入

一，sparksql读取hive表这里通过catalog查询表的字段信息，然后查询出来的字段colStr要给下面的doris使用。注意：我这里是直接拿取的hive表所有的字段。
黄瓜炖啤酒鸭·2023-11-13 12:36

上手SQL语句调优必须了解的内容——Explain

在做性能测试时，资深的性能测试工程师，都会帮助研发同学优化sql语句，听起来很高深，但是具体操作是比较容易的，使用expain命令就可以了！本文我会用最简单有效的方式带大家掌握expain的使用方法！Explain概述explain即执行计划，使用explain关键字可以模拟优化器执行sql查询语句，从而知道MySQL是如何处理sql语句。explain主要用于分析查询语句或表结构的性能瓶颈。使用
测试开发Kevin·2023-11-13 12:35

Doris：读取Doris数据的N种方法

目录1.MySQLClient2.JDBC3.查询计划4.SparkDorisConnector5.FlinkDorisConnector1.MySQLClientDoris采用MySQL协议，高度兼容
m0_37559973·2023-11-13 12:59

oracle之执行计划

oracle之执行计划sql调优就是通过各种手段和方法是优化器选择最佳执行计划，以最小的资源消耗获取到想要的数据。
MrChang@·2023-11-13 11:32

Oracle获取执行计划的6种方法

执行计划描述了SQL引擎为执行SQL语句进行的操作，分析SQL语句相关的性能问题或仅仅质疑查询优化器的决定时，必须知道执行计划；所以执行计划常用语SQL调优。二、怎么获取执行计划？
使不得呀·2023-11-13 11:29

Spark 资源调优

1资源规划1.1资源设定考虑1、总体原则以单台服务器128G内存，32线程为例。先设定单个Executor核数，根据Yarn配置得出每个节点最多的Executor数量，每个节点的yarn内存/每个节点数量=单个节点的数量总的executor数=单节点数量*节点数。2、具体提交参数1）executor-cores每个executor的最大核数。根据经验实践，设定在3~6之间比较合理。2）num-ex
shangjg3·2023-11-13 08:41

Spark Job优化

1Map端优化1.1Map端聚合map-side预聚合，就是在每个节点本地对相同的key进行一次聚合操作，类似于MapReduce中的本地combiner。map-side预聚合之后，每个节点本地就只会有一条相同的key，因为多条相同的key都被聚合起来了。其他节点在拉取所有节点上的相同key时，就会大大减少需要拉取的数据数量，从而也就减少了磁盘IO以及网络传输开销。RDD的话建议使用reduce
shangjg3·2023-11-13 08:03

如何在 Azure 中使用自动机器学习进行模型训练

自动机器学习（AutomatedMachineLearning，简称为AutoML）是一种通过自动化流程来简化模型训练和调优的技术。
嵌入式杂谈·2023-11-13 05:12

基于Spark的电商用户行为实时分析可视化系统（Flask-SocketIO）

基于Spark的电商用户行为实时分析可视化系统（Flask-SocketIO）项目简介该项目已上线蓝桥课程，有需要的可凭邀请码（UB5mdLbl）学习哦，有优惠！
Mise_V·2023-11-13 04:14

【ChatGPT提问技巧案例】之影视分镜头脚本撰写

文章目录1、使用场景举例1.1案例1.2思路示范（随便挑三个）2、实战2.1用ChatGPT帮我撰写项目计划书2.2用ChatGPT帮我进行SQL调优2.3用ChatGPT帮我写一个电影的分镜头脚本《毕业的十字路口
领航猿1号·2023-11-13 02:39

【Linux网络】系统调优之时间同步，搭建内网时间同步服务器

目录一、时间同步是什么二、时间同步实验pc1的chrony配置修改：pc2和pc3时间同步配置一样关于时间调整再同步回来：ntpdate命令最后，再总结一下（关于服务端口）：三、命令记录一、时间同步是什么顾名思义就是时间保持一样，好处就是可以再生产中，可以有一台时间同步服务器将所有的设备时间一致，方便统一管理二、时间同步实验实验准备计划准备2-3台主机，其中一台为时间同步服务器，理解为在内网中唯一
liu_xueyin·2023-11-12 23:29

【Linux网络】系统调优之聚合链路bonding，可以实现高可用和负载均衡

一、什么是多网卡绑定二、聚合链路的工作模式三、实操创建bonding设备（mode=1）1、实验2、配置文件解读3、查看bonding状态,验证bonding的高可用效果三、nmcli实现bonding一、什么是多网卡绑定将多块网卡绑定同一IP地址对外提供服务，可以实现高可用和负载均衡。直接给两块网卡，通过bonding，虚拟成一块网卡对外提供连接，被修改为相同的MAC地址。总结一下特点：1、增加
liu_xueyin·2023-11-12 23:57

进阶SQL——数据表中多列按照指定格式拼接，并将多行内容合并为map拼接

示例：str_to_map(concat_ws(',',collect_set(concat_ws(':',modelname,score))))asscore_map,这条语句是一个SparkSQL的语句
JingjingyiyiGuo·2023-11-12 22:25

hive和spark-sql中 日期和时间相关函数 测试对比

测试版本：hive2.3.4spark3.1.1hadoop2.7.71、增加月份add_months(timestampdate,intmonths)add_months(timestampdate,
Data_IT_Farmer·2023-11-12 21:26

AI图像处理算法岗位整理

负责算法的逻辑，性能调优，汇编优化，或者GPU算法实现。对算法的设计，实现，调试，优化，测试以及metrics统计负责。
生活需要深度·2023-11-12 18:30
上一页 75 76 77 78 79 80 81 82 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他