spark性能调优

SDN实战团技术分享（三十八）：DPDK助力NFV与云计算

对于用户来说，它可能是一个出色的包数据处理性能加速软件库；对于开发者来说，它可能是一个实践包处理新想法的创新工场；对于性能调优者来说，它可能又是一个绝佳的成果分享平台。
lingshengxiyou·2023-11-18 20:32

Flink原理与实现：详解Flink中的状态管理

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之SparkSQL篇2021
王知无(import_bigdata)·2023-11-18 19:59

8年经验之谈 —— 记一次接口压力测试与性能调优！

经验总结1.如果总的CPU占用率偏高，且基本都被业务线程占用时，CPU占用率过高的原因跟JVM参数大小没有直接关系，而跟具体的业务逻辑有关。2.当设置JVM堆内存偏小时，GC频繁会导致业务线程停顿增多，TPS下降，最后CPU占用率也低了；3.当设置JVM堆内存偏大时，GC次数下降，TPS上升，CPU占用率立刻上升。4.Dom4J这个xml解析工具性能很强大，但在处理节点和层级都较多的xml文本时，
MJH827·2023-11-17 16:36

数据处理生产环境_Spark根据给定的轨迹编号生成随机16进制颜色

需求根据给定的轨迹编号在这一列后面生成随机颜色_16代码packagetestimportorg.apache.spark.sql.SparkSessionimportorg.apache.spark.sql.functions
Matrix70·2023-11-17 15:56

运行示例sparkPi计算圆周率（1.1）

1启动spark(1)启动hadoop启动成功master节点进程：Slave节点进程：(2)启动spark（注意路径）启动成功：Slave1和slave2的进程如下：2将sparkPi.scala添加进工程
探索者tl·2023-11-17 14:04

实时数仓入门训练营：Hologres性能调优实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7门精品课程帮助你5天时间从小白成长为大牛！视频链接:https://developer.ali
阿里云云栖号·2023-11-17 14:11

Hologres性能调优

查看执行计划explain仅仅生成执行计划、sql没有执行explainanalyzesql会执行，并收集实际运行中的一些信息性能优化手段表结构、表数据变动后执行analyzetable执行计划中没有让小表hashjoin，说明表的统计信息有误，大表、小表都执行analyze设置distribution_key,distribution_key决定数据存储在哪个shardMotionnode不合适
欧皇西西·2023-11-17 14:09

最新AI创作系统ChatGPT系统运营源码/支持最新GPT-4-Turbo模型/支持DALL-E3文生图

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
只恨天高·2023-11-17 12:57

数据分析工具Polars实现CSV读写、排序、应用函数、lazy API

适合中、小型数据处理，大型数据建议用Spark。安装pipinstallpolarsDataFrame读取CSV读取CSV并设置列名。
小龙在山东·2023-11-17 12:29

Spark~~Spark性能调优

文章目录第1章Spark性能调优1.1常规性能调优1.1.1常规性能调优一：最优资源配置1.1.2常规性能调优二：RDD优化1.1.3常规性能调优三：并行度调节1.1.4常规性能调优四：广播大变量1.1.5
几窗花鸢·2023-11-17 10:41

极客时间Spark性能调优实战-学习笔记（1）

通用性能调优（一）一、应用开发三原则原则一：使用spark自身的调优机制充分利用Spark为我们提供的“性能红利”，如钨丝计划、AQE、SQLfunctions等等。钨丝计划的优势？
我不认识CBW·2023-11-17 10:40

Spark调优 | Spark性能优化实战手册

本文分为四个部分，基本涵盖了所有Spark优化的点，面试和实际工作中必备。
大数据技术架构·2023-11-17 10:39

Spark 性能调优

1常规性能调优1.1常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略
高个子男孩·2023-11-17 10:09

Spark 性能调优总结

分配更多资源写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，我觉得，就是要来调节最优的资源配置；在这个基础之上，如果说你的spark作业，能够分配的资源达到了你的能力范围的顶端之后，
星空下的那个人影·2023-11-17 10:09

Spark性能优化四 内存

性能优化分析内容怎么被消耗的如何预估程序会消耗多少内存呢(二）性能优化方案1)高性能序列化类库2)持久化或者checkpoint3)JVM垃圾回收调优4)提高并行度5）数据本地化（一）性能优化分析一个计算任务的执行主要依赖于CPU、内存、带宽Spark
小崔的技术博客·2023-11-17 10:38

[Spark]二Spark性能调优|Spark任务监控|程序调优|资源调优

二.spark性能调优1.Spark任务监控对Spark性能的调优离不开对任务的监控，只有在运行过程中，通过监控手段发现问题，才能迅速定位问题所在。
胖胖学编程·2023-11-17 10:37

spark-调优-性能调优&内存管理

前置主要涉及6个参数，从3个方面：executor、core、内存的大小，并行度，内存管理进行调优优化的方案资源分配num-executors：spark使用多少个executorsexecutor-cores
zdkdchao·2023-11-17 10:36

spark性能调优(二):内存

Memory一、spark内存简介二、堆内内存or堆外内存?三、如何用好RDDCache?四、OOM怎么办?
我爱夜来香A·2023-11-17 10:05

Spark 优化 (一) --------- Spark 性能调优

目录一、常规性能调优1.最优资源配置2.RDD优化3.并行度调节4.广播大变量5.Kryo序列化6.调节本地化等待时长二、算子调优1.mapPartitions2.foreachPartition优化数据库操作
在森林中麋了鹿·2023-11-17 10:34

Scala | Spark性能优化 | 资源调优 | 代码调优 | 数据本地化 | 内存调优 | Spark Shuffle调优 | 数据倾斜 | Spark故障解决

map-side预聚合的shuffle操作5.尽量使用高性能的算子6.使用广播变量7.使用Kryo优化序列化性能8.优化数据结构9.使用高性能的库fastutil四、数据本地化1.数据本地化的级别2.Spark
幼稚的人呐·2023-11-17 10:04

spark性能调优 | 内存优化

目录我们先了解一下有哪些内存温馨提示RDD示范(spark版本2.1.1)RDD进行优化Df和Ds进行示范我们先了解一下有哪些内存1.storage内存存储数据，缓存可预估2.shuffle内存计算joingroupby
Knight_AL·2023-11-17 10:00

AI创作系统ChatGPT网站源码+详细搭建部署教程+支持DALL-E3文生图/支持最新GPT-4-Turbo-With-Vision-128K多模态模型

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-11-17 10:25

Scala-满足spark的学习需求

Scala变量和数据类型注释和java一样变量和常量varname:String="jx"//变量valname:String="jx"//常量因为scala函数式编程的要素，所以能用常量就不要用变量声明变量时，类型可以省略，编译器可以自动推导静态类型，类型经过给顶或推导就不能更改变量和常量声明时，必须有初始值变量可变，常量不可变引用类型常量，不能改变常量指向的对象，可以改变对象的字段不以;作为语
健鑫.·2023-11-17 09:10

【Scala-spark.mlib】稠密矩阵和稀疏矩阵的创建及操作

mlib中的稠密矩阵和稀疏矩阵1.矩阵 1.1.mlib中的矩阵特质（Matrix） 1.1.Matrix定义的基本方法2.稠密矩阵 1.1.mlib中的稠密矩阵（DenseMatrix）  1.1.1.Matrices类中的稠密矩阵构造 1.2.DenseMatrix相关方法  1.2.1.构造方法  1.2.2.成员方法3.稀疏矩阵 2.1.mlib中的稀疏矩阵（SparseMatrix）  
JimmyShis·2023-11-17 09:08

01.Scala编程基础 ---没看

Scala编程1.课程目标21.1.目标1：(初级)熟练使用scala编写Spark程序21.2.目标2：(中级)动手编写一个简易Spark通信框架31.3.目标3：(高级)为阅读Spark内核源码做准备
okbin1991·2023-11-17 09:32

终于有人把Spark大数据分析与挖掘讲明白了

当我们每天面对扑面而来的海量数据时，是战斗还是退却，是去挖掘其中蕴含的无限资源，还是让它们自生自灭？我们的答案是：“一切都取决于你自己”。对于海量而庞大的数据来说，在不同人眼里，既可以是一座亟待销毁的垃圾场，也可以是一个埋藏有无限珍宝的金银岛，这一切都取决于操控者的眼界与能力。本书的目的就是希望所有的大数据技术人员都有这种挖掘金矿的能力！大数据时代什么是“大数据”？一篇名为“互联网上一天”的文章告
风度78·2023-11-17 09:46

Spark数据倾斜_产生原因及定位处理办法_生产环境

在最近的项目中，历史和实时数据进行关联平滑时出现了数据倾斜，产生了笛卡尔积，具体现象如下：运行内存175GB，核数64，运行代码时，查看SparkUI界面的activejobs，数据输入是1G，成功的stage
Matrix70·2023-11-17 07:51

Spark与SQL之间NB的转换_withClumn，split及SubString

睡觉_2，吃饭_3，这是我的第一个需求；随后我想保留的是dataframe表table1中的字段d1中的数据比如学习_1,睡觉_2，吃饭_3，中的数据中_前后的数据分别作为两列e1，f1，该怎么写这个spark
Matrix70·2023-11-17 06:13

nebula graph 3.0.x 导入数据

nebulaconsolejavaclientNebulaImporter适用场景优势前提条件操作步骤启动命令配置文件说明NebulaExchange版本系列适用场景产品优点数据源使用限制NebulaSparkConnector
大怀特·2023-11-17 06:07

大数据毕业设计选题推荐-机房信息大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的飞速发展，机
IT研究室·2023-11-17 06:59

C && C++ && git && tcpip

blog.csdn.net/aobai219/article/details/1596964C语言添加宏开关https://www.cnblogs.com/zht-blog/p/4036935.htmlPython+Spark2.0
happylzs2008·2023-11-17 05:21

离线集群平台搭建-HDP

一.背景大数据相关的所有建设依托于大数据的基础设施.基础设施一定包含了集群平台的搭建.目前市场上常用的有三种方式做集群平台的搭建;第一种为使用原生的apache(hadoop,hive,spark)等相关大数据软件构建集群平台
会飞的boy·2023-11-17 03:53

python使用Stream Load方式写入doris

0.doris支持的多种数据写入方式如：导入总览|ApacheDorisSparkLoad通过Spark导入外部数据BrokerLoad通过Broker导入外部存储数据StreamLoad流式导入数据(
菜鸟001号·2023-11-17 01:19

Spark+Flink+DW+DB

6.Spark面试题（约9.8w字）1.介绍下SparkSpark是一个快速、通用、可扩展的大数据处理和分析引擎。
我是Sol啊·2023-11-17 00:31

你的数据倾斜了吗？一文帮你数据处理再均衡

前言此篇主要总结到Hive,Flink,Spark出现数据倾斜的表现，原因和解决办法。首先会让大家认识到不同框架或者计算引擎处理倾斜的方案。最后你会发现计算框架只是“异曲”，文末总结才是“同工之妙”。
大数据左右手·2023-11-16 21:41

探究Presto SQL引擎(1)-巧用Antlr

从Hadoop生态的Hive,Spark,Presto,Kylin,Druid到非Hadoop生态的Clic
vivo互联网技术·2023-11-16 20:27

大数据应用开发线上班（学徒班）课程大纲

泰迪智能科技大数据应用开发线上班课程使用当下流行的Hadoop+Spark大数据框架，全面、深入地探讨了大数据开发、大数据分析、数据仓库等技术。
泰迪智能科技·2023-11-16 19:23

《Flink原理、实战与性能优化》（Flink知识梳理一）

Flink原名StratosphereFlink是基于事件驱动的，而SparkStreaming微批模型，生成微小的数据批次Spark的弱点：Spark基于批处理原理，对流式计算相对较弱（本质上是对Hadoop
无影风Victorz·2023-11-16 18:40

spark与scala的对应版本查看

仓库地址https://mvnrepository.com/artifact/org.apache.spark/spark-core总结spark3.0以后，不再支持scala2.11spark3.0以后
Knight_AL·2023-11-16 07:43

AI创作系统ChatGPT源码+AI绘画系统+支持OpenAI DALL-E3文生图，可直接对话文生图

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-11-16 06:11

智能AI系统ChatGPT网站源码+支持OpenAI DALL-E3文生图+支持ai绘画（Midjourney)/支持OpenAI GPT全模型+国内AI全模型

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
只恨天高·2023-11-16 06:07

智能AI系统ChatGPT网站源码+支持OpenAI DALL-E3文生图+支持ai绘画（Midjourney)/支持GPT全模型+国内AI全模型

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
只恨天高·2023-11-16 06:07

AI创作系统ChatGPT网站源码+支持最新GPT-Turbo模型+支持DALL-E3文生图/AI绘画源码

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-11-16 06:06

SparkSQL项目实战

1准备数据我们这次Spark-sql操作所有的数据均来自Hive，首先在Hive中创建表，并导入数据。一共有3张表：1张用户行为表，1张城市表，1张产品表。
shangjg3·2023-11-16 06:47

MySQL、HiveSQL、SparkSQL的区别

1、用途角度1）MySQL是一种关系型数据库，主要用于存储和管理结构化数据2）HiveSQL是用于Hadoop平台上的一种SQL-like语言，主要用于对大数据进行查询和分析3）SparkSQL是一种基于
BaoZi969·2023-11-16 03:13

spark 窗口滑动用于在不同的数据块之间执行操作

在Scala中进行分布式执行，例如使用ApacheSpark，可以通过设置窗口滑动来实现不同RDD之间的关联处理。窗口滑动是一种窗口操作，用于在不同的数据块之间执行操作。
BaoZi969·2023-11-16 03:42

MySql数据库性能调优

Masud说道：MySql数据库性能调优是web开发的重要内容，当流量暴增的时候，数据库就撑不住了，如何调优呢？
iteye_9367·2023-11-16 02:49

Spark SQL中Dataframe join操作含null值的列

SparkSQL中Dataframejoin操作含null值的列当在SparkSQL中对两个Dataframe使用join时，当作为连接的字段的值含有null值。
青春程序不迷路·2023-11-16 00:48

Spark 之 dataframe 之 join

SparkDataFrame中join与SQL很像，都有innerjoin,leftjoin,rightjoin,fulljoin;那么join方法如何实现不同的join类型呢？
hankl1990·2023-11-16 00:47

python中的join函数连接dataframe_Spark DataFrame中的join使用说明

sparksql中join的类型SparkDataFrame中join与SQL很像，都有innerjoin,leftjoin,rightjoin,fulljoin;类型说明innerjoin内连接leftjoin
冯慎行·2023-11-16 00:17
上一页 52 53 54 55 56 57 58 59 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他