spark调优

Hudi 在 vivo 湖仓一体的落地实践

一、Hudi基础能力及相关概念介绍1.1流批同源能力与Hive不同，Hudi数据在Spark/Flink写入后，下游可以继续使用Spark/Flink引擎以流读的形式实时读取数据。
vivo互联网技术·2023-12-18 03:15

Hive优化

2、从集群的资源设置出发，即Hive参数调优，偏理解技术角度。3、从
耗子背刀PK猫·2023-12-18 02:23

spark_shuffle相关参数整理

1、spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shufflewritetask的BufferedOutputStream的buffer缓冲大小。
耗子背刀PK猫·2023-12-18 02:23

吸血鬼日记第1季第5集台词

,Ihavelivedinsecretuntilnow.一个多世纪以来我都秘密地活着IknowtheriskbutIhavetoknowher.我知道很冒险但我必须要认识她Howcouldyounotsparkle
英美剧台词·2023-12-18 01:32

提交Application的两种方式

一.提交Application的两种方式分别是client方式和cluster方式1.client方式这种方式，Driver进程是在client端启动启动代码样例spark-submit--masterspark
0_9f3a·2023-12-17 23:54

kafka学习笔记--Topic 数据的存储机制

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录大致介绍实际查看index文件和log文件详解大致介绍Topic是逻辑上的概念，而partition是物理上的概念
向着百万年薪努力的小赵·2023-12-17 23:40

kafka学习笔记--Kafka副本

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录1副本基本信息2Leader选举流程3Leader和Follower故障处理细节3.1Follower故障处理细节
向着百万年薪努力的小赵·2023-12-17 23:40

备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

//www.mysql.com/软件名称版本ubuntu18.0464位Hadoop：hadoop-3.1.3.tar.gz3.1.3Jdk：jdk-8u212-linux-x64.tar.gz1.8Spark
Stitch .·2023-12-17 22:18

Spark基础入门

spark基础入门环境搭建localstandlonesparkhasparkcodesparkcoresparksqlsparkstreaming环境搭建准备工作创建安装目录mkdir/opt/softcd
李昊哲小课·2023-12-17 21:04

Spark课程大纲

Spark环境搭建CentosSpark单机版伪分布式模式Spark单机版intelij开发(maven)Spark完全分布式集群搭建Sparkhistoryserver配置使用二种方法实现Spark计算
小猪Harry·2023-12-17 19:11

91、Spark Streaming之transform以及广告计费日志实时黑名单过滤案例实战

transform以及实时黑名单过滤案例实战transform操作，应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作。它可以用于实现，DStreamAPI中所没有提供的操作。比如说，DStreamAPI中，并没有提供将一个DStream中的每个batch，与一个特定的RDD进行join的操作。但是我们自己就可以使用transform操作来实现该功能。DStream.join()
ZFH__ZJ·2023-12-17 19:31

Spark SQL中coalesce()函数

在SparkSQL中，`coalesce()`函数用于从给定列中选择非空值。它接受一个或多个列作为参数，并返回第一个非空值。
小辉懂编程·2023-12-17 18:16

Spark SQL 写入hive表 字段名称或者类型不一致

解决方案：valtargetTableSchemaArray=spark.catalog.listColumns(dbName,tableName).select("name","dataType","
团团饱饱·2023-12-17 17:12

大数据存储技术（3）—— HBase分布式数据库

）概念（二）特点（三）HBase架构二、HBase原理（一）读流程（二）写流程（三）数据flush过程（四）数据合并过程三、HBase安装与配置（一）解压并安装HBase（二）配置HBase（三）配置Spark
Francek Chen·2023-12-17 17:44

2022-12-13

虚拟电厂并非传统意义上的发电厂，它是一种将不同空间的可调（可中断）负荷、储能、微电网、电动汽车、分布式能源等一种或多种资源聚合起来，实现自主协调优化控制，参与电力系统运行和电力市场交易的智慧能源系统。
z张燕婷·2023-12-17 17:50

Kafka-生产调优

Kafka生产调优实践通常在生产环境中，Kafka都是用来应对整个项目中最高峰的流量搭建Kafka监控平台生产环境通常会对Kafka搭建监控平台。
有梦想的年轻人6174·2023-12-17 17:12

作者推荐 |【深入了解系统性能优化】「实战技术专题」全方面带你透彻探索服务优化技术方案（JVM优化篇）

全方面带你透彻探索服务优化技术方案JVM性能优化和调优内存管理线程管理代码优化最大子列和问题：JVM与JIT编译器相关的优化热点编译的概念选择编译器类型代码缓存相关编译阈值编译阈值半衰周期开启半衰周期设置半衰周期值编译线程方法内联开启内联机制设置方法的较热的方法内联大小阈值设置方法的内联的方法大小的触发阈值逃逸分析
洛神灬殇·2023-12-17 16:37

Linux Ubuntu环境下使用docker构建spark运行环境（超级详细）

LinuxUbuntu环境下使用docker构建spark运行环境（超级详细）这篇文章深入研究了在LinuxUbuntu环境下使用Docker构建Spark运行环境的详细步骤。
星川皆无恙·2023-12-17 15:39

流批一体神器 Flink 之 Flink State 架构原理解析

身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！
zhisheng_blog·2023-12-17 14:32

大规模异常滥用检测：基于局部敏感哈希算法——来自Uber Engineering的实践

为了解决我们和其他系统中的类似挑战，UberEngineering和Databricks共同向ApacheSpark2.1开发了局部敏感哈希（LSH）。LSH是大规模
djph26741·2023-12-17 14:49

SQL SERVER性能优化综述 - TravyLee的专栏 - 博客频道 - CSDN.NET

我始终认为，一个系统的性能的提高，不单单是试运行或者维护阶段的性能调优的任务，也不单单是开发阶段的事情，而
weixin_33778778·2023-12-17 14:30

在 idea 中以 yarn-client 远程提交 Spark 作业

示例代码RemoteSubmitApp主类packagecom.clouderaimportorg.apache.kafka.clients.consumer.ConsumerConfigimportorg.apache.kafka.common.serialization.StringDeserializerimportorg.apache.log4j.Loggerimportorg.apach
lei_charles·2023-12-17 13:41

JVM调优

JVM调优一、JVM调优是什么二、何时需要进行jvm调优三、常见的JVM调优内容四、JVM调优的基本原则1、在代码层面：2、在架构方面：3、系统参数方面：五、JVM调优目标六、JVM调优量化目标七、JVM
程序员 Super V·2023-12-17 13:01

JVM 调优

目的是：减少父GC，最终减少STW也就是父没了，子肯定就会减少当fullgc是，就可能出现STW，(意思是在GC时，就要停用户线程，比如一个用户下单，这时要GC了，下单过程就有卡顿，其实就是暂时锁死程序，先GC，清掉没用的。为什么有这么个机制？如果没有，一边跑下单线程，一边跑GC，搞不好把下单线程中的对象给清了)这是打开windows下的监控JVM工具https://www.bilibili.co
千百元·2023-12-17 13:28

JVM 性能调优及监控诊断工具 jps、jstack、jmap、jhat、jstat、hprof 使用详解

一.前言工欲善其事，必先利其器。在日常的企业级Java应用开发、维护中，我们可能会碰到下面这些问题：OutOfMemoryError，内存不足；内存泄露；线程死锁；锁争用（LockContention）；Java进程消耗CPU过高等。那么如何快速找出问题根本原因及如何解决成了我们需要掌握的基本技能，而这种技能的掌握除了自身的经验之外，更重要的是能够熟练地使用各种工具。很多问题在日常开发、维护中可能
懒鸟一枚·2023-12-17 10:34

kafka学习笔记--节点的服役与退役

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录服役新节点新节点准备执行负载均衡操作退役旧节点执行负载均衡操作执行停止命令服役新节点依旧使用前面文章创建的三个
向着百万年薪努力的小赵·2023-12-17 10:25

一次显著的性能提升，从8s到0.7s

前言最近我在公司优化了一些慢查询SQL，积累了一些SOL调优的实战经验。这篇文章从实战的角度出发，给大家分享一下如何做SQL调优。
互联网杂货铺·2023-12-17 09:14

Flink 简介

Flink简介#一、Flink简介#1.Flink发展这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。
lz_matlab·2023-12-17 09:09

图解Spark Graphx实现顶点关联邻接顶点的collectNeighbors函数原理

在用Sparkgraphx中，通过函数collectNeighbors便可以获取到源顶点邻接顶点的数据。下面以一个例子来说明，首先，先基于顶点集和边来创建一个Graph图。
朱季谦·2023-12-17 09:31

Spark sql 写分区表，设置format报错

sparksqldataset写入表的时候，我写的是一个用ymd分区的表，我想设置输出格式format("hive")，然后报错了代码如下ds.write().partitionBy(partitionsStr
南修子·2023-12-17 07:25

JVM 性能调优及监控诊断工具 jps、jstack、jmap、jhat、jstat、hprof 使用详解

目录一.前言二.jps（JavaVirtualMachineProcessStatusTool）三.jstack四.jmap（MemoryMap）和jhat（JavaHeapAnalysisTool）五.jstat（JVM统计监测工具）六.hprof（Heap/CPUProfilingTool）七.总结一.前言工欲善其事，必先利其器。在日常的企业级Java应用开发、维护中，我们可能会碰到下面这些问
流华追梦^_^·2023-12-17 07:33

Hadoop，Hive和Spark大数据框架的联系和区别

Hadoop，Hive和Spark是大数据相关工作中最常用的三种框架。1Hadoophadoop是一个分布式计算框架，是大数据处理的基石，大多其他框架都是以hadoop为基础。
Weiyaner·2023-12-17 06:00

Win10下安装大数据开发环境 spark+hadoop+hive（实测可用）

Win10下安装大数据开发环境spark+hadoop+hive（实测可用）基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先，我们需要搭建软件的运行环境，本文中所使用的软件均需要运行在
YannAdams·2023-12-17 06:30

大数据生态中‘Hadoop’、‘Hive’、‘Spark’、‘Mapreduce’、‘HDFS’、‘Yarn’是什么关系

以上都是大数据相关的系统和技术，大数据又属于数据管理系统的范畴数据管理系统无非就两个问题：1.数据怎么存2.数据怎么算再进入信息爆炸时代后，数据的容量越来越大，导致一台服务器存不下，所以要用集群来存储、处理信息，但是管理一台服务器容易，怎么去统一管理集群的信息成了问题。所以用到了Hadoop生态来管理信息。Hadoop生态中HDFS：处理存储，管理信息的分布式存储、提供接口，让用户感觉集群中的信息
小书生啊·2023-12-17 06:29

大数据 | Hadoop、Hive、Spark的关系

服务器可以插6块硬盘，每块硬盘4T，共24T原始容量，再加上一些数据包的可用冗余，再加上一些格式化的损失，保守估计一台服务器至少可以有10T以上的可用容量，再加上128G内存和两颗CPU，装入DBMS，稍微调优
xyzhang2018·2023-12-17 06:58

[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark：Java大师的大数据研究之旅

在这个充满机遇和挑战的领域中，我深入研究了Hadoop、HDFS、Hive和Spark等关键技术。本篇博客将从"是什么"、"为什么"和"怎么办"三个角度，系统地介绍这些技术。文章目录是什么？
程序员三木·2023-12-17 06:55

Spark报错处理系列之：Caused by: java.lang.StackOverflowError

Spark报错处理系列之：Causedby:java.lang.StackOverflowError一、完整报错二、错误原因三、解决方法一、完整报错INFOApplicationMaster:UnregisteringApplicationMasterwithFAILED
最笨的羊羊·2023-12-17 06:38

Spark-Streaming+HDFS+Hive实战

文章目录前言一、简介1.Spark-Streaming简介2.HDFS简介3.Hive简介二、需求说明1.目标：2.数据源：3.数据处理流程：4.HDFS文件保存：5.Hive外部表映射：三、实战示例演练
大数据魔法师·2023-12-17 06:38

《PySpark大数据分析实战》-11.Spark on YARN模式安装Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:16

《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:10

175、Spark运维管理进阶之作业资源调度standalone模式下使用动态资源分配

/sbin/.start-shuffle-service.sh启动spark-shell，启用动态资源分配添加如下配置--confspark.shuffle.service.enabled=true\-
ZFH__ZJ·2023-12-17 04:18

JVM调优

什么时候JVM调优要对Java应用程序进行调优，优化JVM并不是第一选择。我们首先应该考虑软件架构和代码优化等方面，这方面的优化可能会取得更大的进步空间。
快乐非自愿·2023-12-17 04:42

作为一名java开发人员，不了解jvm调优对工作有什么影响？

对于java开发者来说，不论是新手还是老手，都会听说jvm一词，jvm算是java里比较核心与关键的东西了，但是对于一些新手或者工作有一段时间的java程序员来说，貌似感觉jvm并不那么重要一样，自己平时写代码写得好好的，不是很了解jvm好像也没什么的，其实这就大错特错了，jvm是时时刻刻的起着重要的作用，你写的代码都是基于他上面运行的，那么有的人就可能说不需要了解jvm照样能写好代码，有这种可能
Java机械师·2023-12-17 04:42

Spark SQL之读取复杂的json数据

text":"Nicedayouttoday"}{"user":{"name":"Matei","location":"Berkeley"},"text":"Evennicerhere:)"}2、直接使用spark
kun2736·2023-12-17 03:41

性能回归测试

无论添加大小功能时，都应该做回归测试，尤其是大的改动，不然对系统的运行产生的影响将相当大，后期调试，调优成本高昂。
泓礼·2023-12-17 03:11

Spark数据倾斜（一）：描述及定位

1、数据倾斜的原理在执行shuffle操作的时候，是按照key，来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reducetask进行处理的。假如现在有多个key对应的values，总共是90万，但是问题是，可能某个key对应了88万数据，key-values(88万数据)分配到一个task上去面去执行，另外两个task，可能各分配到了1万数据，可能是数
雪飘千里·2023-12-17 02:04

JVM入门

JVM调优主要是针对方法区、堆（99%）进行调优。常用的第三方插件（如Lombok）都是操作执行引擎区域，生成对应getter、setter方法本地方法栈，例如Thread类中的start0()方法。
一只欢脱的知更鸟呀·2023-12-17 02:35

spark-常用算子

一，Transformation变换/转换算子：这种变换并不触发提交作业，这种算子是延迟执行的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到有Action操作的时候才会真正触发。1.Value数据类型的Transformation算子这种变换并不触发提交作业，针对处理的数据项是Value型的数据（1）输入分区与输出分区一对一型：1.map算子处理数据是一对一的关系，进入
Logan_addoil·2023-12-17 02:04

Flink 有状态流式处理

传统批次处理方法【1】持续收取数据（kafka等），以window时间作为划分，划分一个一个的批次档案（按照时间或者大小等）；【2】周期性执行批次运算（Spark/Stom等）；传统批次处理方法存在的问题
程序猿进阶·2023-12-17 00:30

JVM Optimization Learning(六)

目录一、JVMOptimization1、ShenandoahShenandoah的使用方法2、ZGC内存布局颜色指针ZGC垃圾收集过程ZGC的版本更迭ZGC的使用方法ZGC的参数设置ZGC的调优3、JMH
杀神lwz·2023-12-17 00:54
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他