Spark调优

相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-07 20:59

相机图像质量研究(6)常见问题总结：光学结构对成像的影响--对焦距离

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-07 20:58

Linux 的性能调优的思路

Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放，那么Linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是Linux操作系统和应用程序的最佳结合。01、性能问题综述系统的性能是指操作
咖啡加剁椒.·2024-02-07 19:57

【MySQL进阶之路】MySQL部署后一定记得先压测！

部署后的压测在选好数据库的硬件配置之后，如果在比较规范化的公司中，会交给专业的DBA进行MySQL数据库的部署，DBA就会根据以往的经验，使用MySQL生产调优的参数模板去部署MyS
11来了·2024-02-07 18:37

黑猴子的家：Spark SQL 的性能

1、内存列存储（In-MemoryColumnarStorage）内存列存储来说，将所有原生数据类型的列采用原生数组来存储，将Hive支持的复杂数据类型(如array、map等)先序列化后拼接成一个字节数组来存储。这样，每个列创建一个JVM对象，从而导致可以快速的GC和紧凑的数据存储。额外的，还可以用低廉CPU开销的高效压缩方法来降低内存开销。更有趣的是，对于分析查询中频繁使用的聚合特定列，性能会
黑猴子的家·2024-02-07 18:48

简单使用Spark、Scala完成对天气数据的指标统计

目录一、前言&什么是Spark？
db_lcz_2014·2024-02-07 18:33

每天100w次登录请求，4C8G机器:如何做JVM调优?

作者简介：大家好，我是小徐☁️博客首页：CSDN主页小徐的博客每日一句：好学而不勤非真好学者欢迎大家关注！❤️首先，我们需要问清楚一天100W次的登录，在一天内有没有某个时段是高峰的?高峰期的QPS大概可以达到多少。如果没有高峰期，虽然100万听上去挺多的，但是其实平均下来一秒钟的QPS也就10，这个量的话，其实根本不需要做什么特别的IM优化。一般业务场景中，都是有自己的业务高峰期的，比如电商业务
小徐很努力·2024-02-07 11:41

JVM调优工具

本次介绍一下在排查问题以及JVM调优的时候，常用的一些工具。1.示例项目首先创建一个示例项目，用于演示工具的使用。
逍遥白亦·2024-02-07 10:05

【Iceberg学习一】什么是Iceberg？

Iceberg为包括Spark、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能，使用一种高性能的表格格式，其工作方式就像一个SQL表一样。
周润发的弟弟·2024-02-07 10:56

线程池的实现原理以及使用

线程是稀缺资源，如果无限制地创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。线程池的使用线程池的创建我们可以通过ThreadPoolExec
胖瘦馒头·2024-02-07 10:22

Redis（十二）Bigkey

文章目录游标案例生成100万测试数据key生产上限制keys*/flushdb/flushall等危险命令不使用keys*：scanBiigkey案例多大算大发现bigkey渐进式删除生产调优示例问题游标案例生成
Lucky_Turtle·2024-02-07 10:27

RDD任务切分之Stage任务划分(图解和源码)

RDD任务切分中间分为：Application、Job、Stage和Task（1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Action
大数据左右手·2024-02-07 09:34

scikit-learn决策树算法笔记总结

1.scikit-learn决策树算法类库介绍scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法，既可以做分类，又可以做回归。
python收藏家·2024-02-07 09:01

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

JVM 性能调优 - 常用的垃圾回收器(6)

垃圾收集器在JVM（Java虚拟机）中，垃圾收集器（GarbageCollector）是负责自动管理内存的组件。它的主要任务是在程序运行过程中，自动回收不再使用的对象所占用的内存空间，以便为新的对象提供足够的内存。JVM中的垃圾收集器使用不同的算法和策略来实现垃圾收集过程，以满足不同的性能和内存需求。以下是JVM中常见的垃圾收集器：Serial收集器：是最古老的垃圾收集器，使用单线程进行垃圾收集。
magic_kid_2010·2024-02-07 08:20

JVM 性能调优- 五种内存溢出(5)

在介绍之前先简单介绍下直接内存（DirectMemory）和堆内存（HeapMemory）：关系：直接内存并不是Java虚拟机的一部分，它是通过Java的NIO库中的ByteBuffer来分配和管理的。直接内存通常由操作系统的本地内存（NativeMemory）提供支持。堆内存是Java虚拟机的一部分，用于存储Java对象。堆内存由Java虚拟机的堆内存分配器来分配和管理。区别：分配方式：直接内存
magic_kid_2010·2024-02-07 08:50

JVM——一个神圣的话题，可远观而不可亵玩焉

文章目录一切不仅仅为了面试JVM调优理解JVM调什么：怎么调：为了解决什么问题：正常情况下需要调吗：JVM垃圾收集器区分垃圾收集方式垃圾收集的区域划分：按照收集垃圾的线程数量划分：对空间的利用率划分：垃圾收集器详细介绍
苏汀star·2024-02-07 08:53

Python自动化机器学习库之evalml使用详解

然而，构建和部署机器学习模型常常需要大量的时间和精力，涉及到数据预处理、特征工程、模型选择、超参数调优等一系列复杂任务。为了简化这个过程，使其更加高效，EvalML库应运而生。
Rocky006·2024-02-07 07:42

Hive Sql优化记录

日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveonspark要快70%，与正常的认知正好相反，所以对该sql进行了详细分析。
风筝flying·2024-02-07 07:40

Spring Cloud OpenFeign进阶实战

这样可以设置连接池，超时时间等对服务之间的调用调优。下面介绍使用HttpClient和Okhttp替换Feign默认的Client
NullzzZ·2024-02-07 07:24

Spring Cloud Netflix Eureka的参数调优

下面主要分为Client端和Server端两大类进行简述，Eureka的几个核心参数客户端参数Client端的核心参数参数默认值说明eureka.client.availability-zones告知Client有哪些region以及availability-zones，支持配置修改运行时生效eureka.client.filter-only-up-instancestrue是否过滤出Instan
NullzzZ·2024-02-07 07:48

SparkJDBC读写数据库实战

默认的操作代码valdf=spark.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option
SunnyRivers·2024-02-07 07:41

IDEA 本地运行Spark

IDEA本地运行Spark1、背景2、环境准备3、具体流程3.1IDEA创建maven项目3.2pom.xml配置3.3Demo程序示例3.4结果输出4、总结改进1、背景主要用于本地阅读Spark源码，
fir_dameng·2024-02-07 06:41

Spark Scala大数据编程实例

一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想，只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java虚拟机）上，并兼容现有
一直de不完的bug·2024-02-07 06:38

win10 spark scala 本地运行wordcount

hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin，特别注意，hadoopcommon的版本要和spark
疯琴·2024-02-07 06:06

Scala与java

目录Scala简介Scala和java的区别Spark选择Scala的原因Scala：Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala
K. Bob·2024-02-07 06:05

Spark scala如何本地运行

Sparkscala如何本地运行Spark任务调试太费时间啦SparkScala本地运行Spark任务调试太费时间啦ApacheSpark是一个开源的大数据处理框架，它提供了一个接口用于编程大规模分布式计算
HanhahnaH·2024-02-07 06:03

通义灵码——灵动指间，快码加编，你的智能编码助手

是阿里云出品的一款基于通义大模型的智能编码辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云的云服务使用场景调优
阿里云云原生·2024-02-07 06:20

Kafka 生产调优

Kafka生产调优文章目录Kafka生产调优一、Kafka硬件配置选择场景说明服务器台数选择磁盘选择内存选择CPU选择二、KafkaBroker调优Broker核心参数配置服役新节点/退役旧节点增加副本因子调整分区副本存储三
@lihewei·2024-02-07 06:40

Zeppelin结合Flink查询hudi数据

目前ApacheZeppelin支持ApacheSpark、ApacheFlink、Python、R、JDBC、
BigDataToAI·2024-02-07 05:38

Apache Zeppelin 整合 Spark 和 Hudi

一环境信息1.1组件版本组件版本Spark3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合Spark参考：ApacheZeppelin一文打尽
大数据AI·2024-02-07 05:03

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2·2024-02-07 05:22

JVM垃圾回收机制及调优工具Arthas的使用

文章目录1、JVM垃圾回收机制1.1针对的内存区域1.2怎么判断对象是否可以被回收？1.3垃圾收集算法1.3.1**标记-清除（Mark-Sweep）**1.3.2复制（Copying）1.3.3标记-整理（Mark-Compact）1.3.4分代（Generation-based）1.3.5三色标记法2、垃圾收集器2.1Serial（串行）垃圾回收器：（复制）2.2ParNew垃圾回收器：（复制
柚几哥哥·2024-02-07 03:11

Kuberntes DNS

kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319dsparkthrift-headless172.17.0.12
zhixingheyi_tian·2024-02-07 03:02

全面理解jvm

解决性能调优，优化内存空间，防止服务崩掉的问题。同时是java的工作环境,一些基于java开发的语言Scale，Jpython都可以运行在java虚拟机上。
爱编程的大白·2024-02-07 02:56

Spark RDD的学习(JAVA)

注：本文是跟着《Spark快速大数据分析》一书学习的笔记式总结，不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是Spark对数据的核心抽象。
啊其11·2024-02-07 02:47

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用
深海suke·2024-02-07 01:34

Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）

文章目录每日一句正能量第3章SparkRDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪，后来者居上
想你依然心痛·2024-02-07 01:53

11 个简单的 Java 性能调优技巧

在讨论专门针对Java的性能调优技巧
小宇java·2024-02-06 23:01

StarRocks入门

目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.Sparkload2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼·2024-02-06 22:42

spark的数据倾斜和解决方案

#数据倾斜##4.1.什么是数据倾斜，现象是什么？所谓数据倾斜(dataskew)，其实说白了，由于数据分布不均匀造成计算时间差异很大，产生了一些列异常现象。常见的现象有两种：1.个别task作业运行缓慢大多数的task运行都很快速，但是极个别的task运行非常缓慢，甚至是正常task运行时间好多倍。莫名其妙的OOM异常这是一种相对比较少见的现象，正常运行的task作业，突发发生了一个OOM异常。
XLMN·2024-02-06 18:32

Spark简介

Spark作为第二代大数据处理工具，跟hadoop对比，它是基于内存的，所以在迭代计算方便速度有了很大提升。我用到的主要是SparkCore,SparkSQL,SparkStreaming。
麦克阿瑟99·2024-02-06 18:07

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

然而，随着系统的复杂性增加，用户在日常使用中往往需要面临诸如复杂的数据开发报错分析、任务运行报错处理、任务运行调优等疑难问题。然而，由于错误日志分析透出和全链路异常诊断能力方面存在一定的不足。
阿里云大数据AI技术·2024-02-06 16:49

Spark编程实现简例

对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。
哲子带你学编程·2024-02-06 16:34

阿里云 -- 测测你的一见钟情

都是使用网格搜索进行调优这是用神经网络跑的importosfromsklearnimportmetricsimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassbfromsklearn.neural_networkimportMLPClassifierfromsklearn.model_selectio
哲子带你学编程·2024-02-06 16:34

哪些因素影响APP广告变现eCPM？

想要做好ecpm的优化提升，首先就要清楚ecpm的影响因素，从而有针对性的调优。
AdSet聚合广告平台·2024-02-06 13:53

数据库MySQL基本知识及面试总结——全新回归

文章目录数据库MySQL基本知识及面试总结1.基本内容1.1数据库三大范式是什么1.2一条sql语句在mysql中如何执行1.3MySQL性能瓶颈1.4数据库调优1.5说一说drop、delete与truncate
尚墨1111·2024-02-06 13:25

.NET Core已经开源好几年了, 为什么不像JVM那样很多人研究和调优其GC算法?

然而，与JVM相比，研究和调优GC（垃圾回收）算法的工作似乎没有那么活跃，这背后有几个原因。
小郑说编程i·2024-02-06 12:34

相机图像质量研究(3)图像质量测试介绍

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-06 10:55

GC调优

https://blog.csdn.net/u011750989/article/details/50253845是否需要进行GC调优决定是否进行JavaGC调优，前提是主要看新生代的MinorGC和老年代的
在路上很久了·2024-02-06 10:18
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他