spark性能优化

大数据开发之Spark（RDD弹性分布式数据集）

第1章：rdd概述1.1什么是rddrdd（resilientdistributeddataset）叫做弹性分布式数据集，是spark中最基本的数据抽象。
Key-Key·2024-01-24 07:17

深入理解Spark编程中的map方法

在Spark的上下文
{BOOLEAN}·2024-01-24 07:47

Spark运行架构以及容错机制

Spark运行架构以及容错机制1.Spark的角色区分1.1Driver1.2Excuter2.Spark-Cluster模式的任务提交流程2.1SparkOnYarn的任务提交流程2.1.1yarn相关概念
李姓门徒·2024-01-24 07:41

oracle 19c rac集群管理 ------ 日志管理

oracle19Crac数据库的目录结构及日志路径在Oracle19cRAC（RealApplicationClusters）集群中，有多个组件和层级生成的日志文件，记录着集群的活动、事件和错误信息，用于故障诊断、性能优化和集群管理
加油鸭啦啦啦啦·2024-01-24 07:28

spark-flink设计思想之吸星大法-1

Spark和Flink都是大数据处理框架，它们的设计思想有一些不同之处。以下是对它们设计思想的简要对比：数据模型和计算模型：Spark：Spark使用弹性分布式数据集（RDD）作为其核心数据结构。
{BOOLEAN}·2024-01-24 07:47

Vue3 setup 介绍

在本专栏中，我们将深入学习Vue.js的核心概念、组件开发、状态管理、路由和性能优化等方面的知识。无论你是初学者还
俊刚、·2024-01-24 06:10

reduceByKey应用举例

PhotobyStefanStefancikfromPexels在进行Spark开发算法时，最有用的一个函数就是reduceByKey。
学习之术·2024-01-24 05:16

Spark - 动态注册UDF

>昨天有位大哥问小弟一个Spark问题，他们想在不停Spark程序的情况下动态更新UDF的逻辑，他一问我这个问题的时候，本猪心里一惊，Spark**还能这么玩?
kikiki4·2024-01-24 03:22

Unity性能优化之字体篇

使用引擎：Unity使用软件：FontSubsetGUI,FontCreator前言首先我们要知道Unity导出安装包时是把游戏场景所应用的资源打包导出，而字体就是其中的一种，但Unity使用的都是默认的Arial动态字体，这字体是微软系统自带的一个字体库，它的大小可能十几MB左右，在一般情况下是可以忽略它的大小，但是如果是手机游戏，微信小游戏这一类对安装包有极大要求的游戏，就需要减少安装包的大小
Metaverse达爷·2024-01-24 01:43

常见性能优化策略的总结

1.形成可实践、可借鉴、可参考的各种性能优化的方案以及选型考虑点，同时配合具体的真实案例，其他人遇到相似问题时，不用从零开始。
CHINCELY·2024-01-24 00:07

Spark 编程模型 RDD

Spark编程模型有两个主要的抽象，第一个是弹性数据集RDD（ResilientDistributedDataset），第二个是共享变量：广播变量和累加器。首先了解以下RDD。
Alex90·2024-01-23 23:44

【大数据精讲】全量同步与CDC增量同步方案对比

目录背景名词解释问题与挑战FlinkCDCDataX工作原理调度流程五、DataX3.0六大核心优势性能优化背景名词解释CDCCDC又称变更数据捕获（ChangeDataCapture），开启cdc的源表在插入
话数Science·2024-01-23 20:44

Grafana panel之Singlestat

它还可以将单个数字转换为文本值，并显示该时间序列的sparkline摘要。在Grafana7.0中已将Stat面板代替Singlestat。但由于我用的还是老版的grafana所以还是决定
jeongee0328·2024-01-23 19:15

MySQL 索引优化：深入探索自适应哈希索引的奥秘

本文将深入探讨自适应哈希索引的工作原理、使用场景以及如何充分利用它进行性能优化。在MySQL中，索
地瓜伯伯·2024-01-23 17:21

安防视频监控EasyCVR平台HTTP-FMP4播放协议在分屏播放时的性能优化

安防视频监控EasyCVR平台兼容性强，可支持的接入协议众多，包括国标GB28181、RTSP/Onvif、RTMP，以及厂家的私有协议与SDK，如：海康ehome、海康sdk、大华sdk、宇视sdk、华为sdk、萤石云sdk、乐橙sdk等。平台能将接入的视频流进行汇聚、转码与多格式分发，具体包括：RTMP、RTSP、HTTP-FLV、WebSocket-FLV、HLS、WebRTC、fmp4等，
EasyCVR·2024-01-23 17:41

在VBA中使用SQL

VBA在处理大量的数据/计算时如果使用常规方法会比较慢，因此需要对其进行性能优化以提高运行速度，一般的方法是数组计算或者sql计算。
Smilecoc·2024-01-23 17:40

Spark - 动态注册UDF

>昨天有位大哥问小弟一个Spark问题，他们想在不停Spark程序的情况下动态更新UDF的逻辑，他一问我这个问题的时候，本猪心里一惊，Spark**还能这么玩?
kikiki5·2024-01-23 16:08

Spark Core源码精读计划#22：BlockInfoManager与其实现的块锁机制

目录前言BlockInfoManager的成员属性及构造方法BlockInfoManager提供的锁方法获取读锁获取写锁释放锁锁降级删除BlockInfo总结前言在上一篇文章中，我们对与块相关的BlockId、BlockData和BlockInfo有了比较全面的理解。前面已经提到过，块在读写时有锁机制，并且委托给BlockInfoManager来管理。虽然BlockInfoManager的字面意思
LittleMagic·2024-01-23 15:23

Spark RDD分区数和分区器

一、分区数如何决定1、数据源RDD数据源RDD的分区数由数据源的读取器决定,比如sc.textFile产生的rdd,分区数由TextInputFormat.getInputSplits()方法决定,具体源码追踪及解析如下:valrdd1=sc.textFile("data/tbPerson.txt")①Ctrl+B进入textFiletextFile底层其实就是通过hadoopFile去读文件②C
maplea2012·2024-01-23 15:40

AI绘画Midjourney绘画提示词Prompt入门到精通【宝藏级收藏】

一、AI绘画工具SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-23 15:35

2024最新AI系统ChatGPT网站源码+搭建部署教程文档，Midjourney绘画，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+GPT-4识图理解/自定义知识库

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-23 15:05

2024最新AI创作系统ChatGPT源码，支持Midjourney绘画，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+GPT-4识图理解

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-23 15:04

最新ChatGPT商业运营版源码，AI绘画，Midjourney绘画，GPT-4V多模态模型识图理解+GPT语音对话+ChatFile文档对话总结+DALL-E3文生图

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
只恨天高·2024-01-23 15:03

最新AI系统ChatGPT网站系统源码,支持AI绘画,GPT语音对话,ChatFile文档对话总结,DALL-E3文生图,MJ绘画局部编辑重绘

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-23 15:32

单例模式的应用与陷阱：确保你的代码只有一个实例

欢迎来到我的博客，代码的世界里，每一行都是一个故事单例模式的应用与陷阱：确保你的代码只有一个实例前言什么是单例模式经典单例模式实现线程安全与性能优化单例模式的实际应用常见陷阱和解决方案前言在软件开发的世界里
一只牛博·2024-01-23 15:53

JVM调优

jvm调优主要是针对垃圾收集器的收集性能优化，令运行在虚拟机上的应用能够使用更少的
请不要问我是谁·2024-01-23 14:16

DataFrame的基本使用--学习笔记

方法其中包括的方法有：select(),selectExpr(),groupby()/groupBy()where,orderBy(),sort(),limit(),withColumn(),frompyspark.sqlimportSparkSession
祈愿lucky·2024-01-23 14:59

NVIDIA与 Sparkfun 的合作伙伴在 Hackster.io 上发起了人工智能创新挑战赛，喊你来参加！

NVIDIA与Sparkfun的合作伙伴在Hackster.io上发起了人工智能创新挑战赛，喊你来参加！
扫地的小何尚·2024-01-23 14:28

Stuuctured Streaming基础--学习笔记

Structuredstreaming介绍spark进行实时数据流计算时有两个工具：SparkStreaming：编写rdd代码处理数据流,可以解决非结构化的流式数据StructuredStreaming
祈愿lucky·2024-01-23 14:58

使用Go进行HTTP性能优化

以下是一些使用Go进行HTTP性能优化的方法：并发处理：Go语言内置的并发原语，如goroutine和channel，使得并发编程变得简单而高效。
华科℡云·2024-01-23 13:50

五分钟了解常见的黑客设备

2.Digispark：Attiny85Digispark开发板可以模拟成日常使用的USB键盘进行模拟输入。利用Win系统，按下WIN+R打开并锁定到CMD的
网安攻城狮-小李·2024-01-23 13:50

Linux 网络传输学习笔记

这篇是混合《Linux性能优化实战》以及《Wireshark网络分析就这么简单》的一些关于Linux网络的学习概念和知识点笔记，主要记录网络传输流程以及对于TCP和UDP传输的一些影响因素Linux网络传输流程借用一张倪朋飞先生的
码农终结者·2024-01-23 13:01

Pyspark

文章目录一、SparkCore1.SparkContext:2.SparkSession3.RDD4.Broadcast、Accumulator:5.Sparkconf6.SparkFiles7.StorageLevel
李明朔·2024-01-23 12:24

Spark(三十四)troubleshooting之解决yarn-cluster模式的JVM内存溢出无法执行问题

一、背景实践经验，碰到的yarn-cluster的问题：1、有的时候，运行一些包含了sparksql的spark作业，可能会碰到yarn-client模式下，可以正常提交运行；yarn-cluster模式下
文子轩·2024-01-23 12:06

鸿蒙开发-OpenHarmony轻量系统之获取当地时间

环境OpenHarmony3.1润和hispark_pegasusHi3861开发板DevEcoDeviceTool串口调试助手SNTP
移动开发技术栈·2024-01-23 11:21

界面控件DevExpress ASP.NET Data Grid组件 - 可快速处理各类型数据！（一）

P.S：DevExpressASP.NETWebFormsControls拥有针对Web表单（包括报表）的110+种UI控件，可利用轻量级渲染、响应式布局和现代性能优化技术。DevExpress
界面开发小八哥·2024-01-23 09:36

大数据开发之Spark（入门）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-23 09:45

Spark解析JSON文件，写入hdfs

一、用Sparkcontext读入文件，map逐行用Gson解析，输出转成一个caseclass类，填充各字段，输出。解析JSON这里没有什么问题。
gegeyanxin·2024-01-23 09:42

Spark UI中 Shuffle Exchange 和 BroadcastExchange 中的 dataSize 值为什么不一样

背景Spark3.5最近在看SparkUI上的一些指标看到一个很有意思的东西,相邻的ShuffleExechange和BroadcastExechange中的datasize居然不一样，前者为765KB
鸿乃江边鸟·2024-01-23 09:07

kafka的基本使用--学习笔记

catalyst引擎作用：将SparkSql转换成sparkrdd任务提交进行计算解析器将sparksql代码解析成语法树(未解析的逻辑查询计划)分析器将语法树解析成解析后的逻辑查询计划对逻辑查询计划进行属性和关系关联检验优化器将解析后的逻辑查询计划进行优化
祈愿lucky·2024-01-23 08:32

linux性能优化-内存buffer/cache区分

#注意不同版本的free输出可能会有所不同$freetotalusedfreesharedbuff/cacheavailableMem:8169348263524687535266810304727611064Swap:000本文目的用来区分free中最后一个指标：buffer和cache,它们统称缓存，但在用途上存在差异。区分Buffers是内核缓冲区用到的内存，对应的是/proc/meminf
妖妖灵誓言·2024-01-23 08:50

java使用双异步，性能优化

一、一般我会这样做：通过POI读取需要导入的Excel；以文件名为表名、列头为列名、并将数据拼接成sql；通过JDBC或mybatis插入数据库；操作起来，如果文件比较多，数据量都很大的时候，会非常慢。访问之后，感觉没什么反应，实际上已经在读取+入库了，只是比较慢而已。读取一个10万行的Excel，居然用了191s，我还以为它卡死了呢！privatevoidreadXls(StringfilePa
Elivis Hu·2024-01-23 08:49

性能优化-OpenCL kernel 开发

「发表于知乎专栏《移动端算法优化》」本文主要介绍OpenCL的Kernel，包括代码的实例以及使用注意的详解。个人简介：一个全栈工程师的升级之路！个人专栏：高性能（HPC）开发基础教程CSDN主页发狂的小花人生秘诀：学习的本质就是极致重复!目录一、概述二、OpenCLkernel样例2.1kernel代码样例2.2kernel代码存储三、OpenCLC语言介绍3.1数据类型3.2矢量加载和存储3.
发狂的小花·2024-01-23 08:17

性能优化-OpenCL运行时API介绍

「发表于知乎专栏《移动端算法优化》」本文首先给出OpenCL运行时API的整体编程流程图，然后针对每一步介绍使用的运行时API，讲解API参数，并给出编程运行实例。总结运行时API使用的注意事项。最后展示基于OpenCL的图像转置代码。在865平台下，对于4096x4096的8位图像加速比达到10倍以上。个人简介：一个全栈工程师的升级之路！个人专栏：高性能（HPC）开发基础教程CSDN主页发狂的小
发狂的小花·2024-01-23 08:17

性能优化（CPU优化技术）-NEON 介绍

「发表于知乎专栏《移动端算法优化》」本节主要介绍基本SIMD及其他的指令流与数据流的处理方式，NEON的基本原理、指令以及与其他平台及硬件的对比。个人简介：一个全栈工程师的升级之路！个人专栏：高性能（HPC）开发基础教程CSDN主页发狂的小花人生秘诀：学习的本质就是极致重复!目录一、SIMDA.指令流与数据流1.SISD（SingleInstructionSingleData）2.MISD（Mul
发狂的小花·2024-01-23 08:46

性能优化（CPU优化技术）-NEON开发进阶

「发表于知乎专栏《移动端算法优化》」本文主要介绍ARMNEON开发的进阶知识，涉及实战中的一些特殊处理情况，以便帮助读者解惑。个人简介：一个全栈工程师的升级之路！个人专栏：高性能（HPC）开发基础教程CSDN主页发狂的小花人生秘诀：学习的本质就是极致重复!目录一、概述二、向量化编程2.1向量化2.2实例讲解2.3向量化剩余部分(leftovers)处理三、边界处理方法3.1常量填充3.2复制填充3
发狂的小花·2024-01-23 08:46

性能优化-OpenCL 介绍

「发表于知乎专栏《移动端算法优化》」本文首先对GPU进行了概述，然后着重地对移动端的GPU进行了分析，随后我们又详细地介绍了OpenCL的背景知识和OpenCL的四大编程模型。希望能帮助大家更好地进行移动端高性能代码的开发。个人简介：一个全栈工程师的升级之路！个人专栏：高性能（HPC）开发基础教程CSDN主页发狂的小花人生秘诀：学习的本质就是极致重复!目录一、概述二、从GPU到GPGPU2.1GP
发狂的小花·2024-01-23 08:46

性能优化（CPU优化技术）-NEON指令介绍

「发表于知乎专栏《移动端算法优化》」本文主要介绍了NEON指令相关的知识，首先通过讲解arm指令集的分类，NEON寄存器的类型，树立基本概念。然后进一步梳理了NEON汇编以及intrinsics指令的格式。最后结合指令的分类，使用例子讲述NEON指令的使用方法。个人简介：一个全栈工程师的升级之路！个人专栏：高性能（HPC）开发基础教程CSDN主页发狂的小花人生秘诀：学习的本质就是极致重复!目录一、
发狂的小花·2024-01-23 08:12

linux性能优化-磁盘I_O优化

1.文件系统1.1.文件系统的工作原理文件系统是在磁盘的基础上，提供了一个用来管理文件的树状结构。接下来我们就看看Linux文件系统的工作原理。1.1.1索引节点和目录项在Linux中一切皆文件,文件系统,本身是对存储设备上的文件，进行组织管理的机制为了方便管理，Linux文件系统为每个文件都分配两个数据结构，索引节点（indexnode）和目录项（directoryentry）。它们主要用来记录
一杯可乐、·2024-01-23 08:42

性能优化-HVX 指令介绍

「发表于知乎专栏《移动端算法优化》」本文主要介绍了HVX指令相关的知识，包括HVX寄存器相关内容，指令的背景依赖，部分常用intrinsicHVX指令。具体指令的详细内容及使用还需阅读HVX的指令文档，以及细致的实践操作。个人简介：一个全栈工程师的升级之路！个人专栏：高性能（HPC）开发基础教程CSDN主页发狂的小花人生秘诀：学习的本质就是极致重复!目录一、概述二、HVX硬件介绍2.1处理器架构2
发狂的小花·2024-01-23 08:41
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他