Spark调优

自定义分区器案例

二、自定义分区器的实现1.定义自定义分区器自定义分区器需要继承org.apache.spark.Partitioner类，并实现必要的方
刘翔在线犯法·2025-05-14 10:02

spark和Hadoop之间的对比和联系

（一）Spark概述Spark是一种基于内存的快速、通用、可拓展的大数据分析计算引擎。Hadoop是一个分布式系统基础架构。
lix的小鱼·2025-05-14 08:51

TDengine 做为 Spark 数据源

简介ApacheSpark是开源大数据处理引擎，它基于内存计算，可用于批、流处理、机器学习、图计算等多种场景，支持MapReduce计算模型及丰富计算操作符、函数等，在大超大规模数据上具有强大的分布式处理计算能力
TDengine （老段）·2025-05-14 07:14

SparkSQL操作Mysql

SparkSQL提供了强大的功能来连接和操作MySQL数据库，支持读取数据、写入数据以及执行SQL查询。下面将详细介绍如何使用SparkSQL与MySQL进行交互，并提供完整的代码示例。
依年南台·2025-05-14 06:10

java.lang.OutOfMemoryError: GC overhead limit exceeded

转载：http://java-boy.iteye.com/blog/463454JVM调优，首先应从内存开始，尤其是在真正的的web服务部署的时候。
IT菜籽U·2025-05-14 06:36

Tomcat的调优

目录一.JVM1.1JVM的组成1.2运行时数据区域的组成二.垃圾回收2.1如何确认垃圾1.引用计数法2.根搜索算法2.2垃圾回收基本算法1.标记-清除算法（Mark-Sweep）2.标记-压缩算法（Mark-Compact）3.复制算法（Copying）4.多种算法总结2.3分代堆内存GC策略2.3.1堆内存分代三.java内存调整相关参数3.1JVM内存常用相关参数3.2查看JVM内存分配情况
一盏盏洺灯·2025-05-14 06:34

第四天 从CAN总线到Spark/Flink实时处理

本文将带您从零开始，系统学习车辆数据采集与分析的全流程技术体系，包含：CAN总线数据解析与采集Telematics数据获取方法使用Spark/Flink进行实时分析典型行业应用案例文章配套Python/
MarkHD·2025-05-13 23:19

spark基本介绍

Spark是基于内存计算的分布式大数据处理框架，由加州大学伯克利分校AMPLab开发，现已成为Apache顶级项目。
祈533·2025-05-13 23:49

Spark(26)Spark处理过程-转换算子和行动算子

（一）RDD的处理过程【老师讲授，画图】Spark使用Scala语言实现了RDD的API,程序开发者可以通过调用API对RDD进行操作处理。
北随琛烬入·2025-05-13 18:51

Spark SQL 运行架构详解（专业解释+番茄炒蛋例子解读）

1.整体架构概览SparkSQL的运行过程可以想象成一个"SQL查询的加工流水线"，从原始SQL语句开始，经过多个阶段的处理和优化，最终变成分布式计算任务执行。
WZMeiei·2025-05-13 18:20

Spark(27)Spark处理过程-案例数据清洗

（一）需求说明【项目的需求】假设你有一个包含用户信息的文本文件，每行格式为姓名,年龄,性别，需要清洗掉年龄为空或者非数字的行。以下是10条符合上述示例中数据格式（姓名,年龄,性别）的测试数据，包含了一些可能需要清洗掉的无效数据，你可以将其保存为一个文本文件，用于测试上面的数据清洗程序。张三,25,男李四,,女王五,30,男赵六,a,女孙七,35,男周八,40,女吴九,abc,男郑十,45,女王十,
北随琛烬入·2025-05-13 18:20

Redis 核心原理深度解析：从架构到实现

理解Redis的核心原理，不仅能帮助开发者合理使用其功能，更能在性能调优、故障排查和架构设计中占据主动。
一切皆有迹可循·2025-05-13 15:00

【小贪】程序员必备：Shell、Git、Vim常用命令

主要技术包括：✅数据库常用：MySQL,HiveSQL,SparkSQL✅大数据处理常用：Pyspark,Pandas⚪图像处理常用：OpenCV,matplotlib⚪机器学习常用：SciPy,Sklearn
贪钱算法还我头发·2025-05-13 15:26

JSDoc：不仅仅是JavaScript的JavaDoc

魔都架构师|全网30W技术追随者大厂分布式系统/数据中台实战专家主导交易系统百万级流量调优&车联网平台架构AIGC应用开发先行者|区块链落地实践者以技术驱动创新，我们的征途是改变世界！
·2025-05-13 14:06

scala和spark的下载与安装

简易安装scala和spark一、安装scala1、安装scalascala下载注意和jdk的版本号下载地址：https://www.scala-lang.org/download/2、上传到linux
想用代码改变世界·2025-05-13 14:20

Spark和Scala的关系

为何Spark选择了Scala初学Scala，给我的感觉就是一堆语法糖以及最近名声大噪的函数式编程。
tech_for_future·2025-05-13 14:50

Scala和Spark的介绍

Scala1.Slaca的发展过程由洛桑联邦理工学院的马丁·奥德斯在2001年基于Funnel的工作开始设计，设计初衷是想集成面向对象编程和函数式编程的各种特性。Scala是一种纯粹的面向对象的语言，每个值都是对象。Scala也是一种函数式语言，因此函数可以当成值使用。2.Scala是什么Scala是一门现代的多范式编程语言，运行于IAVA平台（JVM,JAVA虚拟机）并兼容现有的JAVA程序。3
....123456789·2025-05-13 14:48

pyspark on yarn 配置

1yarn模式出错pysparkonyarn在pycharm上执行出现以下问题：解决方案：在程序最前面添加如下程序importosos.environ["HADOOP_CONF_DIR"]="/opt/
强强0007·2025-05-13 12:40

如何优化搜索系统的分词效果？7个实用技巧

文章涵盖了从基础算法选择到高级优化策略的全方位内容，包括词典构建、算法调优、上下文理解等多个维度，并通过实际代码示例和案例分析展示每种技巧的具体
搜索引擎技术·2025-05-13 12:05

Spark基础介绍

（一）Spark概述Spark是一种基于内存的快速、通用、可拓展的大数据分析计算引擎。Hadoop是一个分布式系统基础架构。
小白的白是白痴的白·2025-05-13 12:35

RDD算子-行动算子

packageorg.exampleimportorg.apache.spark.
枕上书446·2025-05-13 10:27

spark运行架构及核心组件介绍

目录1.Spark的运行架构1.1Driver1.2Executor1.3ClusterManager1.4工作流程2.Spark的核心组件2.1SparkCore2.2SparkSQL2.3SparkStreaming2.4MLlib2.5GraphX3
大数据知识搬运工·2025-05-13 07:06

Hive大表join大表如何调优

目录一、调优思路1、SQL优化1.1大小表join1.2大大表join2、insertinto替换unionall3、排序orderby换位sortby4、并行执行5、数据倾斜优化6、小文件优化二、实战
大数据知识搬运工·2025-05-13 07:36

Spark 中RDD、Job，stage，task的关系

目录1.概念定义1.1Job1.2Stage1.3Task2.关系总结3.示例分析代码示例执行过程4.Spark中的运行流程5.关键点5.1宽依赖和窄依赖5.2并行度5.3性能优化**6.总结****1
大数据知识搬运工·2025-05-13 07:36

大数据框架调研-流处理-Spark与Flink

实时处理（流处理）结论Spark和Flink的数据源最好都是Kafka等消息队列，这样才能更好的保证Exactly-Once（精准一次）；作为流处理框架，Flink是当前最优秀的实时处理框架，并处于飞速发展的状态中
魔笛Love·2025-05-13 05:20

湖仓一体流批融合处理架构设计

文章目录湖仓一体流批融合处理架构设计1.流批一体架构范式演进1.1Lambda架构的困境：双计算链路维护成本1.2Kappa架构的革新：统一流处理引擎1.3新一代湖仓架构：存储与计算的解耦设计2.流批统一计算引擎选型2.1ApacheSparkStructuredStreaming2.2Flink
danny-IT技术博客·2025-05-13 04:19

【Semantic Kernel核心组件】planner：大模型时代的智能任务编排引擎

组件定位与核心价值二、核心工作原理2.1计划生成机制2.2关键技术特性三、典型应用场景3.1复杂计算任务3.2智能服务编排3.3企业级工作流四、开发最佳实践4.1插件设计规范4.2提示工程优化4.3性能调优技巧五
一叶千舟·2025-05-12 20:26

租赁APP开发架构设计与性能调优

内容概要想象一下租赁平台是个24小时营业的夜市摊主，既要应付凌晨三点突然涌来的百人团购，又得保证每位顾客拿到烤串的速度不比隔壁摊慢——这就是高并发租赁系统的日常挑战。聪明的架构师会把整个摊位拆成独立档口（没错，说的就是微服务），让扫码点单、库存管理和支付系统各司其职，就像夜市里分工明确的烧烤师傅和收银小妹。数据库这时候化身成智能储物柜，给海量订单数据分配不同房间（分库分表），确保找充电宝订单不会和
红点聊租赁·2025-05-12 19:46

日常开发中，iOS 性能调优我们怎么做？

日常开发中，iOS性能调优我们怎么做？聊聊我用过的几款工具最近在给一个iOS视频类App做性能优化，过程中踩了不少坑，也用了一些不错的工具，今天就以一个开发者视角随便聊聊我在调试过程中的一些经验。
2501_91601374·2025-05-12 19:44

Spark-Core（累加器）

valrdd=sparkContext.makeRDD(List(1,2,3,4,5))//声明累加器varsum=sparkContext.longAccumu
бесплатно·2025-05-12 14:12

互联网大厂Java面试指南：从基础到高阶技术栈与业务场景实战

常见误区：认为GC调优是万能的，忽略代码层面的内存优化。问题2：Java8中的Lambda表达式和S
yiiyx·2025-05-12 13:37

Spark-Core（双Value类型）

）1、intersection函数签名：defintersection(other:RDD[T]):RDD[T]函数说明：对源RDD和参数RDD求交集后返回一个新的RDD举栗：valdataRDD1=sparkContext.makeRDD
бесплатно·2025-05-12 13:36

genspark

今天遇到一个挺好玩的网站（https://www.genspark.ai/）功能挺强大的支持网页生成，，可转为PDF，还包含其他智能体
尸僵打怪兽·2025-05-12 11:22

Spark集群搭建（Hadoop+Spark+Zookeeper+HBase）

目录硬件准备与软件版本说明配置基础环境安装Java安装Hadoop安装Spark安装Python安装Scala安装SBT安装Zookeeper安装HBase安装Pycharm编写集群启动与关闭脚本用户管理界面补充硬件准备与软件版本说明
wahoo0301·2025-05-12 09:11

18 | Word Count：从零开始运行你的第一个Spark应用

今天我们来从零开始运行第一个Spark应用。我们先来回顾一下模块三的学习路径。首先，我们由浅入深地学习了Spark的基本数据结构RDD，了解了它这样设计的原因，以及它所支持的API。
_Rye_·2025-05-12 09:10

hadoop+hive+spark+zookeeper+hbase大数据环境搭建

master172.16.34.101CentOSLinuxrelease7.3.1611slave01172.16.34.102CentOSLinuxrelease7.3.1611slave03172.16.34.103CentOSLinuxrelease7.3.16112.软件版本软件名称版本hadoop2.7.7hive1.2.2spark2.3.4zook
fengwuxichen·2025-05-12 09:08

Spark处理过程-行动算子

行动算子是触发Spark计算的“触发点”，因为Spark的RDD是懒惰计算的，只有在执行行动算子时，才会真正开始计算。下面介绍集中常见的行动算子。
睎zyl·2025-05-12 09:37

nginx性能优化与深度监控

一、性能调优方向1.系统层面优化内核参数调整TCP队列与连接管理：net.core.somaxconn（最大连接队列长度，建议设为65535）net.ipv4.tcp_max_syn_backlog（SYN
UFIT·2025-05-12 08:06

大数据Flink相关面试题（一）

与SparkStreaming的架构差异？2.解释Flink的“有状态流处理”概念。3.Flink的流处理（DataStreamAPI）与批处理（DataSetAPI）底层执行模型有何不同？
从头再来的码农·2025-05-12 08:34

华三模拟器上phone获取不到地址，但有线可以获取得到，此情况如何解决？

本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由；同时，欢迎大家关注&&收藏&&订阅！
bug菌¹·2025-05-12 03:31

RDD 三种创建方式

一.从linux本地文件系统加载数据创建RDD1.需要在linux本地创建文件test.txttouchtest.txt2.打开sparksparkshell3.读取本地文件创建RDDscala>valtest
古月皮皮·2025-05-12 02:50

RDD的几种创建方式

一、RDD简介RDD是Spark的核心抽象，全称为ResillientDistributedDataset，即弹性分布式数据集RDD在抽象上来说是一种元素集合，包含了数据。
itcats_cn·2025-05-12 01:48

什么是RDD，有哪几种创建方式

RDD（ResilientDistributedDataset，弹性分布式数据集）是ApacheSpark中最基本的数据抽象。它代表一个不可变、可分区、元素可并行操作的分布式数据集。
吃个桃桃，好凉凉·2025-05-12 01:47

怎么理解RDD中的算子

在Spark的RDD（弹性分布式数据集）中，算子是对RDD进行操作的函数，可分为转化算子和行动算子，以下是对它们的理解：转化算子-特点：这类算子会返回一个新的RDD，并且是惰性求值的，即不会立即执行计算
晴空下小雨.·2025-05-12 01:46

MySQL 锁机制全面解析：从锁类型到实战调优

在数据库管理系统中，数据的一致性和并发访问的正确性是核心问题，而MySQL锁机制正是解决这些问题的关键所在。MySQL的锁系统通过精细的锁管理策略，保障了事务隔离性和数据完整性，成为企业级应用开发中不可或缺的技术基石。本文将以InnoDB存储引擎为核心，深入剖析MySQL锁机制的类型、实现原理、常见问题及优化策略，帮助读者全面掌握这一重要技术点。一、MySQL锁机制概览MySQL的锁系统如同数据库
yy鹈鹕灌顶·2025-05-12 00:11

语音合成之十三 中文文本归一化在现代语音合成系统中的应用与实践

中文文本归一化在现代语音合成系统中的应用与实践引言理解中文文本归一化（TN）3主流LLM驱动的TTS系统及其对中文文本归一化的需求分析A.SparkTTS（基于Qwen2.5）与文本归一化B.CosyVoice
shichaog·2025-05-11 22:25

自定义分区器

在Spark里，弹性分布式数据集（RDD）是核心的数据抽象，它是不可变的、可分区的、里面的元素并行计算的集合。
End928·2025-05-11 17:53

深度解析 Kubernetes API Server 性能优化：关键参数配置指南|k8s调优指南

欢迎关注我的公众号「DevOps和k8s全栈技术」，进公众号【服务】栏，可以看到技术群，点击即可加入学习交流群。↓↓↓KubernetesAPIServer是集群的核心组件，其性能直接影响到整个集群的稳定性和响应速度。在高负载或大规模集群场景下，针对APIServer的优化尤为重要。本文聚焦两个关键参数：max-mutating-requests-inflight和watch-cache-size
韩先超·2025-05-11 12:24

spark-Join Key 的基数/rand函数

在数据处理中，JoinKey的基数是指JoinKey的唯一值的数量（也称为DistinctKeyCount）。它表示某个字段（即JoinKey）在数据集中有多少个不同的值。1.JoinKey基数的意义高基数：JoinKey的唯一值数量较多，例如用户ID、订单号等字段，每个值通常是唯一的。低基数：JoinKey的唯一值数量较少，例如性别（只有“男”和“女”两种值）、国家（通常只有几十到几百个值）。J
大数据知识搬运工·2025-05-11 11:18

内存、磁盘、CPU区别，Hadoop/Spark与哪个联系密切

在Hadoop/Spark中的表现：内存不足时，任务可能会频繁使用磁盘（即“溢写
大数据知识搬运工·2025-05-11 10:43
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他