spark性能优化

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

Livy是一个开源的REST接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。.
zuoseve01·2025-01-19 22:15

Spark Livy 指南及livy部署访问实践

背景：ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark
house.zhang·2025-01-19 22:40

大数据学习（四）：Livy的安装配置及pyspark的会话执行

一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。
猪笨是念来过倒·2025-01-19 21:08

探索数据科学新边界：Apache Livy 开源项目详解

探索数据科学新边界：ApacheLivy开源项目详解incubator-livyApacheLivyisanopensourceRESTinterfaceforinteractingwithApacheSparkfromanywhere
毕艾琳·2025-01-19 21:37

Python 网络爬虫高级教程：分布式爬取与大规模数据处理

本篇博客将带你迈向网络爬虫的高级阶段，学习分布式爬取、大规模数据处理以及性能优化。一、分布式爬虫的概念1.什么是分布式爬虫？分布式爬虫是指通过多个节点协作完成大规模网页爬取任务的爬虫架构。
Milk夜雨·2025-01-19 18:15

深入探讨JavaScript的弱引用机制：WeakRef、WeakSet与WeakMap的应用潜力

JavaScript在处理内存管理和对象引用时，弱引用机制在性能优化和内存泄漏防范方面展现了其独特的优势。
Light60·2025-01-19 10:03

大数据公司 Databricks 详解

Databricks是一家在大数据和人工智能领域具有重要影响力的美国企业软件公司，以下是关于它的详细技术解析：1.起源与背景：Databricks成立于2013年，由来自加州大学伯克利分校AMP实验室的Spark
Bj陈默·2025-01-19 10:00

全面解读 Databricks：从架构、引擎到优化策略

导语：Databricks是一家由ApacheSpark创始团队成员创立的公司，同时也是一个统一分析平台，帮助企业构建数据湖与数据仓库一体化（Lakehouse）的架构。
克里斯蒂亚诺罗纳尔多阿维罗·2025-01-19 09:27

大数据新视界 -- 大数据大厂之 Impala 性能优化：基于数据特征的存储格式选择（上）（19/30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

【linux性能优化】系统启动参数

grubby-c/boot/grub2/grub.cfg--update-kernel=ALL--args=“raid=noautodetectswiotlb=16384crashkernel=16M,lowcrashkernel=512M,highmodprobe.blacklist=virtio_nettransparent_hugepage=neveracpi_force_table_ver
温柔如酒·2025-01-18 23:16

QML音视频实时通信

QML音视频实时通信使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:44

QML Web云应用开发

QMLWeb云应用开发使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:14

QT硬件接口设计

QT硬件接口设计使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:44

【QT教程】QML音视频效果实现 QT音视频

QML音视频效果实现使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:43

vue 前端优化性能优化方法

1.列表使用唯一keyv-for="iteminactiveList":key="item.id"原因是不使用key或者列表的index作为key的时候，每个元素对应的位置关系都是index，直接导致我们插入的元素到后面的全部元素，对应的位置关系都发生了变更，所以在patch过程中会将它们全都执行更新操作，再重新渲染。这可不是我们想要的，我们希望的是渲染添加的那一个元素，其他四个元素不做任何变更，
lfl18326162160·2025-01-18 22:40

C#性能优化集锦

本文只列举针对C#的性能优化手段，其他的优化手段再看心情吧。privatevoidbutton2_Click(objectsender,EventArgse){Stopwatchsw=newStop
枫0子K·2025-01-18 22:08

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （正在更新中~）别人能写出来的，你也能行！多学习别人的思路，形成自己的思路，高薪工作奔你而来！

Java序列化实现类JavaSerializer(1)JavaSerializationStream类代码实际例子1：序列化(2)JavaDeserializationStream代码实际例子2：反序列化Spark
小白的大数据历程·2025-01-18 22:07

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （java序列化部分完结，正在更新RpcEnv部分~）

目录(3)JavaSerializerInstance定义了一个Java序列化实例(1)构造方法参数(2)方法1：serializeStream(3)方法2：deserializeStreamdefaultClassLoader(4)方法3：deserializeStreamloader(5)方法4：serialize(6)方法5：deserializeloader(7)方法6：deseriali
小白的大数据历程·2025-01-18 22:37

asp.net mysql 性能问题_ASP.NET性能优化小结

一、返回多个数据集检查你的访问数据库的代码，看是否存在着要返回多次的请求。每次往返降低了你的应用程序的每秒能够响应请求的次数。通过在单个数据库请求中返回多个结果集，可以减少与数据库通信的时间，使你的系统具有扩展性，也可以减少数据库服务器响应请求的工作量。如果用动态的SQL语句来返回多个数据集，那用存储过程来替代动态的SQL语句会更好些。是否把业务逻辑写到存储过程中，这个有点争议。但是我认为，把业务
syhakh·2025-01-18 21:57

ElasticSearch10-性能优化

零、文章目录ElasticSearch10-性能优化1、硬件优化（1）存储配置ElasticSearch是基于Lucene的，Lucene将数据存储在磁盘上，磁盘的IO就是ElasticSearch的瓶颈所在
李宥小哥·2025-01-18 20:15

Linux性能优化CPU篇之平均负载

首先使用uptime命令查看对应平均负载.平均负载是指单位时间内,系统处于可运行状态和不可中断状态进程数所谓的可运行状态的进程是指,正在使用CPU或者正在等待的CPU进程数量,也就是我们常用的ps命令,处于R状态。不可中断状态的进程是正在处于内核关键流程中的进程,注意这些进程不可以被打断的,当我们向一个磁盘写入一个文件的时候,它是不可以被打断的。那么平均复杂怎么样才算好呢?平均负载最理想的情况是等
·2025-01-18 18:06

关于 PHP 性能优化

本文写的也是关于PHP性能优化、减少耗时方面的话题，虽然老生常谈，但还是以我的角度来一个总结或分享。网上关于50条PHP优化的方法，除此之外从架构或环境方面的优化建议等，是非常有益的。
很青的青蛙·2025-01-18 18:27

PHP性能优化

PHP性能优化是指通过一系列的技术手段和优化策略来提升PHP程序的执行效率和响应速度，更好地满足用户的需求和提供更好的用户体验。
折扇掩笑颜·2025-01-18 17:18

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

在pyspark中保存rdd的内存到文件的时候，会遇到文件夹已经存在而失败，所以如果文件夹已经存在，需要先删除。搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。
TDengine （老段）·2025-01-18 09:21

Godot引擎开发：物理引擎高级用法_物理引擎的最佳实践与案例分析

1.物理引擎性能优化在动作游戏中，物理引擎的性能优化是至关重要的。如果物理模拟不流畅，会导致游戏体验大
chenlz2007·2025-01-18 08:43

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

Java语言的字符串处理

本文将全面探讨Java语言中字符串的处理，包括字符串的基本操作、常用方法、性能优化以及一些高级应用。一、字符串的基本概念在Java中，字符串是由字符组成的字符序列。Java中
代码驿站520·2025-01-18 06:53

高级Python Web开发：FastAPI的前后端集成与API性能优化

高级PythonWeb开发：FastAPI的前后端集成与API性能优化目录️前后端集成的基本原理与实践FastAPI的API设计与实现API性能测试与负载测试使用Locust进行API性能测试使用ApacheJMeter
Switch616·2025-01-18 05:52

设计模式01：创建型设计模式之单例、简单工厂的使用情景及其基础Demo

性能优化：一个程序一个连接实例，避免反复创建对象（连接）和销毁对象（连接）。线程安全：连接对象不会被重复创建，从而避免并发冲突。
我是苏苏·2025-01-18 04:40

MMORPG游戏中的道具系统开发技术总结

本文将从道具系统的基本设计到性能优化，系统架构等方面进行总结，帮助开发者构建一个健壮且具扩展性的
小宝哥Code·2025-01-18 04:07

python捕获异常

try:name="aaa"id="aaa"exceptExceptionase:print("任务报错")print(str(e))print(str(traceback.print_exc()))spark.sql
青云游子·2025-01-18 02:58

Spark任务提交流程

当包含在applicationmaster中的spark-driver启动后，会与资源调度平台交互获取其他执行器资源，并通过反向注册通知对应的node节点启动执行容器。
尘世壹俗人·2025-01-18 01:21

spark读取、写入Clickhouse以及遇到的问题

最近需要处理Clickhouse里面的数据，经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。具体Clickhouse的讲解本篇不做讲解，后面专门讲解这个。
Alex_81D·2025-01-18 01:18

Vue.js组件开发-图片剪裁性能优化最佳方案实例

以下是一个结合多个优化策略的图片剪裁组件性能优化实例：1.组件设计首先，设计一个简洁且高效的图片剪裁组件，确保其功能明确且易于使用。
LCG元·2025-01-17 23:05

Oracle 跟 SQL Server 2005 的区别？思维导图 代码示例（java 架构)

Oracle和SQLServer2005是两个不同厂商开发的关系型数据库管理系统（RDBMS），它们在架构、功能特性、性能优化以及使用场景等方面存在显著差异。
用心去追梦·2025-01-17 22:20

2024年最新Python：Page Object设计模式_python page object，BTAJ大厂最新面试题汇集

知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
m0_60707708·2025-01-17 20:36

2024年总结：大转向

职业转向今年我在职业上尝试做了一个转向，具体的结果可能需要比较长的时间来检验我选择是否正确，所以转向的细节我就不全部展开了，可以确定是我依然会专注在Infra和BigData，比如今年我发布了SparkSQL
·2025-01-17 20:11

Java爬虫——使用Spark进行数据清晰

1.依赖引入  org.apache.spark  spark-core_2.13  3.5.3 org.apache.spark spark-sql_2.13 3.5.32.数据加载从MySQL数据库中加载
Future_yzx·2025-01-17 20:59

Java百万数据导出Excel性能优化[读(并发)写分离/流式查询]

source_id=1001Java百万数据导出Excel性能优化[读(并发)写分离/流式查询]结果测试：104万数据，导出excel用时由59秒优化到19秒问题列表：1、导出过程中会较多占用CPU、内存
qq_40882304·2025-01-17 18:46

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop、Spark
_Jordan·2025-01-17 16:56

优化Elasticsearch搜索性能：查询调优与索引设计

在构建基于Elasticsearch的搜索解决方案时，性能优化是关键。本文将深入探讨如何通过查询调优和索引设计来优化Elasticsearch的搜索性能，从而提高用户体验和系统效率。
一勺菠萝丶·2025-01-17 12:29

es查询大文本效率_Elasticsearch 技术分析（七）： Elasticsearch 的性能优化

javajava8java开发Elasticsearch技术分析(七)：Elasticsearch的性能优化硬件选择Elasticsearch(后文简称ES)的基础是Lucene，所有的索引和文档数据是存储在本地的磁盘中
weixin_39672296·2025-01-17 12:59

深入探究 Vue 3 中动态组件加载与性能优化

然而，当我们开发中大型项目时，性能优化往往成为不得不面对的问题。
桂月二二·2025-01-17 12:27

Java 大视界 -- Java 开发 Spark 应用：RDD 操作与数据转换

ApacheSpark是一个强大的分布式计算框架，提供了高效的数据处理能力，广泛应用于大数据分析与机器学习。Spark提供了多种高级API，支持批处理和流处理。
一只蜗牛儿·2025-01-17 12:26

Python 网络爬虫进阶：动态网页爬取与反爬机制应对

因此，本篇文章将深入探讨以下进阶主题：如何处理动态加载的网页内容应对常见的反爬机制爬虫性能优化通过具体实例，我们将探讨更复杂的网络爬虫开发技巧。
m0_74824534·2025-01-17 12:21

vue中的那些事（刷新+key+v-if,v-for）

页面不刷新解决方法解决思路：解决方法：注意事项：vue3中解决方案解决思路：解决方法：注意事项：vue中key一、基本概念二、`key`的作用三、`key`的原理四、`key`的使用注意事项五、总结六、性能优化方面七
放逐者-保持本心，方可放逐·2025-01-17 11:49

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

CDP中的Hive3之Hive Metastore（HMS）

Impala、Spark、Hive和其他服务共享元存储。与HMS的连接包括HiveServe
对许·2025-01-17 02:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他