spark性能优化

52 条 SQL 语句性能优化策略（摘抄）

对查询进行优化，应尽量避免全表扫描，首先应考虑在where及orderby涉及的列上建立索引。应尽量避免在where子句中对字段进行null值判断，创建表时NULL是默认值，但大多数时候应该使用NOTNULL，或者使用一个特殊的值，如0，-1作为默认值。应尽量避免在where子句中使用!=或，>=，BETWEEN，IN，以及某些时候的LIKE。应尽量避免在where子句中使用or来连接条件，否则将
立0911·2024-01-28 11:58

netty性能调优

netty高性能优化点最近参加了阿里中间价性能比赛，为了提升netty写的servivemesh的网络通信的性能，最近几天查了书、博客（这里强力推荐netty作者的博客，干货
tinysakurac·2024-01-28 11:54

79.Go 中如何对性能进行度量与分析（Benchmark）

对Golang程序进行性能优化，可以在提升业务收益的同时，起到降低成本的作用。
百里守约学编程·2024-01-28 08:55

Spark 的宽依赖和窄依赖

ApacheSpark中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西·2024-01-28 08:52

Spark——Spark SQL逻辑计划（Logical Plan）、物理计划（Physical Plan）和Catalyst优化器（Catalyst Optimizer）

文章目录TreesRulesSparkSQL中使用CatalystAnalysis逻辑优化（LogicalOptimizations）物理计划（PhysicalPlanning）代码生成（CodeGeneration
Southwest-·2024-01-28 08:18

Spark——Spark覆盖分区表中指定的分区

问题描述Spark中向分区表写数据的时候，如果写入模式为“overwrite”，那会将整个表覆盖掉；如果写入模式为“ap
Southwest-·2024-01-28 08:18

Spark——Spark OOM Error问题汇总分析

.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考Spark
Southwest-·2024-01-28 08:17

Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。
Southwest-·2024-01-28 08:17

Spark——Spark/Hive向量化查询执行原理分析（Vectorization Query Execution）

文章目录什么是向量化查询执行列式存储Spark向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中，每次只处理一行数据，每次处理都要走过较长的代码路径和元数据解释，从而导致
Southwest-·2024-01-28 08:47

Spark——Spark缓存临时视图（View）

文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发Spark应用程序的时候，如果要缓存某个RDD或Dataset来进行复用
Southwest-·2024-01-28 08:47

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就
Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-·2024-01-28 08:16

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark
Southwest-·2024-01-28 08:46

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter
Southwest-·2024-01-28 08:42

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行
OnePandas·2024-01-28 07:33

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

uniapp微信小程序-请求二次封装（直接可用）

当需要添加新的功能、处理错误或者进行性能优化时，只需修改封装的请求逻辑而无需深入到每个组件或页面中。错误处理：封装的请求可以
bug总结·2024-01-28 07:01

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang·2024-01-28 06:17

Vue3 Suspense 优雅地处理异步组件加载

在本专栏中，我们将深入学习Vue.js的核心概念、组件开发、状态管理、路由和性能优化等方面的知识。无论你是初学者还
俊刚、·2024-01-28 05:53

剖析Elasticsearch的IndexSorting:一种查询性能优化利器

剖析Elasticsearch的IndexSorting:一种查询性能优化利器-知乎前言前两周写过一篇《基于Lucene查询原理分析Elasticsearch的性能》，在最后留了一个彩蛋，说下一篇会介绍一种可以极大的优化查询性能的技术
大叶子不小·2024-01-28 04:48

【数据库】MySQL索引，存储引擎

一、前提正确地创建合适的索引是数据库性能优化的基础数据库索引是一种为了加速数据表中行记录检索的数据结构索引存储于磁盘当中数据量巨大时O(n)级别的查询实在是太慢了，所以有了索引二、索引的数据结构延申致工作机制索引中存储数据库的一个属性
luckyzda·2024-01-28 03:02

Vue3笔记

一.前端工程化webpack代码压缩、解决js的浏览器兼容性问题、性能优化webpack.config.js文件下：mode节点：1.development开发时用，不代码压缩和性能优化，打包速度块2.
nknmn_·2024-01-28 03:21

HarmonyOS 鸿蒙应用开发( 八、线程模型及线程间通信 Emitter、Worker和TaskPool介绍）

示例注意事项TaskPool和Worker的对比选择实现特点对比适用场景对比TaskPool注意事项Worker注意事项写在最后其他资源前言HarmonyOS（鸿蒙系统）应用的线程模型设计考虑了系统的性能优化和用户体验
特立独行的猫a·2024-01-28 00:23

vue2.0学习笔记黑马

WebPack实际开发中并不需要手动配置webpack1、概念webpack是前端项目工程化的具体解决方案主要功能：提供了友好的前端模块化开发支持、以及代码压缩混淆、处理浏览器端javaScript的兼容性、性能优化等强大的功能好处
firewrk·2024-01-28 00:44

C++学习笔记（五十）：c++ 移动语义与std::move

本节介绍c++的移动语义与新特性std::move，本节介绍的内容主要用在性能优化上。c++移动语义和c++左值右值的内容相关联，可以先看之前发的左值右值内容。
pcop·2024-01-27 23:43

Apache Spark架构与特点

1.背景介绍ApacheSpark是一个开源的大数据处理框架，由AMLLabs公司开发，后被Apache软件基金会所支持。
OpenChat·2024-01-27 23:35

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

转载-android性能优化

android性能优化Reason:BroadcastofIntent{act=android.intent.action.TIME_TICKActivityManager:ANRincom.***.
Keung丶·2024-01-27 23:41

10个简单易学的Java编程性能优化技巧学习

Java是一种可以撰写跨平台应用软件的面向对象的程序设计语言。Java技术具有卓越的通用性、高效性、平台移植性和安全性，广泛应用于PC、数据中心、游戏控制台、科学超级计算机、移动电话和互联网，同时拥有全球最大的开发者专业社群。给你学习路线：html-css-js-jq-javase-数据库-jsp-servlet-Struts2-hibernate-mybatis-spring4-springmv
Java小辰·2024-01-27 22:15

Android性能优化：直播推流使用对象池

#性能优化之Android应用内存优化实战#对应视频：3.为什么要学习数据结构与算法_哔哩哔哩_bilibili根据AndroidHandler里面的Message实现思想，实现自定义的对象池publicclassRTMPPackage
一叶飘舟·2024-01-27 22:39

sql优化建议

背景：在北京工作期间，我们做应用开发的和后台数据库的联系非常大，我们经常在一起讨论存储过程或者是sql性能优化的事情来降低应用运行时的时间，提高性能，经过和数据库方面的工程师的一些讨论与学习，收获了一些对优化
Double=Eggs·2024-01-27 21:00

Android性能优化：网络优化

http://www.baidu.comhttp://blog.csdn.net/u012963909/article/details/51204467
ADark0915·2024-01-27 21:59

如何解决缓存一致性的问题

1.引言在当今的软件开发中，性能优化是一个至关重要的方面。为了提高系统的响应速度和减轻后端服务的负载，缓存技术成为了一种常见的解决方案。
Memory_2020·2024-01-27 20:09

Mysql性能优化之BufferPool介绍

之前在一条SQL在MySQL中是如何执行的-CSDN博客这篇文章中讲了sql语句在Mysql里是如何执行的，今天就给大家介绍下Mysql的BufferPool，BufferPool是MySQL中一个关键的组件，它负责管理数据库引擎的内存缓存，提高数据库的读取性能。本文将深入讨论MySQL中BufferPool的概念、作用以及通过场景示例说明其在实际应用中的重要性。下面用张图再来总结下SQL的执行过
Memory_2020·2024-01-27 20:39

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。
csdn产品小助手·2024-01-27 19:18

分布式系统架构的基本原则和实践入门到精通

java架构师、集群、高可用、高性能、高并发、性能优化、Springboot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战视频课程内容包含：高级Java架构师包含
dengyulabn8200·2024-01-27 17:27

apache 前30个开源项目

高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃4ApacheSpark
临水逸·2024-01-27 17:35

Unity 代理模式（实例详解）

文章目录实例1：资源加载代理（AssetLoadingProxy）实例2：网络请求代理（NetworkRequestProxy）实例3：性能优化代理（PerformanceOptimizationProxy
极致人生-010·2024-01-27 16:38

开发手札：unity性能优化（一）

unity性能优化一直是一个综合的问题，涵盖了CPU、内存、GPU、资源、UI、3D等方面，实际上我自己都不敢说懂unity优化，只能结合自己这些年开发的经历来谈一下，算是抛砖引玉，如果有人有更好的优化建议和文章
羊羊2035·2024-01-27 16:06

如何使用irsa将火花提交给亚马逊eks集群

Inpreviousarticle,IhaveintroducedhowwesubmitaSparkjobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract
weixin_26755331·2024-01-27 15:26

react 实现图片懒加载

懒加载是一种对网页性能优化的方式，而图片懒加载当一个网站加载图片过多时就需要懒加载的协助，从而提高页面的加载速度，减轻服务器的压力，节省流量。
成熟渊·2024-01-27 14:14

Pyspark分类--LogisticRegression

LogisticRegression：逻辑回归分类classpyspark.ml.classification.LogisticRegression(featuresCol=‘features’,labelCol
Gadaite·2024-01-27 14:53

搭建大数据平台常用的端口号

journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark
修勾勾L·2024-01-27 13:51

Spark连接Hive的两种方式

一、使用hive-site.xml第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xmldatanucleus.schema.autoCreateAlltruejavax.jdo.option.ConnectionURLjdbc:mysql://192.168.38.160:3306/hive_db?crea
修勾勾L·2024-01-27 13:50

项目中常用的utils

importcryptofrom'crypto'importSparkMD5from'spark-md5'importCryptoJsfrom'crypto-js'importJSEncryptfrom'jsencrypt'importstoragefrom
乐夫天命兮·2024-01-27 13:05

flume+kafka+SparkStreaming+mysql+ssm+高德地图热力图项目

第一步、编写python脚本，产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855
printf200·2024-01-27 12:24

原来 CPU 为程序性能优化做了这么多

本文主要来学习内存屏障和CPU缓存知识，以便于我们去了解CPU对程序性能优化做了哪些努力。
武培轩·2024-01-27 12:27

Vue2跟Vue3的对比

本文将详细介绍Vue2.x和Vue3.x的区别，包括性能优化、CompositionAPI、响应式系统的改进和其他一些重要的变化。目录一、性能优化
跟Bug双向奔赴·2024-01-27 12:58

【ASP.NET Core 基础知识】--依赖注入（DI）--生命周期和作用域

性能优化：根据不同的生命周期模式，我们可以优化系统的性能。例如，单
喵叔哟·2024-01-27 12:18

嵌入式软件设计机器人提示词

技能技能1:嵌入式系统微处理器架构:精通Cortex-M等微处理器架构，包括设计原理、性能优化及其在不同应用场景的适用性。固件开发:深入理解固件设计与实现，确保其在嵌入式平台上的稳定、安全和高效运
Let's Chat Coding·2024-01-27 11:18
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他