Spark性能优化

MySQL性能调优篇(1)-分析执行计划的方法

MySQL是一种常用的关系型数据库管理系统，它的性能优化对于数据处理的效率和性能至关重要。在优化MySQL数据库的过程中，分析执行计划是一个重要的步骤。
俞兆鹏·2024-02-12 13:56

MySQL监控Innodb信息

Innodb监控Innodb由于支持事务操作，是mysql中使用最多的存储引擎，所以如何监控Innodb存储引擎以进行性能优化是在使用mysql过程中遇到最多的，那么如何进行监控呢？
·2024-02-12 12:40

Spark MLlib

目录一、SparkMLlib简介（一）什么是机器学习（二）基于大数据的机器学习（三）Spark机器学习库MLlib二、机器学习流水线（一）机器学习流水线概念（二）流水线工作过程（三）构建一个机器学习流水线三
Francek Chen·2024-02-12 11:15

Structured Streaming

目录一、概述（一）基本概念（二）两种处理模型（三）StructuredStreaming和SparkSQL、SparkStreaming关系二、编写StructuredStreaming程序的基本步骤（
Francek Chen·2024-02-12 11:44

供应链领域数据中台架构建设（上）

负责：中央/分销预订系统性能优化；活动&优惠券等营销中台建设；交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可
JavaEdge.·2024-02-12 11:40

入门篇 - Spark简介

Spark核心模块image.pngSparkCore:提供了Spark最基础与最核心的功能，Spark其他的功能如:SparkSQL，SparkStreaming，GraphX,MLlib都是在SparkCore
君子何为·2024-02-12 10:22

前端性能优化 - Gzip压缩

什么是Gzip压缩？gzip是GNUzip的缩写，是一种文件的压缩格式（也可以说是若干种文件压缩程序），类似的压缩格式还有compress，deflate等。web上使用gzip编码格式传输有几个要点：浏览器和服务器都需要支持gzip编码采用LZ77算法与Huffman编码来压缩文件，是一种无损压缩算法压缩比率在3-10倍左右（纯文本），可以大大节省服务器的网络带宽是否前端所有资源都需要Gzip压
·2024-02-12 10:36

2018-08-25 2000万条数据迁移从几天到几个小时

作者：闪客sun|博客园https://www.cnblogs.com/flashsun一直不知道性能优化都要做些什么，从哪方面思考，直到最近接手了一个公司的小项目，可谓麻雀虽小五脏俱全。
Albert陈凯·2024-02-12 10:45

主键为什么一般设置为自增 id

性能优化：自增id通常是按照顺序递增的，这样的特点使得数据在物理存储上更加紧凑，减少了插入新记录时的数据移动和调整的
啄sir.·2024-02-12 08:11

iOS 性能优化相关整理（待补充）

1.基础优化1.减少使用xib及storyboard（加载速度慢；导致APP启动时间比较耗时，因为在APP启动main()以前需要加载他们）2.懒加载可以节省内存资源，用到时才去加载所使用对象3.单例模式在项目开发过程中会用到很多重大开销对象（比如NSDateFormatter和NSCalendar），如我们在列表需要计算用户年龄的时候会经常用到NSDateFormatter，还有一些时间的格式化
Aliv丶Zz·2024-02-12 07:47

如何进行网站性能优化

网站性能优化“六步法则”：一、网页内容优化；二、服务器优化；三、Cookies优化；四、CSS优化；五、JS优化；六、图片优化。
生命里那束光·2024-02-12 06:46

【Java万花筒】加速Java应用程序：探索性能优化的利器

Java性能优化：提升应用程序效率与可靠性的关键前言在当今软件开发领域中，性能是一个至关重要的方面。对于Java应用程序而言，优化其性能可以带来更高的效率和更好的用户体验。
friklogff·2024-02-12 06:41

《CSS 简易速速上手小册》第8章：CSS 性能优化和可访问性（2024 最新版）

文章目录8.1CSS文件的组织和管理8.1.1基础知识8.1.2重点案例：项目样式表结构8.1.3拓展案例1：使用BEM命名规范8.1.4拓展案例2：利用Sass混入创建响应式工具类8.2提高网页加载速度的技巧8.2.1基础知识8.2.2重点案例：图片优化8.2.3拓展案例1：合并和压缩资源文件8.2.4拓展案例2：使用CDN和浏览器缓存8.3设计可访问的Web界面8.3.1基础知识讲解8.3.2
江帅帅·2024-02-12 06:37

2024给你一些Android 应用性能优化的建议

2024给你一些Android应用性能优化的建议在当今激烈竞争的移动应用市场中，用户对应用性能和体验的要求越来越高。因此，进行Android应用性能优化是开发过程中必不可少的一环。
Calvin880828·2024-02-12 05:52

Spark 作业执行

Spark基本组件，Master和Worker，负责运行Client和Driver作业执行框架每个SparkApplication由主控节点Master、集群资源管理节点ClusterManager、执行任务节点
Alex90·2024-02-12 05:04

读书笔记之《运动改造大脑》：运动是最佳的健脑丸

《运动改造大脑》的作者是约翰•瑞迪（JohnRatey）/埃里克•哈格曼（EricHagerman），原著名称为：Spark：therevolutionarynewscienceofexerciseandthebrain
AIGCTribe·2024-02-12 04:15

Spark 共享变量

翻译Spark共享变量部分的官方文档（Spark2.4.3）。通常，当传递给Spark操作(如map或reduce)的函数在远程集群节点上执行时，在函数中使用的所有外部变量都是单独拷贝的变量副本。
stone_zhu·2024-02-12 03:02

字节跳动官方出品AI，白嫖使用GPT4！

负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
JavaEdge.·2024-02-12 03:44

django中的缓存功能

一：介绍Django中的缓存功能是一个重要的性能优化手段，它可以将某些耗时的操作（如数据库查询、复杂的计算等）的结果存储起来，以便在后续的请求中直接使用这些缓存的结果，而不是重新执行耗时的操作。
攻城狮的梦·2024-02-11 23:04

hive 和spark 环境同时部署linux环境变量后beeline命令冲突

由于两个应用都有相同的beelineshell文件所以在同时配置/etc/profile文件中环境变量时会导致先执行前面的环境变量指向的beeline，导致beeline命令报版本不一致错误。hivebeeline客户端报错，hive-jdbc版本不一致。
朱晔_74d3·2024-02-11 21:21

SpringBoot 接入讯飞星火大模型实现对话

申请地址https://xinghuo.xfyun.cn/sparkapi?
生产队的驴.·2024-02-11 20:17

2021-10-04 前端性能优化方法

文章目录前言1、GZIP1.1、使用步骤2、CDN2.1、使用步骤3、缓存3.1、使用步骤4.组件4.1、注意事项5.其它5.1、减少HTTP请求5.2、懒加载总结前言随着代码数量越来越多，如何加快项目浏览器中的运行速度，减少用户的等待时间便成为了很重要的一个方面，以下是我经过实践后的几个方法1、GZIPGZIP可以对文件进行压缩，压缩比例到3到10左右，是很实用的压缩方法1.1、使用步骤因为我们
weixin_43160044·2024-02-11 20:40

C语言常见面试题：C语言中如何进行大数据处理编程？

在C语言中进行大数据处理编程需要使用特定的数据结构和算法，以及对内存管理和性能优化的深入理解。
广寒舞雪·2024-02-11 20:37

MySQL进阶45讲【18】为什么只查一行的语句，也执行这么慢？

1前言一般情况下，如果是查询性能优化，大家首先会想到一些复杂的语句，想到查询需要返回大量的数据。但有些情况下，“查一行”，也会执行得特别慢。那么在什么情况下，会出现这个现象呢。
吴名氏.·2024-02-11 20:33

大厂的供应链域数据中台设计

负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
·2024-02-11 18:16

云计算 - 弹性计算技术全解与实践

文章不仅提供了丰富的技术细节和实际例证，还提出了独特的洞见，如数据作为核心、自动化的重要性、多维度的性能优化，以及高可用与灾备的不可或缺性。
·2024-02-11 18:16

得到APP-效率工程部-Android资深/高级工程师岗位

薪资：30K~45K工作职责：设计和实现高性能、灵活且可扩展的移动客户端架构；负责解决Android/鸿蒙移动端架构和技术方面的挑战，优化应用性能和用户体验；参与业务架构设计和优化，代码Review，性能优化和质量把控
·2024-02-11 18:55

供应链域数据中台设计

负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
·2024-02-11 17:09

大厂的供应链域数据中台设计

负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
·2024-02-11 17:09

JVM | 第2部分：虚拟机执行子系统《深入理解 Java 虚拟机》

；第2部分主题为虚拟机执行子系统，以此延伸出class类文件结构、虚拟机类加载机制、虚拟机字节码执行引擎等相关内容；第3部分主题为程序编译与代码优化，以此延伸出程序前后端编译优化、前端易用性优化、后端性能优化等相关
多氯环己烷·2024-02-11 17:08

Java虚拟机-常用参数

Java虚拟机-JVM故障诊断与性能优化一.常用虚拟机参数1.1掌握跟踪调试参数1.1.1.跟踪垃圾回收-读懂虚拟机日志GC参数-XX:+PrintGC//jdk8之前-Xlog:gc//jdk910使用需要得到详细的信息
却水·2024-02-11 17:03

学成网html+css案例

商业预测>云计算&大数据>运维&测试>UI设计>产品>我的课程表继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象全部课程精品推荐JQuerySparkMySQLJavaWebMyS
倒霉娃不要倒霉·2024-02-11 15:33

Spark 使用之操作Hudi表

HudiSpark使用本篇为大家带来通过Sparkshell和SparkSQL操作Hudi表的方式。
AlienPaul·2024-02-11 14:52

技术精英求职必备：Node.js研发工程师简历制作全指南

简历编写核心原则撰写针对Node.js研发工程师职位的简历时，关键在于准确展现您在使用Node.js进行后端开发、API构建以及系统性能优化方面的专业技能、项目经验和技术成就。
未来简历·2024-02-11 14:17

技术精英求职必备：iOS开发工程简历制作全指南

简历编写核心原则撰写针对iOS开发工程师职位的简历时，核心在于准确展现您在使用Swift和Objective-C进行iOS应用开发、界面设计以及性能优化方面的专业技能、项目经验和技术成就。
未来简历·2024-02-11 14:15

Webpack(十二)：tree shaking打包性能优化

1.什么是tree-shaking?在webpack中，tree-shaking的作用是可以剔除js中用不上的代码，但是它依赖的是静态的ES6的模块语法。也就是说没有被引用到的模块它是不会被打包进来的，可以减少我们的包的大小，减少文件的加载时间，提高用户体验。webpack2版本中就开始引入了treeshaking的概念，它可以在打包时可以忽略哪些没有被使用到的代码。注意：要让TreeShakin
CodeMT·2024-02-11 13:29

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会·2024-02-11 11:58

Hive与ClickHouse的区别

Hive的存储引擎使用HDFS，计算引擎使用MapReduce或Spark。Hive本质上是一个元数据管理平台，通过对存储于HDFS上的数据文件附加元数据，赋予HDFS上的文件以数据库表的语义。
晓之以理的喵~~·2024-02-11 08:18

MySQL进阶查询篇(3)-查询性能优化的常见技巧

在实际开发中，由于数据量的增长和查询需求的复杂化，MySQL数据库的查询性能优化显得尤为重要。本文将介绍MySQL数据库查询性能优化的常见技巧，帮助开发人员提高数据库查询效率。
俞兆鹏·2024-02-11 08:45

Spark编程题

数据格式如下：张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求：1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数3.数据中20-30已婚数量前3的省份答案：packagespark08importorg.apache.spark.rdd.RDDimportorg.apache.spa
不愿透露姓名的李某某·2024-02-11 07:09

性能优化分析及常见性能优化策略总结

最近，大家似乎都对性能优化分析，这一方面比较感兴趣。一方面是比较感兴趣，另一方面就是遇见许多类似的状况，但是，却不知从何下手，根源在哪里？应当如何正确优化?首先，先跟大家讲解下常见的性能优化策略分类！
LLG1234567890123·2024-02-11 06:39

webpack之常见性能优化

webpack之常见性能优化构建性能减少模块解析优化loader性能限制loader的应用缓存loader的结果多线程打包开启热替换常见loader和plugin传输性能分包手动分包自动分包模块体积优化代码压缩
Mr_RedStar·2024-02-11 06:39

常见性能优化策略

对于经常接触高并发服务的同学来学，会经常涉及到性能优化，但是由于平时很少总结，内容会比较分散，这里简单做一些总结1：空间换时间比如一些数据的访问需要很快返回结果，原本在磁盘上的数据，需要放到内存里面。
hui12345685·2024-02-11 06:09

死磕spark中的job、stage、task

写在前面台风夜的电话面试里被问到了spark运行任务的过程中stage的划分依据。一下子就给整懵了，支支吾吾答非所问。从事大数据的开发也有一年半光景，spark任务的运行原理依旧知之甚少。
NikolasNull·2024-02-11 06:11

记一次接口性能优化实践总结：优化接口性能的八个建议

对于优化而言，可以从八个方面进行优化1.数据量大的时候，批量操作数据入库2.耗时操作异步处理3.优化业务逻辑4.恰当的使用缓存5.数据压缩传输内容6.考虑使用mq与文件等其他方式，异步后，再落地DB对于入库而言：//批量入库,mybatisdemo实现insertintotrans_detail(id,amount,payer,payee)values(#{item.id},#{item.amou
lz众里寻他千百度·2024-02-11 05:19

国外现代并行计算课程CMU-15-418/15-618: Parallel Computer Architecture and Programming

这是与计算物理最相关的CS课程，计算物理方向很容易吃透作为项目写到简历上这部分主要包括多核计算OpenMPSIMD集群计算MPIGPU计算CUDA分布式计算MapReduceSpark互联网主要重视分布式计算
wwxy261·2024-02-11 05:03

Vue 性能优化

回答此问题应从三个方面着手1）Vue代码层面的优化；2）webpack配置层面的优化；3）基础的Web技术层面的优化一：代码层面的优化1.1、v-if与v-show区分使用场景1.1.1手段：v-if是通过控制dom节点的存在与否来控制元素的显隐；v-show是通过设置DOM元素的display样式，block为显示，none为隐藏；1.1.2.编译过程：v-if切换有一个局部编译/卸载的过程，切
moveOn_3e90·2024-02-11 04:12

深入浅出：Golang的Crypto/SHA256库实战指南

库概览主要功能应用场景库结构和接口实例基础使用教程字符串哈希化文件哈希化处理大型数据进阶使用方法增量哈希计算使用Salt增强安全性多线程哈希计算实际案例分析案例一：安全用户认证系统关键步骤代码示例案例二：文件完整性验证关键步骤代码示例最佳实践和性能优化最佳实践
walkskyer·2024-02-11 02:45

使用docker搭建spark(2.3.1)集群

使用Docker快速搭建Spark集群。
zealscott·2024-02-11 01:12

Android 性能优化-ANR 的原因和解决方案

1、出现ANR的情况满足下面的一种情况系统就会弹出ANR提示输入事件(按键和触摸事件)5s内没被处理；BroadcastReceiver的事件(onRecieve()方法)在规定时间内没处理完(前台广播为10s，后台广播为60s)；Service前台20s后台200s未完成启动；ContentProvider的publish()在10s内没进行完。通常情况下就是主线程被阻塞造成的。2、ANR的实现
chuhe1989·2024-02-11 00:47
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他