spark性能优化

MySQL进阶45讲【18】为什么只查一行的语句，也执行这么慢？

1前言一般情况下，如果是查询性能优化，大家首先会想到一些复杂的语句，想到查询需要返回大量的数据。但有些情况下，“查一行”，也会执行得特别慢。那么在什么情况下，会出现这个现象呢。
吴名氏.·2024-02-11 20:33

大厂的供应链域数据中台设计

负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
·2024-02-11 18:16

云计算 - 弹性计算技术全解与实践

文章不仅提供了丰富的技术细节和实际例证，还提出了独特的洞见，如数据作为核心、自动化的重要性、多维度的性能优化，以及高可用与灾备的不可或缺性。
·2024-02-11 18:16

得到APP-效率工程部-Android资深/高级工程师岗位

薪资：30K~45K工作职责：设计和实现高性能、灵活且可扩展的移动客户端架构；负责解决Android/鸿蒙移动端架构和技术方面的挑战，优化应用性能和用户体验；参与业务架构设计和优化，代码Review，性能优化和质量把控
·2024-02-11 18:55

供应链域数据中台设计

负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
·2024-02-11 17:09

大厂的供应链域数据中台设计

负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
·2024-02-11 17:09

JVM | 第2部分：虚拟机执行子系统《深入理解 Java 虚拟机》

；第2部分主题为虚拟机执行子系统，以此延伸出class类文件结构、虚拟机类加载机制、虚拟机字节码执行引擎等相关内容；第3部分主题为程序编译与代码优化，以此延伸出程序前后端编译优化、前端易用性优化、后端性能优化等相关
多氯环己烷·2024-02-11 17:08

Java虚拟机-常用参数

Java虚拟机-JVM故障诊断与性能优化一.常用虚拟机参数1.1掌握跟踪调试参数1.1.1.跟踪垃圾回收-读懂虚拟机日志GC参数-XX:+PrintGC//jdk8之前-Xlog:gc//jdk910使用需要得到详细的信息
却水·2024-02-11 17:03

学成网html+css案例

商业预测>云计算&大数据>运维&测试>UI设计>产品>我的课程表继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象全部课程精品推荐JQuerySparkMySQLJavaWebMyS
倒霉娃不要倒霉·2024-02-11 15:33

Spark 使用之操作Hudi表

HudiSpark使用本篇为大家带来通过Sparkshell和SparkSQL操作Hudi表的方式。
AlienPaul·2024-02-11 14:52

技术精英求职必备：Node.js研发工程师简历制作全指南

简历编写核心原则撰写针对Node.js研发工程师职位的简历时，关键在于准确展现您在使用Node.js进行后端开发、API构建以及系统性能优化方面的专业技能、项目经验和技术成就。
未来简历·2024-02-11 14:17

技术精英求职必备：iOS开发工程简历制作全指南

简历编写核心原则撰写针对iOS开发工程师职位的简历时，核心在于准确展现您在使用Swift和Objective-C进行iOS应用开发、界面设计以及性能优化方面的专业技能、项目经验和技术成就。
未来简历·2024-02-11 14:15

Webpack(十二)：tree shaking打包性能优化

1.什么是tree-shaking?在webpack中，tree-shaking的作用是可以剔除js中用不上的代码，但是它依赖的是静态的ES6的模块语法。也就是说没有被引用到的模块它是不会被打包进来的，可以减少我们的包的大小，减少文件的加载时间，提高用户体验。webpack2版本中就开始引入了treeshaking的概念，它可以在打包时可以忽略哪些没有被使用到的代码。注意：要让TreeShakin
CodeMT·2024-02-11 13:29

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会·2024-02-11 11:58

Hive与ClickHouse的区别

Hive的存储引擎使用HDFS，计算引擎使用MapReduce或Spark。Hive本质上是一个元数据管理平台，通过对存储于HDFS上的数据文件附加元数据，赋予HDFS上的文件以数据库表的语义。
晓之以理的喵~~·2024-02-11 08:18

MySQL进阶查询篇(3)-查询性能优化的常见技巧

在实际开发中，由于数据量的增长和查询需求的复杂化，MySQL数据库的查询性能优化显得尤为重要。本文将介绍MySQL数据库查询性能优化的常见技巧，帮助开发人员提高数据库查询效率。
俞兆鹏·2024-02-11 08:45

Spark编程题

数据格式如下：张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求：1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数3.数据中20-30已婚数量前3的省份答案：packagespark08importorg.apache.spark.rdd.RDDimportorg.apache.spa
不愿透露姓名的李某某·2024-02-11 07:09

性能优化分析及常见性能优化策略总结

最近，大家似乎都对性能优化分析，这一方面比较感兴趣。一方面是比较感兴趣，另一方面就是遇见许多类似的状况，但是，却不知从何下手，根源在哪里？应当如何正确优化?首先，先跟大家讲解下常见的性能优化策略分类！
LLG1234567890123·2024-02-11 06:39

webpack之常见性能优化

webpack之常见性能优化构建性能减少模块解析优化loader性能限制loader的应用缓存loader的结果多线程打包开启热替换常见loader和plugin传输性能分包手动分包自动分包模块体积优化代码压缩
Mr_RedStar·2024-02-11 06:39

常见性能优化策略

对于经常接触高并发服务的同学来学，会经常涉及到性能优化，但是由于平时很少总结，内容会比较分散，这里简单做一些总结1：空间换时间比如一些数据的访问需要很快返回结果，原本在磁盘上的数据，需要放到内存里面。
hui12345685·2024-02-11 06:09

死磕spark中的job、stage、task

写在前面台风夜的电话面试里被问到了spark运行任务的过程中stage的划分依据。一下子就给整懵了，支支吾吾答非所问。从事大数据的开发也有一年半光景，spark任务的运行原理依旧知之甚少。
NikolasNull·2024-02-11 06:11

记一次接口性能优化实践总结：优化接口性能的八个建议

对于优化而言，可以从八个方面进行优化1.数据量大的时候，批量操作数据入库2.耗时操作异步处理3.优化业务逻辑4.恰当的使用缓存5.数据压缩传输内容6.考虑使用mq与文件等其他方式，异步后，再落地DB对于入库而言：//批量入库,mybatisdemo实现insertintotrans_detail(id,amount,payer,payee)values(#{item.id},#{item.amou
lz众里寻他千百度·2024-02-11 05:19

国外现代并行计算课程CMU-15-418/15-618: Parallel Computer Architecture and Programming

这是与计算物理最相关的CS课程，计算物理方向很容易吃透作为项目写到简历上这部分主要包括多核计算OpenMPSIMD集群计算MPIGPU计算CUDA分布式计算MapReduceSpark互联网主要重视分布式计算
wwxy261·2024-02-11 05:03

Vue 性能优化

回答此问题应从三个方面着手1）Vue代码层面的优化；2）webpack配置层面的优化；3）基础的Web技术层面的优化一：代码层面的优化1.1、v-if与v-show区分使用场景1.1.1手段：v-if是通过控制dom节点的存在与否来控制元素的显隐；v-show是通过设置DOM元素的display样式，block为显示，none为隐藏；1.1.2.编译过程：v-if切换有一个局部编译/卸载的过程，切
moveOn_3e90·2024-02-11 04:12

深入浅出：Golang的Crypto/SHA256库实战指南

库概览主要功能应用场景库结构和接口实例基础使用教程字符串哈希化文件哈希化处理大型数据进阶使用方法增量哈希计算使用Salt增强安全性多线程哈希计算实际案例分析案例一：安全用户认证系统关键步骤代码示例案例二：文件完整性验证关键步骤代码示例最佳实践和性能优化最佳实践
walkskyer·2024-02-11 02:45

使用docker搭建spark(2.3.1)集群

使用Docker快速搭建Spark集群。
zealscott·2024-02-11 01:12

Android 性能优化-ANR 的原因和解决方案

1、出现ANR的情况满足下面的一种情况系统就会弹出ANR提示输入事件(按键和触摸事件)5s内没被处理；BroadcastReceiver的事件(onRecieve()方法)在规定时间内没处理完(前台广播为10s，后台广播为60s)；Service前台20s后台200s未完成启动；ContentProvider的publish()在10s内没进行完。通常情况下就是主线程被阻塞造成的。2、ANR的实现
chuhe1989·2024-02-11 00:47

Pandas 数据处理-排序与排名的深度探索【第69篇—python：文本数据处理】

排序与排名的深度探索1.sort_index方法2.sort_values方法3.rank方法4.多列排序5.排名方法的参数详解6.处理重复值7.对索引进行排名8.多级索引排序与排名9.更高级的排序自定义10.性能优化技巧
一见已难忘的申公豹·2024-02-11 00:14

大数据毕业设计django+vue.js+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop spark 58同城租房爬虫 房源推荐系统 计算机毕业设计

博主介绍：✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌由于篇幅限制，想要获取完整文章或者源码，或者代做，可以给我留言或者找我聊天。感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人。文章包含：项目选题+项目展示图片（必看）计算机毕业设计吊
B站计算机毕业设计超人·2024-02-10 20:52

RecyclerView缓存机制与性能优化

ViewHolder的属性ViewitemView：对应RecyclerView的子ViewintmPosition：View当前对应数据在数据源中的位置intmOldPosition：View上次绑定的数据在数据源中的位置longmItemId：可以判断ViewHolder是否需要重新绑定数据intmItemViewType：itemView对应的类型intmPreLayoutPosition：
wenxiaohua·2024-02-10 19:53

报表任务治理计划

先给大家介绍我们我们公司的报表产出组件图：报表产出图底层平台由HDFS、Yarn分别提供存储和计算支持在这之上我们提供了一套支持MR、Spark任务开发、依赖执行的调度系统BI业务同学利用调
liujianhuiouc·2024-02-10 12:46

iOS 深入理解 Block 使用及原理

引言在iOS日常开发中，Block的使用频率是比较多的，我们不会每天都做启动优化，也不会每天都做性能优化，但有可能每天都会用到Block。
大菠萝_DABLO·2024-02-10 12:20

计算机毕业设计Python+Spark+LSTM微博大屏情感分析 微博大数据分析 微博情感分析 微博爬虫可视化 微博数据分析 微博采集分析平台

开发技术前端：vue.jsechartswebsocket后端API：springboot+spark+mybatis爬虫/算法：python、lstm情感分析(python实现)数据库：mysql创新点
计算机毕业设计大神·2024-02-10 12:42

spark键值对的链接

join连接frompysparkimportSparkContextif__name__=="__main__":master="local"iflen(sys.argv)==2:master=sys.argv
yanghedada·2024-02-10 09:27

C++服务器端开发（10）:性能优化

选择合适的数据结构和算法：使用适当的数据结构和算法可以极大地提高服务器的性能。例如，使用哈希表来快速访问和检索数据，使用平衡二叉树来维护有序的数据等。减少内存分配和释放：频繁的内存分配和释放操作会导致性能下降。可以使用对象池来预先分配一定数量的对象，并重复使用它们，从而避免频繁的内存分配和释放。使用线程池和异步操作：将服务器的处理逻辑分割成多个任务，并使用线程池来管理线程的创建和销毁。同时，使用异
Galaxy银河·2024-02-10 09:40

SAP HANA性能优化(5)——查询优化器（SQL Optimizer）

一、SQL查询主要组件这些组件主要包括会话（Session），SQL前端（SQLFrontend）,SQL优化器（SQLOptimizer）和执行计划（ExecutionPlan）、SQL计划缓存（SQLPlanCache）。以下是对这些组件的概述：会话层（Session）：这是处理SQL查询的第一层，类似于API，可以创建具有不同属性的会话。这些会话后续用于创建新的事务和工作线程。这是查询开始的
nigulasimao·2024-02-10 09:35

SAP HANA性能优化(4)——过滤相关优化

SELECT……WHERE尽可能早地进行过滤，这里的过滤可以是where条件限制也可以是参数，但是要避免在计算列上使用过滤器作为查询简化的一部分，优化器将所有投影列拉升到树的顶部，应用简化措施，包括删除不必要的列，然后尽可能地向下推送过滤器，大多数情况下推送到表层。开发模型的时候，会有许多过滤条件，也就是大家理解WHERE条件的内容，大家要尽量下沉过滤条件，能在底表过滤的都在底表过滤，减少上层运算
nigulasimao·2024-02-10 09:04

开关机、重启时间优化

[DESCRIPTION]开关机、重启时间优化：开机性能优化：是用功能和其它因素多方面平衡的结果，片面追求单方面的性能没有太大意义；有些产品设计开机动画非常酷炫，动画图片过多、高帧率会影响开机速度，这时就需要看是开机速度优先还是体验优先
柏林电视台·2024-02-10 07:33

横扫Spark之 - 9个常见的行动算子

水善利万物而不争，处众人之所恶，故几于道文章目录1.collect()2.count()3.first()4.take()5.takeOrdered()6.countByKey()7.saveAS...()8.foreach()9.foreachPartition()***1.collect()  收集RDD每个分区的数据以数组封装之后发给Driver  如果RDD数据量比较大，Driver内存默
阿年、嗯啊·2024-02-10 06:04

横扫Spark之 - 22个常见的转换算子

水善利万物而不争，处众人之所恶，故几于道文章目录1.map()2.flatMap()3.filter()4.mapPartitions()5.mapPartitionsWithIndex()6.groupBy()7.distinct()8.coalesce()9.repartition()10.sortBy()11.intersection()12.union()13.subtract()14.z
阿年、嗯啊·2024-02-10 06:01

从浏览器渲染层面解析css3动效优化原理

引言在h5开发中，我们经常会需要实现一些动效来让页面视觉效果更好，谈及动效便不可避免地会想到动效性能优化这个话题:减少页面DOM操作，可以使用CSS实现的动效不多出一行js代码使用绝对定位脱离让DOM脱离文档流
凹凸实验室·2024-02-10 05:31

前端性能优化：提升网站加载速度的终极指南

目录一、引言二、问题分析三、优化方案1.减少HTTP请求次数：方法一：合并文件方法二：CSSSprites方法三：使用CSS和JavaScript工具2.使用CDN加速：方法：示例：引入CDN提供的jQuery库：引入CDN提供的BootstrapCSS文件：引入CDN提供的FontAwesome图标库：图片资源使用CDN加速：3.设置缓存策略：通过设置合适的缓存方法：示例：使用Cache-Con
喔的嘛呀·2024-02-10 05:14

新人数据技术如何快速提升

对于数据平台和工具而言，一般情况下都是在Hadoop生态下做开发，但对于一些有特殊要求的团队，Spark和Flink已经得
晓阳的数据小站·2024-02-09 23:46

Databend 性能调优-基础篇

在软件基础设施领域，人们开始越来越重视代码的性能优化，在满足其可实现功能完整的同时，若可逐步去优化代码，则能在相同硬件条件下达到更好的工作效率，进一步提高业务生产效率。
Databend·2024-02-09 23:27

毕业设计：基于python的反爬虫系统

目录前言设计思路一、课题背景与意义二、算法理论技术2.1spark技术2.2反爬虫设计2.3黑名单设计三、检测的实现3.1数据集3.2实验环境最后前言大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备
Krin_IT·2024-02-09 22:54

MySQL8.0概述及新特性

文章目录学习资料常见的数据库管理系统排名（DBMS）SQL的分类DDL：数据定义语言DML：数据操作语言DCL：数据控制语言MySQL8.0新特性性能优化默认字符集DDL的原子化计算列宽度属性窗口函数公用表表达式索引新特性支持降序索引隐藏索引学习资料
技术人生-小草·2024-02-09 20:34

IOS的性能优化包括哪几点

iOS性能优化总结iOS性能优化总结。关于iOS性能优化梳理：基本工具、业务优化、内存优化、卡顿优化、布局优化、电量优化、安装包瘦身、启动优化、网络优化等。
流星飞鱼·2024-02-09 20:01

Android 优化

优化心得和经验系列视频AndroidPerformancePatterns给App提速：Android性能优化总结移动端性能监控方案HertzAndroid性能优化后续Android性能优化之虚拟机调优
perry_Fan·2024-02-09 20:19

ClickHouse-简谈OLAP与ClickHouse

在第一届易观OLAP大赛中，在用户行为分析转化漏斗场景里，ClickHouse比Spark快了近10倍。在随后几年的
adson1987·2024-02-09 18:00

初识kafka

目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafka集成。
tracy_668·2024-02-09 14:07
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他