spark调优

spark在standalone模式下提交任务流程

1、application（自己编写的应用程序），拷贝到用来提交spark应用的机器上，用spark-summit来提交这个application，在standalone模式下，会在本机客户端直接启动一个
程序媛啊·2023-12-16 23:22

Spark - 直接操作数据源 MySQL

答案就是使用spark的计算能力的，我们可以将mysql数据源接入到spark中。
kikiki4·2023-12-16 23:31

Spark(一): 基本架构及原理

Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升
hedgehog1112·2023-12-16 22:33

Linux 的性能调优的思路

Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放，那么Linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是Linux操作系统和应用程序的最佳结合。01性能问题综述系统的性能是指操作系
测试界的世清·2023-12-16 21:39

【Scala】Scala中的一些基本数据类型的特性 列表、元组、构造器、单例对象、伴生类、伴生对象、抽象类与特质

列表使用List(“”,“”,“”)去声明sliding和groued表示迭代器valiter=List("Hadoop","Spark","Scala")sliding2//sliding和groued
冲鸭嘟嘟可·2023-12-16 20:17

JVM 详解（JVM组成部分、双亲委派机制、垃圾回收算法、回收器、回收类型、了解调优思路）

目录JVM详解（JVM组成部分、双亲委派机制、垃圾回收算法、回收器、回收类型、了解调优思路）1、概念：什么是JVM?JVM的作用？2、JVM的主要组成部分？
_L_J_H_·2023-12-16 20:36

weblogic 内存溢出调优方法

引言为了提高维护人员运维水平，以集中与分享日常运行维护经验为目的，现进行典型经验的编制。现象描述部分应用服务器出现宕机现象，在F5上查看时已经掉出集群状态。处理过程停止宕机应用服务器上的Weblogic进程。/home/weblogic/bea/user_projects/domains/pms/bin/setDomainEnv.sh文件中的启动内存大小并添加垃圾回收机制，修改后如下：MEM_AR
it技术分享just_free·2023-12-16 20:57

Weblogic 中间件性能调优

主要讨论WeblogicServer性能调优方法和经验，供技术人员参考。处理过程WebLogicServer的核心组件由监听线程,套接字复用器和可执行线程的执行队列组成。
it技术分享just_free·2023-12-16 20:27

Spark

1.请解释Spark中的RDD是什么？
编织幻境的妖·2023-12-16 20:22

Spark

1.请简要介绍一下ApacheSpark的基本架构和组件。
编织幻境的妖·2023-12-16 20:21

RDD是什么

RDD是Spark的基础，是对大数据的抽象，所以先破解Spark，首先从RDD开始。*RDD是什么？有什么特点？*RDD包含什么？*RDD能做什么？
猿界零零七·2023-12-16 20:18

Spark RDD、DataFrame、DataSet比较

在Spark的学习当中，RDD、DataFrame、DataSet可以说都是需要着重理解的专业名词概念。尤其是在涉及到数据结构的部分，理解清楚这三者的共性与区别，非常有必要。
猿界零零七·2023-12-16 20:17

Spark

1.请解释Spark的工作原理。Spark是一种通用的大数据计算框架，其设计目标是提供快速、通用和易于使用的数据处理平台。
编织幻境的妖·2023-12-16 20:16

Spark RDD的转换

按颜色区分转换：绿色是单RDD窄依赖转换黑色是多RDD窄依赖转换紫色是KV洗牌型转换黄色是重分区转换蓝色是特例的转换单RDD窄依赖转换MapPartitionRDD这个RDD在第一次分析中已经分析过。简单复述一下：依赖列表：一个窄依赖，依赖上游RDD分区列表：上游RDD的分区列表计算流程：映射关系（输入一个分区，返回一个迭代器）分区器：上游RDD的分区器存储位置：上游RDD的优先位置可见除了计算流
猿界零零七·2023-12-16 20:45

ARP表项老化

/proc/sys/net/ipv4/neigh/default目录下的变量：gc_thresh1：触发垃圾回收机制的表项个数ARP相关参数调优对比---------------------------
李小白20200202·2023-12-16 19:57

别告诉我你连线程池都不会用，一文搞懂线程池

使用线程池可以进行统一的分配、调优和监控。提供更多更强大的功能：线程池具备可拓展性，允许开发人员向其中增加更多的功能。比如延
该用户快成仙了·2023-12-16 19:55

Spark性能优化总结（建议收藏）

近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。
PHP9年架构师·2023-12-16 18:23

hive调优扩充

1.数据采样采样函数:tablesample(bucketxoutofy[oncolumn])使用位置:查询的时候,紧紧跟在表名的后面,如果表名有别名,必须放置别名的前面普通表:说明:x:从第几个桶进行采样,x不能大于yy:临时分几个桶column:分桶的字段,可以省略分桶表:说明:x:从第几个桶开始进行采样,x不能大于yy:抽样比例y必须是桶表的分桶数量的倍数或者因子column:分桶的字段,可
小希 fighting·2023-12-16 18:40

Spark源码之Worker

Spark源码之Worker介绍篇Worker介绍Worker作为工作节点,一般Driver以及Executor都会在这Worker上分布;Worker代码概览Worker继承了ThreadSafeRpcEndpoint
小狼星I·2023-12-16 18:40

Spark 的“血液” --Spark RPC（一）简述

一.Sparkrpc概述首先说明RPC，引用百度百科：RPC（RemoteProcedureCall）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。
大数据_zzzzMing·2023-12-16 18:46

面试看的东西

：UIKit性能调优实战讲解，同时我还仔细研究了sunnyxx大神的优化UITableViewCell高度计算的那些事iOS自定义转场动画实战讲解《剑指Offer》字符串【3】最长回文子串【3】最长无重复子串
紫色冰雨·2023-12-16 16:31

详解java虚拟机：1-JVM与Java体系结构

每次面试前都要背一次JVM的一些原理概念性的东西，然而面试经常被问在实际项目中如何调优JVM，如何解决JVMGC等问
Alinlx·2023-12-16 16:34

《PySpark大数据分析实战》-10.独立集群模式的代码运行

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-08.宽窄依赖和阶段划分

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:19

《PySpark大数据分析实战》-09.Spark独立集群安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-05.PySpark库介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:05

健康学习到 150 岁：人体系统调优不完全指南 | 开源日报 No.93

jesseduffield/lazygitStars:40.0kLicense:MITlazygit，一个用Go语言编写的简单终端UI工具，可以执行Git命令。该项目旨在让使用者更加方便地使用Git，并提供了以下功能：可视化操作：用户可以通过图形界面进行分支合并、提交等操作；快捷键支持：快速切换到常用选项和菜单；交互式重排列（InteractiveRebase）:用户可直接编辑TODO文件而不必手
开源服务指南·2023-12-16 13:33

spark 内核源码剖析十四：Checkpoint原理

Checkpoint，是Spark提供的一个比较高级的功能。
雪飘千里·2023-12-16 12:27

php启用Opcache进行性能调优

php5.5以上版本已经内置了zendOpCache。通过配置zendopCache模块，将预编译的php字节码加载到共存内存中，省去了每次加载php文件和编译php代码的开销，可以极大提高php性能。opcache模块常用配置如下#配置响应时间sed-i's/max_execution_time=30/max_execution_time=0/'/usr/local/php/lib/php.in
MSNULL·2023-12-16 11:08

spark的键值对的行动操作

先上图frompysparkimportSparkContextif__name__=="__main__":master="local"iflen(sys.argv)==2:master=sys.argv
yanghedada·2023-12-16 10:03

tomcat优化

优化主要包括三方面，分别为:操作系统优化（内核参数优化）Tomcat配置文件参数优化Java虚拟机（JVM）调优tomcat配置文件的参数优化关于Tomcat主配置文件server.xml里面很多默认的配置项
沈阳最速传说と疾走の猛虎！贵物刀一郎です·2023-12-16 10:30

第二周 收集用户反馈及需求分析（Foodie）

、背景与目的此次收集数据为关于Foodie在各大应用商店最近90天的用户反馈，聚焦于评级3.0分数一下的数据，通过对相关数据的整理与分析，总结Foodie现阶段可优化的问题及潜在的用户需求，给出Bug调优
商冰·2023-12-16 09:02

kafka学习笔记--broker工作流程、重要参数

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录KafkaBroker工作流程Kakfa信息存储在Zookeeper中KafkaBroker总体工作流程Broker
向着百万年薪努力的小赵·2023-12-16 09:59

容器中的JVM资源该如何被安全的限制？

欢迎工作一到五年的Java工程师朋友们加入Java架构开发：277763288群内提供免费的Java架构学习资料（里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码，MyBatis，
风平浪静如码·2023-12-16 08:49

JVM虚拟机系统性学习-JVM调优实战之内存溢出、高并发场景调优

调优实战-内存溢出的定位与分析首先，对于以下代码如果造成内存溢出该如何进行定位呢？
无敌少年小旋风·2023-12-16 08:04

JVM虚拟机系统性学习-JVM调优之通过gceasy分析GC日志对堆、元空间、线程堆栈和垃圾回收器进行调优

通过gceasy工具对生成的GC日志进行分析这里使用的JDK版本为JDK8！在分析GC日志时，可以同时采用多种工具（Arthas、gceasy、JVM连接Graphana监控）进行分析，避免某种工具分析不准确gceasy每个月只可以免费分析5个gc日志，因此要节约机会！hhh！我们先将gc.log文件放入gceasy中进行分析，分析结果如下：首先是JVM内存大小，可以看到新生代分配了624mb，而
无敌少年小旋风·2023-12-16 08:04

JVM虚拟机系统性学习-JVM调优之GC日志分析

JVM调优首先，为什么要JVM调优呢？JVM调优的目的就是为了让应用程序使用最小的硬件消耗来承载更大的吞吐量什么情况下需要JVM调优呢？
无敌少年小旋风·2023-12-16 08:34

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki1·2023-12-16 07:59

AI创作系统ChatGPT网站源码+搭建部署教程文档，AI绘画，支持TSS GPT语音对话功能

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-16 07:50

最新AI绘画Midjourney绘画提示词Prompt教程

一、Midjourney绘画工具SparkAi【无需魔法使用】：sparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI
白云如幻·2023-12-16 07:10

Kafka快速实战与基本原理详解

）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark
Memory_2020·2023-12-16 06:08

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

生产环境_使用Scala语言_Spark编写灵活的SQL查询生成器

//判断id是否为空validEmpty=id.isEmpty//判断other是否为空valotherEmpty=other.isEmpty//根据不同情况拼接SQL语句valsql=if(idEmpty){//如果id为空if(otherEmpty){//如果other也为空s"""select*from`$table1`where`$time`between'$startTime'and'$
Matrix70·2023-12-16 05:35

生产环境_Spark处理轨迹中跨越本初子午线的经度列

使用spark处理数据集，解决gis轨迹点在地图上跨本初子午线的问题，这个问题很复杂，先补充一版我写的importorg.apache.spark.
Matrix70·2023-12-16 05:26

RocketMQ的监控和管理工具有哪些❓

RocketMQ提供了一些监控和管理工具，以便于用户对消息中间件的运行状态进行监控、管理和调优。
二狗plus·2023-12-16 05:19

【Spark精讲】Spark RDD弹性体现在哪些方面？

什么是“弹性”？一般对于分布式系统，“弹性”指的是可以根据计算规模进行动态伸缩的特性。当计算量增长时，可以动态增加资源来满足计算需求，而当计算量减少时，又可以降低资源配置来节约成本。参考：什么是弹性伸缩ess_弹性伸缩(ESS)-阿里云帮助中心我们在看一下RDD定义：ResilientDistributedDatasets，译为弹性分布式数据集，是一种基于集群内存计算的一种抽象。所以从定义上看，R
话数Science·2023-12-16 05:14

Go函数指针是如何让你的程序变慢的？

本文作者根据自己对Go代码的使用与调优经验，分享了Go的函数值对性能影响的原因以及优化方案，值得深度阅读！
Go中国·2023-12-16 04:36

【Spark精讲】Spark与MapReduce对比

目录对比总结MapReduce流程编辑MapTask流程ReduceTask流程MapReduce原理阶段划分MapshufflePartitionCollectorSortSpillMergeReduceshuffleCopyMergeSort对比总结Map端读取文件：都是需要通过split概念来进行逻辑切片，概念相同，底层具体实现和参数略有差异；业务逻辑实现方式：MapReduce引擎是通过用
话数Science·2023-12-16 04:04

Spark编程实验一：Spark和Hadoop的安装使用

一、目的与要求1、掌握在Linux虚拟机中安装Hadoop和Spark的方法；2、熟悉HDFS的基本使用方法；3、掌握使用Spark访问本地文件和HDFS文件的方法。
Francek Chen·2023-12-16 04:32

java全栈体系结构-架构师之路(持续更新中)

Java全栈体系结构数据结构与算法实战（已更）微服务解决方案数据结构模型(openresty/tengine)实战高并发JVM虚拟机实战性能调优并发编程实战微服务框架源码解读集合框架源码解读分布式架构解决方案分布式消息中间件原理设计模式
云策数据·2023-12-16 04:24
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他