Spark调优

大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK

大数据技术原理与应用第三版林子雨期末复习（五）第十章SPARK简介spark特点spark与Hadoop对比Hadoop缺点spark优点RDDRDD概念RDD间存在依赖关系分为宽依赖与窄依赖RDD的两种常用操作简介
头发多多，肆意生长·2024-01-16 05:22

Linux服务器高并发调优实战

众所周知在默认参数情况下Linux对高并发支持并不好，主要受限于单进程最大打开文件数限制、内核TCP参数方面和IO事件分配机制等。下面就从几方面来调整使Linux系统能够支持高并发环境。Linux教程iptables相关如非必须，关掉或卸载iptables防火墙，并阻止kernel加载iptables模块。这些模块会影响并发性能。单进程最大打开文件数限制一般的发行版，限制单进程最大可以打开1024
码农_在线·2024-01-16 04:22

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2024-01-16 03:58

解析 ODPS SQL 任务优化方法原理

一文解析ODPSSQL任务优化方法原理本文重点尝试从ODPSSQL的逻辑执行计划和Logview中的执行计划出发，分析日常数据研发过程中各种优化方法背后的原理，覆盖了部分调优方法的分析，从知道怎么优化，
Elivis Hu·2024-01-16 03:10

Spark MLlib ----- ALS算法

补充在谈ALS（AlternatingLeastSquares）之前首先来谈谈LS，即最小二乘法。LS算法是ALS的基础，是一种数优化技术，也是一种常用的机器学习算法，他通过最小化误差平方和寻找数据的最佳匹配，利用最小二乘法寻找最优的未知数据，保证求的数据与已知的数据误差最小。LS也被用于拟合曲线，比如所熟悉的线性模型。下面以简单的线性一元线性回归模型说明最小二乘法。假设我们有一组数据{(x1,y
创作者mateo·2024-01-16 02:54

ClickHouse - 01

与其特性在大数据处理场景中，流处理和批处理使用到的技术大致如下：大数据处理场景流程.png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark
ArthurHC·2024-01-16 02:17

高性能mysql 第三版 读书笔记

MySQL中的tmp_table_size和max_heap_table_size|极客笔记mysql占用内存过高调优方法_tmp_table_size过大阻塞-CSDN博客查看mysql分配的内存mysql
weixin_42124960·2024-01-16 01:31

Python语法进阶学习--进程和线程

后续很快就要进入Spark的学习，在学习之前也是要铺垫一个知识点：进程是什么？线程是什么？两者有什么区别？又有什么关系？
Yan_bigdata·2024-01-15 23:34

Redis之bigkey

7、BigKey调优，惰性释放lazyfree8、生产上限制keys*/flushdb/flushall等危险命令防止误删误用9、SCAN命令1、什么是bigkey？
Poetry-Distance·2024-01-15 22:44

JVM性能调优工具

JVM性能调优工具1什么是性能调优性能调优就是对计算机硬件、操作系统和应用有相当深入的了解，调节三者之间的关系，实现整个系统（包括硬件、操作系统、应用）的性能最大化，并能不断的满足现有的业务需求。
efzy·2024-01-15 20:10

性能测试调优

1系统性能定义性能测试，主要是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。系统性能主要包括两个值：吞吐量（Throughtput），即每秒钟可以处理的请求数，事务数。系统延迟（Latency），也就是系统在处理一个请求或一个事务时的延迟。它们两者之间的关系：Throughput越大，Latency会越差。请求量过大，系统繁忙，响应速度自然低。Latency
HumanFactory·2024-01-15 17:51

系统性能测试及调优

1系统性能定义性能测试，主要是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。系统性能主要包括两个值：吞吐量（Throughtput），即每秒钟可以处理的请求数，事务数。系统延迟（Latency），也就是系统在处理一个请求或一个事务时的延迟。它们两者之间的关系：Throughput越大，Latency会越差。请求量过大，系统繁忙，响应速度自然低。Latency
LanceZhen·2024-01-15 17:47

系统性能测试及调优--转载

原文地址：http://www.51ste.com/front/det-2-1.html1系统性能定义性能测试，主要是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。系统性能主要包括两个值：吞吐量（Throughtput），即每秒钟可以处理的请求数，事务数。系统延迟（Latency），也就是系统在处理一个请求或一个事务时的延迟。它们两者之间的关系：Throug
aebdm757009·2024-01-15 17:46

JVM 17 调优指南：如何进行JVM调优，JVM调优参数

在这篇文章中，我会详细介绍JVM调优的概念、重要性和具体的JVM调优参数。此外，我将提供12个实用的代码示例，每个示例都会包含JVM调优参数和相应的Java代码。
架构师专栏·2024-01-15 14:18

浪潮信息与宁盾共促身份管理系统升级 联合解决方案通过澎湃技术认证

资料显示，该方案以浪潮信息inMerge超融合产品为基础设施平台，结合宁盾高效身份管理方案，双方通过测试调优，出厂预装，帮助企业缩短建设周期，加快解决身份管理带来的隐患，大幅提升管理效率。
fanxiaohui12138·2024-01-15 14:32

【Spark】Spark原理简述

发现一篇很好的文章，适合对Spark有一定了解的小伙伴阅读主要介绍下自己在学习spark当中的一些理解和学习过程中踩到的坑，对spark时间效率优化的点做个总结，各位大佬轻拍。
turboSniper·2024-01-15 14:57

streaming 101

看之前就知道这是两篇能够提升你对流处理理解的文章，不是一般的提升，可以说是一种升华，因为他谈的不是一个具体的工具（sparkstreaming，flink等），而是谈流处理应该是怎么样的，流处理要打败批处理一统天下的话需要有什么特性
Bitson·2024-01-15 12:31

大数据开发之Hive（企业级调优）

第10章：企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,
Key-Key·2024-01-15 12:34

flink双流ioin的大状态如何解决和调优

以下是解决和调优Flink中双流ioin大状态的一些建议：解决方案：增大任务管理器的堆内存：对于处理大状态的任务，增加Flink任务管理器的堆内存可以提供更多的内存空间来存储状态，减缓状态溢出的可能性。
暴走的贼宇·2024-01-15 12:55

JVM实战（14）——Young GC调优

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章，我们还是以案例驱动的方式讲解YoungGC调优，之前在基础
smart哥·2024-01-15 11:08

【积微成著】性能测试调优实战与探索（存储模型优化+调用链路分析）

以上，在性能测试的场景决策，架构分析、流量分析、压测实施和剖解调优等主要环节中，引发对于系统能力底盘夯实和测试策略改进的诸多思考。
京东云开发者·2024-01-15 11:10

Spark原理——Shuffle 过程

Shuffle过程Shuffle过程的组件结构从整体视角上来看,Shuffle发生在两个Stage之间,一个Stage把数据计算好,整理好,等待另外一个Stage来拉取放大视角,会发现,其实Shuffle发生在Task之间,一个Task把数据整理好,等待Reducer端的Task来拉取如果更细化一下,Task之间如何进行数据拷贝的呢?其实就是一方Task把文件生成好,然后另一方Task来拉取现在是
我像影子一样·2024-01-15 09:47

ChatGPT提示词工程进阶

两种大型语言模型基础大模型(BaseLLM)基于训练数据预测下文指令调优大模型(InstructionTunedLLM)尝试听从指令基于基础大模型，进一步使用指令内容输入+遵循指令内容输出来训练和微调模型
lichunericli·2024-01-15 09:11

Spark高级特性 (难)

Spark高级特性(难)闭包/**编写一个高阶函数，在这个函数要有一个变量，返回一个函数，通过这个变量完成一个计算**/@Testdeftest():Unit={//valf:Int=>Double=closure
我像影子一样·2024-01-15 09:11

【MySQL】mysql集群

这些日志对于故障排除、性能调优、备份恢复以及复制等方面都非常重要。查看mysql中与日志相关的系统变量的配置
星河万里᭄ꦿ࿐·2024-01-15 07:30

sparkStreaming 连接kafka的方式

sparkStreaming消费kafak有两种方式1：receiver方式2：direct方式receiver方式：1：sparkStreaming将kafka之中的数据读取到spark内存之中，然后对
流砂月歌·2024-01-15 06:59

大数据问答汇总

ApacheSpark有哪些常见的稳定版本，Spark1.6.0的数字分别代表什么意思？
Sql强·2024-01-15 03:28

Java 与 Scala 使用Maven混合编译打包

在SpringBoot上使用spark的时候会遇到的混合编译问题，在java代码中打包会找不到scala定义的包，即可参考使用如下配置。
kikiki4·2024-01-15 02:07

【案例实战】业务稳定性运行之全链路混合压测

在模拟真实用户交互和**系统环境(生产环境)**的情况下，评估整个应用在高负载情况下的性能表现和持续调优的过程，包括响应时间、吞吐量、
互联网小阿祥·2024-01-15 01:32

centos spark单机版伪分布式模式

Spark的部署方式包括Standalone、YARN、Mesos，在我们学习Spark编程的过程中，往往机器资源有限，于是可以采用伪分布式部署。
piziyang12138·2024-01-15 00:05

FLINK学习笔记（一）-- Word Count

defmain(args:Array[String]):Unit={/***flink的运行模型*1.DataSource*2.Transformation*3.DataSink*///获取环境，类似于sparkcontextvalenv
k_wzzc·2024-01-14 22:15

Building online HBase cluster of Zhihu based on Kubernetes

utm_campaign=profiletracking&utm_medium=sssite&utm_source=ssslideview同样对spark或者yarnr
mtj66·2024-01-14 21:24

深入理解 Spark（二）SparkApplication 提交和运行源码分析

spark核心流程yarn-clientyarn-clusterspark任务调度sparkstage级别调度sparktask级别调度失败重试和白名单对于运行失败的Task，TaskSetManager
我很ruo·2024-01-14 21:19

深入理解 Spark（三）SparkTask 执行与 shuffle 详解

SparkTask的分发部署与启动流程分析SparkAction算子触发job提交Spark当中Stage切分源码详解Task的提交与执行SparkShuffle机制详解MapReduceShuffle全流程深度剖析
我很ruo·2024-01-14 21:19

深入理解 Spark（四）Spark 内存管理模型

Spark中的内存管理和资源管理模型Executor进程作为一个JVM进程，其内存管理建立在JVM的内存管理之上，整个大致包含两种方式：堆内内存和堆外内存。
我很ruo·2024-01-14 21:16

SparkSQL函数定义——UDF函数，窗口函数

目录1定义UDF函数1.1返回值是数组类型的UDF定义1.2返回字典类型的UDF定义2窗口函数1定义UDF函数目前python仅支持UDF两种定义方式：1.sparksession.udf.register
油豆皮·2024-01-14 20:03

Oracle SQL调优系列之SQL Monitor Report

@[TOC](OracleSQL调优系列之SQLMonitorReport)1、SQLMonitor简介sqlmonitor是oracle官方提供的自动监控符合特定条件的SQL，用于收集执行时的细节信息的监控工具
smileNicky·2024-01-14 19:40

Android性能优化——UI优化

layout标签实现共享2、使用标签来优化布局层数在使用了include后可能导致布局嵌套过多，多余不必要的layout节点，从而导致解析变慢，不必要的节点和嵌套可通过hierarchyviewer(下面布局调优工具中有具体介绍
贾小牛·2024-01-14 18:30

spark | scala | 线性代数库Breeze学习

最近在学习spark，对线性代数库Breeze做了学习，介绍下常用的函数前提，使用Breeze库，必须导入相关的包importbreeze.linalg._importbreeze.numerics.
茁壮小草·2024-01-14 18:55

Spark线性代数,绘图工具入门;scala, java下的Breeze线性代数以及数据绘图工具breeze-viz入门

//官方地址,https://github.com/scalanlp/breeze/wiki/Quickstar//由于编辑器的格式原因,自行拷贝到集成开发环境中调试格式,代码都可以正确运行defbreezeTest:Unit={//Vector支持访问和更新,DenseVector是列向量valx=DenseVector.zeros[Double](5);//构建一个5维的稠密向量SparseV
stableMusic·2024-01-14 18:23

利用 Azure Data Bricks的免费资源学习云上大数据

AzureDatabricks是一个基于ApacheSpark的分析平台，专为大数据处理和机器学习而设计。它结合了Data
AI普惠大师·2024-01-14 16:42

科大讯飞星火大模型接入API js 部分 接口 安装注意事项

下载以下链接例子运行程序https://xfyun-doc.xfyun.cn/static%2F16968175055332330%2Fspark_js_demo.zip官网给的说明准备1.在demo中填写
guoruijun_2012_4·2024-01-14 15:37

mysql数据库优化

数据库的性能调优和优化是指通过优化数据库结构、SQL语句的编写以及服务器硬件和操作系统等方面的配置，来提高数据库的响应速度和稳定性，以满足业务需求。结合实际需求，从以下四个方面进行讲解。
武昌库里写JAVA·2024-01-14 15:27

RDD转换为DataFrame

SparkSQL它支持两种不同的方式转换已经存在的RDD到DataFrame1.反射（Java中的概念，scala是隐式转换）2.运行编程接口用反射去推倒出来RDD里面的schema。
起个什么呢称呢·2024-01-14 14:42

2022-03-01 回春的三月——交学期费

昨天2月的最后一天，也是交学期票的最后一天，超期的话要多付费，可我的SPARKASSE卡长时间没使用，账户被锁了。
keivenbear·2024-01-14 11:40

深入理解 Spark（一）spark 运行模式简介与启动流程源码分析

spark的运行模式standalone模式以standalone-client为例，运行过程如下：SparkContext连接到Master，向Master注册并申请资源（CPUCore和Memory
我很ruo·2024-01-14 10:56

pyspark

pysparkversion输出spark的版本print("pysparkversion"+str(sc.version))mapsc=sparkcontext,parallelizecreatesanRDDfromthepassedobjectx
Tim在路上·2024-01-14 10:43

计算机毕业设计吊炸天spark+hive+nlp慕课在线教育课程数据分析可视化大屏 知识图谱课程推荐系统 课程爬虫 文本分类 LSTM情感分析 大数据毕业设计

将.csv上传到hdfs中，并使用hive建表后导入.csv数据；9个指标，一半使用spark/scala去做实时计算分析。一半使用hive_sql进行分层离线处
计算机毕业设计大神·2024-01-14 09:48

使用 spark-submit 部署应用、自定义分区器、checkpoint、共享变量

文章目录spark-submit部署应用附加的参数：spark-env.sh具体的属性配置信息配置资源分配参数调优案例分析自定义分区器检查点checkpointSpark共享变量spark-submit
Geek白先生·2024-01-14 09:31

spark--累加器-★★★

累加器现象比较难理解,但是代码很简单packagecn.hanjiaxiaozhi.coreimportorg.apache.spark.rdd.RDDimportorg.apache.spark.util.LongAccumulatorimportorg.apache.spark
韩家小志·2024-01-14 09:01
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他