spark调优

Spark导出

3Spark导出在使用Spark之前，先将编译好的classes导出为jar比较好，可以$sbt/sbtassembly将Spark及其依赖包导出为jar，放在core/target/spark-core-assembly
a2261504394·2023-11-26 09:59

Spark多文件输出的两种形式

#所需环境版本jdk=1.8scala.version=2.11.0spark.version=2.3.2hadoop.verison=2.7.2importorg.apache.hadoop.io.
一只咸鱼va·2023-11-26 09:58

使用Spark进行结构化流处理并将结果输出到终端或指定位置

使用Spark进行结构化流处理并将结果输出到终端或指定位置Spark是一个强大的大数据处理框架，提供了许多功能强大的组件，其中包括StructuredStreaming，它是Spark的流处理引擎。
心之所向，或千或百·2023-11-26 09:24

Hadoop+Hive+Spark+Hbase开发环境练习

app/data/exam查看csv文件行数[root@kb129~]#hdfsdfs-cat/app/data/exam/meituan_waimai_meishi.csv|wc-l2.分别使用RDD和SparkSQL
不吃香菜lw·2023-11-26 07:48

SpringBoot 是如何通过jar包启动的

只有了解了底层实现原理，才能更好的掌握该项技术带来的好处以及性能调优。本篇文章带大家聊一探究竟。java-jar做了什么先要弄清楚java-jar命令做了什
「已注销」·2023-11-26 05:50

带你感受一次JVM调优实战

理论篇1.1调优目标JVM调优的两大目标是：提高应用程序的性能和吞吐量：通过优化JVM的垃圾回收机制、调整线程池大小和优化代码，可以提高应用程序的性能和吞吐量。
编程芝士·2023-11-26 05:07

Java之jvm调优

JVM调优思路、订单秒杀jvm调优案例:https://blog.csdn.net/qq_45076180/article/details/108441940.JVM性能调优链接:https://blog.csdn.net
jsxllht·2023-11-26 05:36

JVM性能调优实战

JVM调优调什么JVM调优是一个系统而又复杂的过程，但我们知道，在大多数情况下，我们基本不用去调整JVM内存分配，因为一些初始化的参数已经可以保证应用服务正常稳定地工作了。
汪了个王·2023-11-26 05:06

【Java虚拟机】JVM调优和分析案例综合实战

jvm调优主要是针对他们进行调整优化，达到一个理想的目标，根据业务确定目标是吞吐量优先还是响应时间优先。吞吐量：用户代码执行时间/(用户代码执行时间+GC执行时间)。
互联网小阿祥·2023-11-26 05:06

JVM调优实战

一、JVM调优实战前言JVM是Java应用程序的运行环境，JVM调优是优化Java应用程序性能的重要手段。
雪人奥特曼·2023-11-26 04:36

java虚拟机教程图解_jvm优化视频教程java虚拟机jvm性能调优原理实战

一、jvm调优与优化方法指导思路在学会如何进行调优JVM之前一定要了解和监控JVM的运行机制，比如我们常用的一些JVM监控工具可以帮助我们查看其运行和工作状态，因为调优是一个持久长时间要做的事情，我们要长时间的监控
weixin_39867708·2023-11-26 04:05

JVM调优大全及实战总结

性能调优的程序性能调优的标准：性能调优的工具：监控工具：分析工具：JVM自带工具GC基础GC日志GC调优HotSpotVM的Heap布局对象在不同代的移动虚拟机调优总体设置原则：内存泄漏JVM类型JavaVirtualMachine
m0_67401606·2023-11-26 04:30

Java虚拟机JVM性能调优实战

16年的时候花了一些时间整理了一些关于jvm的介绍文章,到现在回顾起来还是一些还没有补充全面，其中就包括如何利用工具来监控调优前后的性能变化。
braverex·2023-11-26 04:00

Java虚拟机（JVM）的调优技巧和实战

然而，JVM的默认设置并不总是适合所有应用程序，因此需要根据应用程序的需求进行调优。通过对JVM进行调优，可以大大提高Java应用程序的性能和可靠性。
wondream322·2023-11-26 04:29

面试题：工作中做过 JVM 调优吗？怎么做的？

文章目录前言cpu占用过高死锁内存泄漏上面只是其中一种处理方法总结前言最近很多小伙伴跟我说，自己学了不少JVM的调优知识，但是在实际工作中却不知道何时对JVM进行调优。
xuxu1116·2023-11-26 04:57

滑动窗口rolling详解

文章目录引言PandasDataFrame参数详解PySparkDataframe基本程序参数详解参考文献引言为了提升数据的准确性，将某个点的取值扩大到包含这个点的一段区间，用区间来进行判断，这个区间就是窗口
安替-AnTi·2023-11-26 03:37

Spark Streaming + Kafka Integration Guide 位置策略和消费策略

新的Kafka消费者API可以预获取消息缓存到缓冲区，因此Spark整合Kafka让消费者在executor上进行缓存对性能是非常有助的，可以调度消费者所在主机位置的分区。
七_seven·2023-11-26 02:55

PostgreSQL技术大讲堂 - 第34讲：调优工具pgBagder部署

第34讲：调优工具pgBagder部署第34讲：11月18日(周六)19:30-20:30，往期文档及视频，联系CUUG内容1:日志分析器pgBadger简介内容2:pgBad
m0_65303136·2023-11-26 02:53

一次线上 JVM 调优实践，FullGC 40 次/天到 10 天一次的优化过程

/article/details/81057966通过这一个多月的努力，将FullGC从40次/天优化到近10天才触发一次，而且YoungGC的时间也减少了一半以上，这么大的优化，有必要记录一下中间的调优过程
公众号:方志朋·2023-11-26 01:52

【JVM】一篇通关JVM内存管理

5-3.本地方法栈5-4.堆堆内存溢出堆内存诊断5-5.方法区方法区内存溢出运行时常量池★面试题StringTableStringTable位置StringTable垃圾回收StringTable性能调优
熊猫吃玉米·2023-11-26 01:20

【JVM】一篇通关JVM垃圾回收

1.引用计数法1-2.可达性分析算法1-3.四种引用强引用软引用弱引用虚引用终结器引用2.垃圾回收算法2-1.标记清除2-2.标记整理2-3.复制2-4.总结3.分代垃圾回收4.垃圾回收器5.垃圾回收调优
熊猫吃玉米·2023-11-26 01:47

使用spark读取SQLserver数据

com.microsoft.sqlserversqljdbc44.0关于依赖参考链接https://www.cnblogs.com/benfly/p/12671965.htmlimportorg.apache.spark.sql.SparkSessionobjectSqlServerR
都教授2000·2023-11-25 22:22

日志关键信息处理

spark任务异常失败后，需要重启任务任务需要一个时间参数dhdh是动态的向后流动的因此每次重启的任务这个参数都是不同的如何知道上次失败的时候dh执行到了何处需要借助任务执行日志来确定思路：从日志文件中根据关键词
都教授2000·2023-11-25 22:46

Day68 Kafka 快速实战 核心原理

Storm/Spark流式处理引擎web/nginx，访问日志消息服务开放统一接口给consumerhadoop,hbase等.装载到hadoop,数仓etl做离线分析和数据挖掘.ScreenShot2022
小周爱吃瓜·2023-11-25 21:31

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2023-11-25 19:37

基于centos7的hadoop2.7、zookeeper3.5、hbase1.3、spark2.3、scala2.11、kafka2.11、hive3.1、flume1.8、sqoop1.4组件部署

部署前准备修改主机名1、修改主机名（6台机器都要操作,以Master为举例）hostnamectlset-hostnameMaster（永久修改主机名）reboot（重启系统）修改hosts将第一行127.0.0.1xxxx注释掉，加上：195.168.2.127master195.168.2.128slave1195.168.2.129slave2确认网卡信息vi/etc/sysconfig/n
luoz_python·2023-11-25 19:42

Scala深海奇遇记-当case class遇到了Spark的聚集函数

自从知道有caseclass这个东西以后，一直都比较常用这个东西。但是，最近在测试的时候，突然发现，其实这个东西并不简单，它导致了一个看起来很无厘头的错误，并且花了我两天的时间来调试。在这篇文章里，我会详细记录调试的过程，以及结论。致谢在调试的过程中，得到了我们Hadoop组老大，项目组老大，以及其他同事的深度支持与帮助，非常感谢他们。结论先说结论。如果有朋友不感兴趣，不想深究原理，只是想知道怎么
AlstonWilliams·2023-11-25 18:58

揭秘：如何精准定位性能瓶颈，优化系统性能？

对于一般公司普通测试工程师来说，可能性能测试做的并不是很复杂，可能只是编写下脚本，做个压测，然后输出报告结果，瓶颈分析和调优的事都丢给开发去做。
自动化测试老司机·2023-11-25 18:19

在dss中运行scala任务报java.lang.NullPointerException: null

版本信息：dss:1.1.1linkis1.1.1hadoop:3.1.3hive:3.1.2spark:3.0.0修改文件：SparkScalaExecutor.scala修改文件内容如下：上图红色标记内容
heheha_zj·2023-11-25 18:18

Kafka系列 - Kafka一篇入门

很多分布式处理系统，例如Spark，Flink等都支持与Kafka集成。Kafka使用场景消息系统：Kafka实现了消息顺序性保证和回溯消费。
胡桃姓胡，蝴蝶也姓胡·2023-11-25 17:01

Redis运维精讲之集群安装篇

本系列主要从运维人员角度出发，从安装，集群架构，调优等方面，全面讲解Redis的各种疑难问题及处理方法。字字皆辛苦，且看且珍惜！
fenglei2020·2023-11-25 17:18

广告倒排索引架构与优化

我们的倒排索引采用的是ElasticSearch（后面简称ES），考虑点是社区活跃，相关采集、可视化、监控以及报警等组件比较完善，同时ES基于java开发，所以调优和二次开发相对方便先看下我们的倒排索引的架构图
每天晒白牙666·2023-11-25 16:31

个人整理, 阅读过的干货文章 (每天随时更新)

程序员进阶学习书籍参考指南教你在不使用框架的情况下也能写出现代化PHP代码巧用PHP数组函数PHP框架中间件实现没错，这就是面向对象编程（设计模式）需要遵循的6个基本原则令人困惑的strtotime在PHP中使用协程实现多任务调度垃圾回收机制PHP-FPM调优
weixin_47418778·2023-11-25 15:33

阿里巴巴Java性能调优实战：几款常用的性能测试工具

熟练掌握一款性能测试工具，是我们必备的一项技能。他不仅可以帮助我们模拟测试场景（包括并发、复杂的组合场景），还能将测试结果转化成数据或图形，帮助我们更直观地了解系统性能。常用的性能测试工具常用的性能测试工具有很多，在这里我将列举几个比较实用的。对于开发人员来说，首选是一些开源免费的性能（压力）测试软件，例如ab（ApacheBench）、JMeter等；对于专业的测试团队来说，付费版的LoadRu
Charles__LUO·2023-11-25 14:11

HBase探索篇 _ OpenJdk15编译并部署CDH版HBase

javax.annotation不存在3.4maven-shade-plugin升级版本3.5程序包javax.xml.ws.http不存在3.6SomeEnforcerruleshavefailed.3.7hbase-spark
大猿小猿向前冲·2023-11-25 14:20

Hadoop发行版 Cloudera CDH 6.3.2及CM 安装包下载（阿里云盘 不限速）

全称Cloudera’sDistribution,includingApacheHadoop）是由Cloudera公司构建的Hadoop稳定发行版，不仅含有ApacheHadoop，还整合了Hive、Spark
风情客家__·2023-11-25 14:11

一次FULL GC问题的排查

之后同事虽然尝试过JVM调优并适当调大了老年代空间，但依然不能根本上解决问题。当时该问题被初步归咎于系统中整合的Groovy，但并未证实。
weixin_33737774·2023-11-25 13:52

告别百度网盘，搭建自己的专属网盘 ——Cloudreve，不限制下载速度！

支持多家云存储驱动的公有云文件系统.演示站•讨论社区•文档•下载•Telegram群组•许可证:sparkles:特性:cloud:支持本机、从机、七牛、阿里云OSS、腾讯云COS、又拍云、OneDrive
顺哥博客·2023-11-25 13:51

Spark项目报错。SLF4J: Class path contains multiple SLF4J bindings.

此问题出现是因为有依赖包冲突，解决方案是将org/apache/logging/log4j/log4j-slf4j-impl/2.4.1依赖包删除。在本地Maven仓库找到相应的目录，删除，重新运行项目就可以了。1、删除包2、正常运行
Enjoy404·2023-11-25 11:05

mysql 性能参数调优详解

1优化连接池连接池运行机制MySQL连接器中的连接池，用以提高数据库密集型应用程序的性能和可扩展性，默认启用。MySQL连接器负责管理连接池中的多个连接，自动创建、打开、关闭和破坏连接，多个连接的创建，可满足多客户端的频繁连接，连接的重复使用获得最佳性能。MySQL连接器每三分钟运行一次后台作业，并从池中删除闲置（未使用）超过三分钟的连接。池清理释放客户端和服务器端的资源。这是因为在客户端每个连接
懒鸟一枚·2023-11-25 11:30

go语言的性能基准测试、性能优化测试和性能调优

gotest工具Go语言中的测试依赖gotest命令gotest命令是一个按照一定约定和组织的测试代码的驱动程序。在包目录内，所有以**_test.go**为后缀名的源代码文件都是gotest测试的一部分，不会被gobuild编译到最终的可执行文件中。测试函数测试函数的格式测试函数的名字必须以Test开头，可选的后缀名必须以大写字母开头funcTestName(t*testing.T){//...
ydl1128·2023-11-25 11:50

文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《基于Fisher时段划分的配电网源网荷储多时间尺度协调优化调控策略》

这个标题涉及到电力系统领域的一些关键概念和方法。让我们逐步解读：基于Fisher时段划分："基于"表示这个策略或方法的核心基础是某个特定的理论或技术。"Fisher时段划分"可能指的是使用Fisher信息矩阵进行时间划分。Fisher信息矩阵是一种在统计学和信息论中使用的工具，用于衡量概率分布的不确定性。配电网：这指的是电力系统中的一个部分，主要负责将电力从输电网引入各个用户和终端设备。源网荷储：
电网论文源程序·2023-11-25 10:39

spark Sql， dataframe, Dataset 和 Streaming编程指南

四：sparkSql，dataframe,Dataset4.1:SparkSQL的用法之一是执行SQL查询,它也可以从现有的Hive中读取数据SparkSession:Spark中所有功能的入口是SparkSession
醉舞经阁半卷书A·2023-11-25 10:57

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2023-11-25 09:13

6 Elasticsearch 优化

本文从性能和稳定性两方面，从linux参数调优、ES节点配置和ES使用技巧三个角度入手，介绍ES调优的基本方案。当我们发现es使用还是非常慢，需要优先关注在以下这两类的运行情况。
静艺·2023-11-25 08:48

ElasticSearch索引、查询和写入性能调优

注：部分概念介绍来源于网络一、Elasticsearch部署建议1.选择合理的硬件配置尽可能使用SSDElasticsearch最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD（PCI-E接口SSD卡/SATA接口SSD盘）通常比机械硬盘（SATA盘/SAS盘）查询速度快5~10倍，写入性能提升不明显。对于文档检索类查询性能要求较高的场景，建议考虑SSD作为存储，同时按照1:10的比例
努力者Mr李·2023-11-25 08:41

ES03# Elasticsearch性能调优点梳理

引言本文主要梳理了Elasticsearch集群常见优化点，就一些主要项能够在实践中指导使用，本文主要内容有：JVM参数调优系统参数调优写性能调优点读性能调优点分片均衡优化案例一、JVM参数调优1.参数设置修改
瓜农老梁·2023-11-25 08:10

Elasticsearch集群调优

文章目录一、服务器硬件以及内存调优1、调整交换区的swap大小2、调整普通用户打开文件数以及线程数的限制3、调整ES的JVM堆内存大小二、ES的参数调优1、集群自动发现机制2、集群的主节点选举3、集群的故障检测
TUJC·2023-11-25 08:38

玩转人工智能（11）使用Pyspark上手机器学习

文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。GlusterFS是一个集群的文件系统，支持PB级的数据量。GlusterFS通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。
Moscar_M·2023-11-25 07:10

（二）大数据---Hadoop组件介绍，区别

文章目录文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台Hive,Impala,pig区别HDFS:分布式文件系统YARN:分布式资源管理MapReduce、Spark
（─__─）·2023-11-25 07:37
上一页 62 63 64 65 66 67 68 69 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他