spark性能调优

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-06 01:07

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-06 01:40

当发送“Hello，World”时，channel发生了什么？

Cassandra-nosql数据库Spark-大数据分布式计算框架Hadoop-大数据
仙草不加料·2023-12-05 22:53

Flink快速入门

大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop/storm/spark
WaiSaa·2023-12-05 21:30

Linux 的性能调优的思路

Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放，那么Linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是Linux操作系统和应用程序的最佳结合。01、性能问题综述系统的性能是指操作
测试界柠檬·2023-12-05 21:23

基于Docker搭建Spark集群

介绍在MacOS下使用Docker搭建Spark集群，进行学习。
_吹灭读书灯_·2023-12-05 19:39

Spark中cache和persist区别

cache和persist的区别基于Spark1.4.1的源码，可以看到/**PersistthisRDDwiththedefaultstoragelevel(`MEMORY_ONLY`).
西二旗老司机·2023-12-05 18:51

Spark-03: Spark SQL 基础编程

目录1.SparkSQL简介2.SparkSession3.SparkSQL数据的读写3.1读写TXT文件3.2读写CSV文件3.3读写JSON文件3.4读写Parquet文件3.5读写ORC文件3.6
m0_37559973·2023-12-05 18:17

Spark的五种JOIN策略

JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。
大数据学习·2023-12-05 16:25

spark mllib和spark ml机器学习基础知识

spark机器学习SparkMLib完整基础入门教程-y-z-f-博客园(cnblogs.com)参考spark机器学习简介机械学习是一门人工智能的科学，用于研究人工智能，强调算法，经验，性能开发者任务
厨 神·2023-12-05 16:50

黑马一站制造数仓实战1

1.项目目标一站制造企业中项目开发的落地：代码开发代码开发：SQL【DSL+SQL】SparkCoreSparkSQL数仓的一些实际应用：分层体系、建模实现2.内容目标项目业务介绍：背景、需求项目技术架构
ZhaoXiangmoStu·2023-12-05 15:20

PHP程序员2020学习方向：高并发、性能调优、分布式、微服务...

以下都是阿里大牛推荐的主流技术，当你全部掌握上述的这些技术相信你至少也是阿里P6级以上了，而且你也已经形成了自己的体系，当更加新潮的技术出来时那么你自己稍微花点时间就能吃透，毕竟那时候你已经不是以前的那个你了，懂底层原理，知道性能特征，以及功能，想要弄懂新的技术那么也不会太吃力。平台与图片大小限制，需获取以下PHP思维导图完整Xmind版可以私信小编【导图】获取领取方式！一、框架源码解析专题应用框
盖世英雄_7557·2023-12-05 14:26

部门来了个测试开发，听说是00后，上来一顿操作给我看呆了...

在他来之前我们公司从不不做JVM调优，之前也有朋友说，“我们公司的系统从来都没有经过性能调优，集成测试没问题后就上线了，上线后
自动化测试 老司机·2023-12-05 12:40

spark无法执行pi_如何验证spark搭建完毕

在配置yarn环境下的spark时，执行尚硅谷的以下命令发现报错，找不到这个也找不到那个，尚硅谷的代码是bin/spark-submit\--classorg.apache.spark.examples.SparkPi
Guff_hys·2023-12-05 10:57

spark sql基于RBO的优化

讲解RBO之前必须对sparksql的执行计划做一个简单的介绍。
！@123·2023-12-05 10:57

【Spark基础】-- 理解 Spark shuffle

目录前言1、什么是Sparkshuffle？2、Spark的三种shuffle实现3、参考前言以前，Spark有3种不同类型的shuffle实现。每种实现方式都有他们自己的优缺点。
high2011·2023-12-05 10:24

Apache Spark

ApacheSpark是一个快速、可扩展、开源的大数据处理框架，采用内存计算，具有比HadoopMapReduce更高的性能和更好的扩展性。
m0_64180190·2023-12-05 10:24

腾讯式“游戏科技”：理解硬核技术、去游戏化和数字解决方案

在刚刚结束的“SPARK2022”腾讯游戏发布会上，腾讯结结实实地秀了一把肌肉。
谈游言戏研究所·2023-12-05 10:23

sparkc程序idea调试提示内存不足

Exceptioninthread"main"java.lang.IllegalArgumentException:Systemmemory259522560mustbeatleast471859200.Pleaseincreaseheapsizeusingthe--driver-memoryoptionorspark.driver.memoryinSparkconfiguration
超超超超子·2023-12-05 09:52

阿里P8架构师详解Java性能调优策略

一、性能测试Ⅰ.测试方法微基准性能测试可以精准定位到某个模块或者某个方法的性能问题，例如对比一个方法使用同步实现和非同步实现的性能差异宏基准性能测试宏基准性能测试是一个综合测试，需要考虑到测试环境、测试场景和测试目标测试环境：模拟线上的真实环境测试场景：在测试某个接口时，是否有其他业务的接口也在平行运行，进而造成干扰测试目标可以通过吞吐量和响应时间来衡量系统是否达标，如果不达标，就需要进行优化如果
Java_苏先生·2023-12-05 06:30

SparkSQL中RDD和DF之间相互转换

packagecom.huc.sparkSqlimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.
huchao7·2023-12-05 06:55

AI创作ChatGPT网站系统源码保姆级搭建部署教程+支持GPT-4图片对话能力

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-05 05:46

ai绘画Midjourney绘画提示词Prompt教程

一、Midjourney绘画工具SparkAi【无需魔法使用】：SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT？
白云如幻·2023-12-05 05:07

Flink-Flink及主流流框架比较

是不是听起来很像spark？没错，两者都希望提供一个统一功能的计算平台给用户。虽然目标非常类似，但是flink在实现上和spark存在着很大的区别，flink是一个面向
lisery_nj·2023-12-05 05:19

jmeter压测websocke指南，接入arms分析，以及mysql，jvm，tomcat性能调优

文章目录注意，受到本地主机的带宽，cpu核心数，磁盘空间影响，建议服务器压测配置线程数设置http请求设置请求头信息设置断言察看结果树每个线程300ms后执行配置计数器变量引用汇总报告压测结果设置常数吞吐量定时器java.net.BindException:Addressalreadyinuse:connectmysqlsleep线程数过多配置websocketwebsocket连接直接断开ARM
Nuan_Feng·2023-12-05 03:21

大数据开发：Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下，Hive作为Hadoop生态当中的数仓组件工具，在于Spark生态的配合当中，开始有了HiveonSpark的思路，那么具体是怎么实现的呢？
成都加米谷大数据·2023-12-05 01:44

从 MapReduce 的运行机制看它为什么比 Spark 慢

在Hadoop1中，MapReduce计算框架即负责集群资源的调度，还负责MapReduce程序的运行。一，MapReduce组成MapReduce的运行过程有三个关键进程：1，大数据应用进程。这是用户启动的MapReduce程序进程，主要是指定Map和Reduce类、输入输出文件路径等，并提交作业给Hadoop集群的JobTracker进程。2，JobTracker进程。这是Hadoop集群的常
stone_zhu·2023-12-05 00:36

Spark读写Oracle性能深度调优

Spark作为一个分布式计算框架，可以很好的适用于Hadoop。那么Spark是否可以与关系型数据库较好的进行兼容呢？以Spark作为计算，以关系型数据库（例如Oracle）作为存储？  
weixin_43370502·2023-12-04 21:16

如何理解SparkSQL中的partitionColumn, lowerBound, upperBound, numPartitions

如何理解SparkSQL中的partitionColumn,lowerBound,upperBound,numPartitions在SparkSQL中，读取数据的时候可以分块读取。
肿么肥四啊哈·2023-12-04 20:43

大数据的技术栈-逐步完善

分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris数据库3.混合处理框架SPARKa.Sparkb
刘文钊1·2023-12-04 20:12

Spark - 输出parqute文件

pom.xml4.0.0org.springframework.bootspring-boot-starter-parent2.2.5.RELEASEcom.spspark0.0.1-SNAPSHOTsparkspark1.8
是个吃不饱的人·2023-12-04 20:39

hive sql&spark 优化

在数据抽取中常用到从其他数据库抽取数据后数据灌入到hive数据库的情况。大体逻辑是，连接源数据库，抽取数据，缓存转换，数据插入到hive数据库（或者直接覆盖db文件）。中间源数据库的效率和代码质量、抽取数据的服务器资源、数据转换的效率、hive数据的插入sql效率等都是限制数据抽取效率的瓶颈，如何在保证系统稳定的情况下，效的优化各阶段的运行速度，从而整体提高数据抽取的效率，是一个比较大的课题。从三
刘文钊1·2023-12-04 20:08

深入理解JVM内存空间的担保策略

Java虚拟机（JVM）的内存管理是Java性能调优中最重要的方面之一，特别是在处理大型应用和服务时。JVM内存管理的一个关键组成部分是垃圾回收（GC）。
一个搬砖的农民工·2023-12-04 19:32

spark源码之shuffleManager

shufflemanager的实现类：sortshufflemanagerSpark0.8及以前HashBasedShuffle在ShuffleWrite过程按照Hash的方式重组Partition的数据
cclucc·2023-12-04 18:01

【译】如何在调试时分析CPU和内存（Analyze CPU and Memory while Debugging）

但是，内存和性能调优经常会遇到“重要但不紧急”的任务，因为真正紧急的事情，您似乎根本无法完成。所以为什么不把这个任务离你更近一点呢?
Rubint0x·2023-12-04 17:36

Spark

SparkListenerEventprotectedoverridedefdoPostEvent(listener:SparkListenerInterface,event:SparkListenerEvent
zhixingheyi_tian·2023-12-04 16:00

JVM性能调优竟然出了教程！爱了！

JVM,即“Java虚拟机”，有点类似于“操作系统”，上面跑着Java程序。其实我们在平常的工作中，并不会直接接触到JVM，但是经常会遇到与之相关的问题：一段代码有问题，执行效率低，但就是无法找到深层次原因。线上系统CPU疯狂运转,GC时间飙升，产生卡顿，严重影响服务响应时间；正在运行的Java程序，突然就OOM（内存溢出）了；要做性能优化时面对一堆JVM的参数无从下手…仔细想想在工作中，面对JV
Java团长在csdn·2023-12-04 13:19

面试题-JVM性能调优

目录前言JVM性能调优内存溢出错误堆溢出错误和预判堆溢出的错误虚拟机栈和本地方法栈溢出错误方法区（元数据区）和运行时常量池溢出直接内存区域的溢出实践案例如何正确利用大内存-高性能硬件上的程序部署策略如何排查内存溢出错误如何排查系统
java领域·2023-12-04 13:16

JVM性能调优理论与实践

内存模型方法区，堆是所有线程共有。栈，本地计数器是线程私有。方法区保存class文件加载后的类信息，常量池数据等1.8后叫metaspace会OOM，如动态加载类文件时:java.lang.OutOfMemoryError:PermGenspace堆最大的内存区域，所有线程共享，保存对象和数组。所有对象都存在堆中吗？永久代并不属于堆内存中的一部分，jdk1.8之后永久代。会OOM:java.lan
changtianshuiyue·2023-12-04 13:12

2023最新AI创作系统ChatGPT网站源码+Midjourney绘画+支持GPT-4-Turbo模型+即将支持TSS语音对话功能模块

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-04 13:10

大数据分析与应用实验任务十

大数据分析与应用实验任务十实验目的：通过实验掌握sparkSQL的基本编程方法；熟悉RDD到DataFrame的转化方法；通过实验熟悉sparkSQL管理不同数据源的方法。
陈希瑞·2023-12-04 12:00

spark的reduceByKey

在进行Spark开发算法时，最有用的一个函数就是reduceByKey。
zxfBdd·2023-12-04 06:24

Spark Streaming反压机制介绍

1.反压机制原理SparkStreaming中的反压机制是Spark1.5.0推出的新特性，可以根据处理效率动态调整摄入速率。
zxfBdd·2023-12-04 06:24

内存垃圾回收

尽管您无法直接在方法调用完成后手动释放内存，但您可以通过一些Spark实践来帮助垃圾恢复器更及时地恢复一些不再需要的对象。以下是建
北执南念·2023-12-04 05:06

window环境下 Error response from daemon: Get https://index.docker.io/v1/search?q=openjdk..... timeout

q=spark&n=25:dialtcp:lookupindex.docker.ioon192.168.65.1:53:readudp192.168.65.2:4
森森之火·2023-12-04 04:20

Hudi-集成Spark之spark-sql方式

Hudi集成Spark之spark-sql方式启动spark-sql#启动spark-sql之前需要先启动Hive的Metastorenohuphive--servicemetastore&#针对Spark3.2spark-sql
迷雾总会解·2023-12-04 02:01

flink学习之sql-client之踩坑记录

flink/bin目录下会看到这个脚本，最开始以为是和spark-shell差不多的。结果自行摸索无果，网上查的文章也写的很垃圾，自己查官网看下吧。SQL客户端|ApacheFlink直接.
cclovezbf·2023-12-04 02:00

spark-sql 指定metastore地址、读取mysql

spark-sql-hivespark-sql--databasesrc--hiveconfhive.metastore.uris=thrift://hdp02:2083-e"select*fromsrc_db2
qzWsong·2023-12-04 02:00

【Spark九十四】spark-sql工具的使用

spark-sql是Sparkbin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过hive>输入的指令可以通过spark-sql>输入的指令来完成。
axxbc123·2023-12-04 02:59

基于Spark、NoSQL的实时数据处理实践

本文基于TalkingData张学敏在公司内部KOL的分享主题《基于Spark、NoSQL实时数据处理实践》的整理，同时也在DTCC大会上做了同主题的分享。
TalkingData·2023-12-04 01:10
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他