Spark调优

在浏览器中使用js-spark-md5计算文件的MD5

在浏览器中使用js-spark-md5计算文件的MD5最近开发一个视频系统，用户需要把文件上传到服务器。服务器再上传到转码服务器，编码为m3u8格式。我觉得客户端可以直接上传到转码服务器。
JonathanYee·2024-01-12 14:29

性能分析与调优: Linux 网络性能 观测工具

目录一、实验1.环境2.ss3.ip4.ifconfig5.nstat6.netstat7.sar8.nicstat9.ethtool10.tcplife11.tcptop12.tcpretrans13.bpftrace14.tcpdump15.Wireshark二、问题1.nicstat如何安装和使用2.Wireshark如何安装使用一、实验1.环境（1）主机表1-1主机主机架构组件IP备注pr
cronaldo91·2024-01-12 13:11

2023 年全国职业院校技能大赛（高职组） “云计算应用”赛项赛卷 B部分解析

】1.1.1基础环境配置[0.2分]【题目2】1.1.2Yum源配置[0.2分]【题目3】1.1.3配置无秘钥ssh[0.2分]【题目4】1.1.4基础安装[0.2分]【题目5】1.1.5数据库安装与调优
落寞的魚丶·2024-01-12 12:33

AI系统ChatGPT网站系统源码AI绘画详细搭建部署教程，支持GPT语音对话+DALL-E3文生图+GPT-4多模态模型识图理解

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-12 12:39

你还在“垃圾”调优？快来看看JDK17的ZGC如何解放双手 | 京东云技术团队

1、前言不要犹豫了，GC最大停顿时间小于1ms，支持16TB内存，这么高的性能提升，也不需要复杂的调优，节省了这个时间，你去陪对象不香嘛。
京东云技术团队·2024-01-12 12:29

JDK8升级到JDK17的配置

或者是否觉得JVM调优十分复杂？那么，今天咱们或许可以通过JDK17获取到一些灵感。本文主要记录当前我们公司在推动所有JDK8微服务全量升级到JDK17过程中遇到的一些问题！
only°夏至besos·2024-01-12 11:03

【spark】spark启动报错“spark RpcEnv already stopped“

原因：write时候没添加awaitTermination()造成rpcEnv提前结束了。fakeDf.writeStream.format("console").outputMode("append").trigger(Trigger.Continuous("3second")).start().awaitTermination()
lisacumt·2024-01-12 09:09

【scala】编译build报错 “xxx is not an enclosing class“

private[sources]valcreationTimeMs:Long={valsession=SparkSession.getActiveSession.orElse(SparkSession.getDefaultSession
lisacumt·2024-01-12 09:07

为了进阿里需要做哪些准备（SpringCloud篇）

ZookeeperFeign/RibbonRibbonHystrix/SentinelSentinelConfig/NacosBus/StreamSleuth/Zipkin安全认证灰度发布多版本隔离各组件调优八
程序员应该如何思维·2024-01-12 09:18

Spark避坑系列（三）（Spark Core-RDD 依赖关系&持久化&共享变量）

大家想了解更多大数据相关内容请移驾我的课堂：大数据相关课程剖析及实践企业级大数据数据架构规划设计大厂架构师知识梳理：剖析及实践数据建模PySpark入坑系列第三篇，该篇章主要介绍spark的编程核心RDD
garagong·2024-01-12 09:13

阿里Java性能优化实战手册：上线一小时，下载量破10W

第1章Java性能调优概述性能优化的一般步骤以及木桶原理与性能瓶颈第2章设计优化第3章Java程
技术琐事·2024-01-12 09:34

分布式系统架构设计之分布式消息队列的水平扩展性、安全可用性以及监控与调优

一、分布式消息队列的水平扩展随着业务的快速发展和数据的不断增长，单一的消息队列服务器往往难以满足高并发、高可用和高吞吐量的需求，因此，如何实现消息队列的水平扩展成为了一个重要的问题。这部分我将从分区、副本、负载均衡等关键概念出发，一起探讨如何实现分布式消息队列的水平扩展。1、分区（Partitioning）分区是实现消息队列水平扩展的关键技术致以，它将消息队列划分为多个逻辑分区，每个分区可以独立处
灸哥漫谈·2024-01-12 08:04

Hive命令调优大全

–explain语法查询**–explain解析执行计划–以下优化为hive层面优化,常开****–读取零拷贝sethive.exec.orc.zerocopy=true;–默认false–关联优化器sethive.optimize.correlation=true;–默认false–fetch本地抓取sethive.fetch.task.conversion=minimal;–新版本默认more
祈愿lucky·2024-01-12 08:28

Spark - 直接操作数据源 MySQL

答案就是使用spark的计算能力的，我们可以将mysql数据源接入到spark中。
kikiki2·2024-01-12 07:49

mongodb调优那些事（二）-索引

第一次使用mongo开发系统，最近遇到了性能问题，发现索引建的不好，该集合是用来存储采集的信息，字段包括发布日期publishDate(int型)、分值blendedScore(int型)、发布时间publishTime(date型)、相似数量similarNum(int型)、是否垃圾isRubbish(int型)以及信息自身的一些字段（不涉及查询及排序在此不再罗列），数量大概有千万级。业务描述：
爪洼岛老土著·2024-01-12 07:06

Spark指令参数，RDD--学习笔记

1，Spark的指令参数参数对spark所有指令都有效Spark指令参数#表示引用运行的模式，要么是本地local要么是集群（Standalone、YARN、Mesos）了--masterMASTER_URL
祈愿lucky·2024-01-12 07:05

Spark基础

Spark基础建库一定要指定字符集，错了好多次了pip卸载某个模块pipuninstallpandas--下载其它的改掉pandas即可pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn
中长跑路上crush·2024-01-12 07:33

Spark on Hive及 Spark SQL的运行机制

SparkonHive集成原理HiveServer2的主要作用:接收SQL语句，进行语法检查；解析SQL语句；优化；将SQL转变成MapReduce程序，提交到Yarn集群上运行SparkSQL与Hive
小希 fighting·2024-01-12 07:56

Spark SQL基础

SparkSQL基本介绍什么是SparkSQLSparkSQL是Spark多种组件中其中一个,主要是用于处理大规模的结构化数据什么是结构化数据:一份数据,每一行都有固定的列,每一列的类型都是一致的我们将这样的数据称为结构化的数据例如
小希 fighting·2024-01-12 07:55

Tomcat调优Service

本文皆为tomcat配置文件server.xm中Service模块配置优化1.HTTP/1.1协议的协议处理器选择tomcat启动的时候，可以通过日志看到Connector使用的是哪一种协议处理器1.1.Http11AprProtocol（推荐）基于ApachePortableRuntime（APR）库实现的协议处理器；使用基于epoll或kqueue的I/O模型，支持非阻塞I/O和事件驱动模型，
梦诺·2024-01-12 07:24

MongoDB 性能调优

一、explain执行计划MongoDB提供了一个explain命令让我们获知系统如何处理查询请求。利用explain命令，我们可以很好地观察系统如何使用索引来加快检索，同时可以针对性优化索引。>db.t5.ensureIndex({name:1})>db.t5.ensureIndex({age:1})>db.t5.find({age:{$gt:45}},{name:1}).explain(){"
wespten·2024-01-12 07:24

MongoDB调优的几个要点

前提不考虑shard(使用场景受限,运维成本比较高)mongo实例的库规模超过百g,单个collection超过千万未达到这个规模的集群,性能不会太差,维护的手段可以选择使用,降低维护成本使用层面生产环境应默认开启journallogwritereference使用JOURNAL_SAFE(更严格的模式依次为1主机成功;2多数成功;3fs.sync)readreference使用secondary
iteye_18601·2024-01-12 07:51

Spark六：Spark 底层执行原理SparkContext、DAG、TaskScheduler

Spark底层执行原理学习Spark运行流程学习链接：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ一、Spark运行流程流程：SparkContext
eight_Jessen·2024-01-12 07:19

Spark九：Spark调优之Shuffle调优

Sparkshuffle调优方法map端和reduce端缓存大小设置，reduce端重试次数和等待时间间隔，以及bypass设置学习资料：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ
eight_Jessen·2024-01-12 07:19

pyspark 使用udf 进行预测，发现只起了一个计算节点

PySparkUDF只使用一个计算节点的问题原因分析默认的并行度设置PySpark在执行UDF（用户定义函数）时，默认可能不会利用所有可用的计算节点。
samoyan·2024-01-12 07:18

Spark: 检查数据倾斜的方法以及解决方法总结

1.使用SparkUISparkUI提供了一个可视化的方式来监控和调试Spark作业。你可以通过检查各个Stage的任务执行时间和数据大小来判断是否存在数据倾斜。
samoyan·2024-01-12 07:18

MongoDB调优

三大导致MongoDB性能不佳的原因1）慢查询2）阻塞等待3）硬件资源不足1,2通常是因为模型/索引设计不佳导致的。排查思路：按1-2-3依次排查。影响MongoDB性能的因素MongoDB性能监控工具FreeMonitoring从版本4.0开始，MongoDB为独立实例和复制集提供免费的云监控。免费监控提供有关部署的信息，包括:操作执行次数内存使用情况CPU使用率操作数#启用监控db.enabl
Firechou·2024-01-12 07:45

Spark SQL进阶

DataFrame详解清洗相关API去重API删除空缺值的API替换缺失值的APIfrompysparkimportSparkConf,SparkContextimportosfrompyspark.sqlimportSparkSession
小希 fighting·2024-01-12 07:44

Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive

说明Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/我最终选择Zookeeper3.7.1
nsa65223·2024-01-12 06:08

jvm参数调优

文章目录一、调优步骤二、调优参数一、调优步骤所谓调优，首先确定追求什么，吞吐量优先还是响应时间优先。
攻城有术·2024-01-12 04:06

JVM调优入门指南：掌握步骤、参数和场景

前言  作为Java开发者，我们经常需要优化应用的性能，其中JVM调优是非常重要的一部分。
JavaWizard-M·2024-01-12 04:36

Structured Streaming 官方例子

packageohmysummerimportjava.sql.Timestampimportorg.apache.spark.sql.SparkSessionimportorg.apache.spark.sql.streaming
焉知非鱼·2024-01-12 02:08

性能分析与调优: Linux 磁盘I/O 观测工具

目录一、实验1.环境2.iostat3.sar4.pidstat5.perf6.biolatency7.biosnoop8.iotop、biotop9.blktrace10.bpftrace11.smartctl二、问题1.如何查看PSI数据2.iotop如何安装3.smartctl如何使用一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、
cronaldo91·2024-01-12 00:14

Spark完全分布式集群搭建

环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的)spark
小猪Harry·2024-01-12 00:41

【重点问题回顾】攻击面发现揭秘直播

一、云图极速版细节沟通1.云图极速版中的极速体现在哪使用调优过的攻击面发现策略，无需用户配置攻击面发现策略，开箱即用仅需录入目标企业名称，即可开始攻击面发现，无需配置其他参数通过社交平台推送告警详情，第一时间知晓风险信息扫描资源动态分配
知白y·2024-01-11 20:39

xmind使用

xmind软件下载]（http://www.onlinedown.net/soft/56160.htm）2.新建，快捷键：①:TAB键：新建子文件夹tab键②:ENTER键：新建并列文件夹enter键3.美化调优
超级黄牌·2024-01-11 19:55

mysql索引失效场景总结

前言mysql的调优方面包括表结构优化、索引优化、sql语句优化、分表分库优化等多个维度，本篇重点总结的是索引失效的场景和原因。
Ariel小葵·2024-01-11 18:34

pyspark config设置、增加配置、限制_success文件生成；spark-submit 集群提交参数

1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.hadoop.hive.exec.dynamic.partition
loong_XL·2024-01-11 18:00

66、python - 代码仓库介绍

我们这个小课的代码实战仓库链接为：cv_learning_from_scratch:课程[CV视觉从算法到调优]代码，里面的代码都是可以下载完成后直接运行的。如果你感兴趣，可以修改里面
董董灿是个攻城狮·2024-01-11 16:34

《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-11 16:21

Redis：原理速成+项目实战——Redis实战8（基于Redis的分布式锁及优化）

正在努力准备大四暑假的实习上期文章：Redis：原理速成+项目实战——Redis实战7（优惠券秒杀+细节解决超卖、一人一单问题）订阅专栏：Redis：原理速成+项目实战希望文章对你们有所帮助上一篇文章已经通过代码的调优
布布要成为最负责的男人·2024-01-11 11:15

AI绘画Midjourney绘画提示词Prompt大全，各种风格大全

一、Midjourney绘画工具SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-11 10:48

Elasticsearch调优

系统参数修改系统最大打开文件描述符数vi/etc/security/limits.conf，增加配置，用户退出后重新登录生效*softnofile65535*hardnofile65535修改用户可以打开的最大线程数vi/etc/security/limits.conf，增加配置，用户退出后重新登录生效*softnproc4096*hardnproc4096单个jvm能开启的最大线程数vi/etc
Okami_·2024-01-11 08:20

Spark---RDD序列化

文章目录1什么是序列化2.RDD中的闭包检查3.Kryo序列化框架1什么是序列化序列化是指将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。2.RDD中的闭包检查从计算的角度,算子以外的代码都是在Driver端执行，算子里面的代码都是在Executor端执行。那么在scala的
肥大毛·2024-01-11 07:33

Spark---行动算子RDD

1.1reduce1.2collect1.3first1.4count1.5take1.6takeOrdered1.7aggregate1.8fold1.9countByKey1.10countByValue1.11save相关算子1.12foreach1.行动算子Spark
肥大毛·2024-01-11 07:03

spark相关

提示：以下是本篇文章正文内容，下面案例可供参考一、算子1.1sample在调用spark的samp
晴山ぺ·2024-01-11 07:29

Spark SQL基础

一.Pandas简介1、基本介绍Pandas是Python的一个第三方包，也是商业和工程领域最流行的结构化数据工具集，用于数据清洗、处理以及分析Pandas和SparkSQL中很多功能都类似，甚至使用方法都是相同的
MSJ3917·2024-01-11 07:29

Spark八：Spark性能优化

Spark性能调优Spark调优的方法，包括RDD使用、文件读取，partition学习资料：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ一、Spark
eight_Jessen·2024-01-11 07:29

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Python 与 PySpark数据分析实战指南：解锁数据洞见

Python和PySpark作为强大的工具，提供了丰富的库和功能，使得数据分析变得更加高效和灵活。
海拥✘·2024-01-11 07:58
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他