Spark调优

字节后端实习面筋

第一次面大厂就通过，感觉非常的幸运，下面分享一下面试的一些经验一面1.做个自我介绍2.讲讲项目，讲了一个大创项目然后讲了一下读的一个开源框架，讲了一个实验室项目然后拓展到了mysql索引调优3.https
Aurora & Code Is Law·2024-01-07 17:29

13年测试老鸟，性能测试-全链路压测总结，一文打通...

测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜）前言1、什么是全链路压测基于实际的生产业务场景、系统环境，模拟海量的用户请求和数据对整个业务链进行压力测试，并持续调优的过程
网易测试开发猿·2024-01-07 16:24

38 调优kafka

操作系统调优1.禁止atime更新，减少文件系统的写操作。
ZyyIsPig·2024-01-07 14:31

Spark Web UI详解

sparkWebUI的各tab页分别进行介绍：Jobs在提交spark任务运行后，日志中会输出trackingURL即任务的日志链接。在浏览器中打开trackingURL后，默认进入Jobs页。
达微·2024-01-07 14:18

学习笔记-日志采集和实时分析简单实例

一个出口直接写到ElasticSearch，提供Kibana进行日志分析可视化处理；一个出口直接写到HDFS,提供后期离线统计分析处理；一个出口写入Kafka中，提供SparkStreaming进行近实时日志统计分析处理
人生偌只如初见·2024-01-07 13:27

linux下spark的python编辑_如何在Linux下构建Spark Python编程环境

火花编程环境Spark可以独立安装或与Hadoop一起使用.在安装Spark之前linux的python编程环境，首先请确保您的计算机上已安装Java8或更高版本.火花安装访问Spark下载页面，然后选择最新版本的
weixin_39543478·2024-01-07 13:10

linux下spark的python编辑_Linux下搭建Spark 的 Python 编程环境的方法

Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。
weixin_39752800·2024-01-07 13:10

pycharm连接linux上的编译器,PyCharm 远程连接linux中Python 运行pyspark(示例代码)

PySparkinPyCharmonaremoteserver1、确保remote端Python、spark安装正确2、remote端安装、设置vi/etc/profile添加一行：PYTHONPATH
小宏i·2024-01-07 13:10

virtualbox的下载，打开.vdi文件并启动Hadoop系统

目录一、virtualbox的下载二、新建Ubuntu系统1、确定好镜像系统的位置2、新建虚拟系统三、Hadoop系统的启动1、启动Hadoop2、启动hbase3、启动spark4、启动hive5、hadoop
汤汤upup·2024-01-07 13:08

大数据单机学习环境搭建(9)Spark单节点安装与pyspark使用

包含sparksql的完整使用案例，请务必耐心看完专题：大数据单机学习环境搭建和使用1.Spark安装2.Spark配置2.1配置环境变量2.2spark客户端3.Spark使用3.1环境准备3.2脚本说明
赫加青空·2024-01-07 13:07

Linux系统下Spark的下载与安装（pyspark运行示例）

最近需要完成数据课程的作业，因此实践了一下如何安装并配置好spark1、版本要求由于我想要将hadoop和spark一起使用，因此必须确定好spark的版本Spark和Hadoop版本对应关系如下：Spark
汤汤upup·2024-01-07 13:06

（六）Geospark SQL 加载SHP数据

GeosparkSQL加载SHP数据GeoSparkSQL默认是无法读取Shp和GeoJson格式的矢量数据的，必须要通过RDD读取，然后利用GeoSpark提供的Adapter在RDD和DataFrame
Scially·2024-01-07 11:53

论文解读：P-Tuning v2: Prompt Tuning Can BeComparable to Fine-tuning Universally Across Scales and Tasks

1介绍提示调优只使用冻结的语言模型来调优连续的提示，这大大减少了每次任务的存储和训练时的内存使用。然而，在NLU的背景下，先前的工作表明，对于正常大小的预训练模型，即时调优并不能很好地执行。
智慧医疗探索者·2024-01-07 10:35

大数据学习(31)-Spark非常用及重要特性

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦spark中引入过很多不常用的特性。但是非常重要的特性。
viperrrrrrr·2024-01-07 07:44

Spark五：Spark的两种核心Shuffle

Spark也有Map阶段和Reduce阶段，因此也会出现Shuffle。学习资料：https://mp.weixin.qq.com/s/ca
eight_Jessen·2024-01-07 07:38

Spark 运行架构

Spark框架的核心是一个计算引擎，整体来说，它采用了标准master-slave的结构。如下图所示，它展示了一个Spark执行时的基本结构。
zmx_messi·2024-01-07 07:35

梯度下降法原理小结

二、梯度下降与梯度上升三、梯度下降算法详解1.梯度下降法的直观理解2.梯度下降法的相关概念3.梯度下降的详细算法4.梯度下降的算法调优四、梯度下降法大家族1.批量梯度下降法（BatchGradientDescent
笔写落去·2024-01-07 07:25

个人笔记：分布式大数据技术原理（二）构建在 Hadoop 框架之上的 Hive 与 Impala

有了MapReduce，Tez和Spark之后，程序员发现，MapReduce的程序写起来真麻烦。他们希望简化这个过程。这就好比你有了汇编语言，虽然你几乎什么都能干了，但是你还是觉得繁琐。
garagong·2024-01-07 07:16

Spark大数据分析与实战笔记（第二章 Spark基础-05）

文章目录每日一句正能量前言2.5启动Spark-Shell2.5.1运行Spark-Shell命令2.5.2运行Spark-Shell读取HDFS文件后记每日一句正能量成长是一条必走的路路上我们伤痛在所难免
想你依然心痛·2024-01-07 06:33

MySql之查看执行计划

概述：执行计划的查看是进行数据库的sql语句调优时依据的一个重要依据，mysql的执行计划查看相对oracle简便很多，功能也相对简单很多的SQL语句都不能直接查看。
xinCode79·2024-01-07 05:42

19道ElasticSearch面试题（很全）

1.elasticsearch的一些调优手段1、设计阶段调优（1）根据业务增量需求，采取基于日期模板创建索引，通过rolloverAPI滚动索引；（2）使用别名进行索引管理；（3）每天凌晨定时对索引做force_merge
孤蓬&听雨·2024-01-07 05:10

大文件切片上传和断点续传

这里写目录标题大文件分片上传大文件切片上传过程代码断点上传过程大图片上传多文件上传图片缩略图和视频预览大文件分片上传前端知识点md5加密算法用于确保信息传输完整一致sparkmd5在散列大量数据（例如文件
tutou_girl·2024-01-07 05:05

大数据编程期末大作业

大数据编程期末大作业文章目录大数据编程期末大作业一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程一、Hadoop基础操作在HDFS中创建目录/user/
-北天-·2024-01-07 05:20

SRE第九周作业

7.JVM垃圾回收原理，JVM调优。8.tomcat实现java应用发布。9.实现tomcatsession粘性，并验
m0_65187145·2024-01-07 04:44

Spark 用代码实现求百分位数Percentile（Quentile）的方法

参考下文得到的启发https://stackoverflow.com/questions/28805602/how-to-compute-percentiles-in-apache-spark简单说明下分位数的定义
达微·2024-01-07 04:21

spark操作Redis

需求：需要通过spark对redis里面的数据进行实时读写实现方案：通过建立连接池，在每台机器上单独建立连接，进行操作1、利用lazyval的方式进行包装classRedisSink(makeJedisPool
不加班程序员·2024-01-07 03:43

八大在线项目实习 2024年第一期即将开班

机器学习）某平台广东省区采购数据分析（Excel供需分析）产品订单的数据分析与需求预测（Python营销分析）基于注意力机制的评论者满意度分析（TensorFlow与NLP）基于锅炉工况实现蒸汽产生量预测（Spark
泰迪智能科技·2024-01-07 01:14

碎碎念

我能做的就是能控制速度，转出协调优雅的圈圈。这一年真的是好多事，很多事都不以我的意愿
碎雨花·2024-01-07 01:30

《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:26

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

2024.1.6 Spark_Core 分词处理,RDD持久化,内核调度

目录一.分词处理二.RDD持久化1.使用缓存:2.RDD的checkpoint检查点:3.缓存和checkpoint的区别:三.Spark内核调度1.RDD依赖2.DAG和Stage3.shuffle阶段
白白的wj·2024-01-06 23:04

浅谈踩坑记之一个Java线程池参数，差点引起线上事故

原文链接：https://mp.weixin.qq.com/s/ZR6Ikt9Srw55xppjchPiYg一、前言最近对重构Dubbo服务线程池调优，工作线程使用CachedThreadPool线程策略
大理架构师·2024-01-06 22:13

AI绘画Midjourney绘画提示词Prompt大全

一、Midjourney绘画工具SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-06 20:17

最新AI创作系统ChatGPT源码，Midjourney绘画系统，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+思维导图+GPT-4识图理解+自定义知识库一站式解决方案

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-06 20:14

调整几行代码，接口吞吐提升 10 倍，性能调优妙啊！

景分析过程总结背景公司的一个ToB系统，因为客户使用的也不多，没啥并发要求，就一直没有经过压测。这两天来了一个“大客户”，对并发量提出了要求：核心接口与几个重点使用场景单节点吞吐量要满足最低500/s的要求。当时一想，500/s吞吐量还不简单。Tomcat按照100个线程，那就是单线程1S内处理5个请求，200ms处理一个请求即可。这个没有问题，平时接口响应时间大部分都100ms左右，还不是分分钟
LINgZone2·2024-01-06 18:05

性能分析与调优: Linux 使用 iperf3 进行TCP网络吞吐量测试

目录一、实验1.环境2.TCP网络吞吐量的微观基准测试二、问题1.iperf参数有哪些2.iperf如何二进制安装一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter192.168.204.18grafana监测GUIgrafana192.168.204.19agent监测主机node_exporter192.168
cronaldo91·2024-01-06 18:29

性能分析与调优: Linux 性能分析60秒

目录一、实验1.环境2.Linux性能分析60秒一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter192.168.204.18grafana监测GUIgrafana192.168.204.19agent监测主机node_exporter192.168.204.20（2）性能工具检查表表1-2性能工具检查表序号工具检
cronaldo91·2024-01-06 17:57

Spark(三十九)数据倾斜解决方案之使用随机key实现双重聚合

一、方案使用随机key实现双重聚合1、原理2、使用场景（1）groupByKey（2）reduceByKey比较适合使用这种方式；join，咱们通常不会这样来做，后面会讲三种，针对不同的join造成的数据倾斜的问题的解决方案。1、第一轮聚合的时候，对key进行打散，将原先一样的key，变成不一样的key，相当于是将每个key分为多组；2、先针对多个组，进行key的局部聚合；接着，再去除掉每个key
文子轩·2024-01-06 17:41

高可用分布式部署Spark、完整详细部署教程

前言Spark是UCBerkeleyAMPLab开源的通用分布式并行计算框架。
一座野山·2024-01-06 16:15

Spark Streaming与数据源连接：Kinesis、Flume等

ApacheSparkStreaming是一个强大的工具，可用于处理实时数据流。
晓之以理的喵~~·2024-01-06 16:13

Spark Streaming的容错性与高可用性

ApacheSparkStreaming是一个强大的工具，用于实时数据处理和分析，具备卓越的容错性和高可用性。
晓之以理的喵~~·2024-01-06 16:13

使用Kafka与Spark Streaming进行流数据集成

为了实现实时数据集成和分析，组合使用ApacheKafka和ApacheSparkStreaming是一种常见的做法。
晓之以理的喵~~·2024-01-06 16:43

Spark MLlib简介与机器学习流程

ApacheSparkMLlib是一个强大的机器学习库，可以在分布式大数据处理环境中进行机器学习任务。本文将深入介绍SparkMLlib的基本概念、机器学习流程以及提供详细的示例代码。
晓之以理的喵~~·2024-01-06 16:34

Spark大数据分析与实战笔记（第二章 Spark基础-04）

文章目录每日一句正能量引言章节概要2.4体验第一个Spark程序2.4.1运行Spark官方示例SparkPi总结每日一句正能量“春风十里，不如你。”
想你依然心痛·2024-01-06 15:22

Spark大数据分析与实战笔记（第二章 Spark基础-03）

文章目录每日一句正能量章节概要2.3Spark运行架构与原理2.3.1基本概念2.3.2Spark集群运行架构2.3.3Spark运行基本流程总结每日一句正能量又回到了原点，就从现在开始我的新生活吧。
想你依然心痛·2024-01-06 15:52

ChatGPT 原来是这样工作的（下）

从人类的反馈中进行强化学习ReinforcementLearningfromHumanFeedback方法总体包括三个不同的步骤：有监督的调优预训练的语言模型在相对少量
城北楠哥·2024-01-06 15:45

【数据采集与预处理】流数据采集工具Flume

解压安装包（三）配置环境变量（四）查看Flume版本信息四、Flume的运行（一）Telnet准备工作（二）使用Avro数据源测试Flume（三）使用netcat数据源测试Flume五、Flume作为SparkStreaming
Francek Chen·2024-01-06 14:07

这篇360°全方面性能调优（含一线大厂Android端性能优化方案），帮您分分钟解决APP卡顿

什么是性能调优？性能调优就是对计算机硬件、操作系统和应用有相当深入的了解，调节三者之间的关系，实现整个系统（包括硬件、操作系统、应用）的性能最大化，并能不断的满足现有的业务需求。
程序员小何SS·2024-01-06 10:29

Spark入门案例

Sparkshell简介启动Sparkshell进入Spark安装目录后执行spark-shell--mastermaster就可以提交Spark任务Sparkshell的原理是把每一·行Scala代码编译成类
我像影子一样·2024-01-06 10:13
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他