spark调优

Spark Structured Streaming使用教程

文章目录1、输入数据源2、输出模式3、sink输出结果4、时间窗口4.1、时间窗口4.2、时间水印（Watermarking）5、使用例子StructuredStreaming是一个基于SparkSQL
penngo·2023-12-14 19:17

Kafka集群调优+能力探底

一、前言我们需要对4个规格的kafka能力进行探底，即其可以承载的最大吞吐；4个规格对应的单节点的配置如下：标准版：2C4G铂金版：4C8G专业版：8C16G企业版：16C32G另外，一般来讲，在同配置下，kafka的读性能是要优于写性能的，写操作时，数据要从网卡拷贝至堆内存，然后进行一堆数据校验、解析后，会将数据拷贝至堆外内存，然后再拷贝至操作系统的pagecache，最后操作系统异步刷盘至设备
快乐非自愿·2023-12-14 19:44

Spark SQL（八）：UDF和UDAF

用户自定义函数，其实更多的是针对单行输入，返回一个输出；UDAF：UserDefinedAggregateFunction，用户自定义聚合函数，可以针对多行输入，进行聚合计算，返回一个输出，功能更加强大；是从Spark1.5
雪飘千里·2023-12-14 19:09

Spark环境搭建和使用方法

目录一、安装Spark（一）基础环境（二）安装Python3版本（三）下载安装Spark（四）配置相关文件二、在pyspark中运行代码（一）pyspark命令（二）启动pyspark三、开发Spark
Francek Chen·2023-12-14 19:08

【python】多任务编程

多任务编程有哪些编程提速的方法单线程串行：不加改造的程序多线程并发：利用CPU和IO可以同时执行的原理，让CPU不会干巴巴等待IO完成多CPU并行/多进程：利用多核CPU的能力，真正的并行执行任务多机器并行：hadoop/hive/spark
小赵要加油·2023-12-14 19:33

做好APP广告联调测试，不断提升广告变现收益

APP广告联调测试的作用：变现冷启动阶段，帮助制定广告变现策略；广告变现开始后，验证实际效果；帮助分析诊断变现问题原因；调优既定运营策略与优化；持续优化变现策略形
AdSet聚合广告平台·2023-12-14 19:01

openEuler JDK21 部署 Zookeeper 集群

zookeeper-jdk21操作系统：openEulerJDK：21主机名IP地址spark01192.168.171.101spark02192.168.171.102spark03192.168.171.103
李昊哲小课·2023-12-14 19:14

贝叶斯参数调优Grouping遗传算法求解带时间窗和异质车队的多车场取送货问题

贝叶斯优化：贝叶斯优化（BayesianOptimization）是一种用于参数调优的算法。在元启发式算法中，参数设置对算法的性能有很大影响，而确定最佳参数配置需要大量的目标函数评估，非常耗时。
Zzzzzzz_s·2023-12-14 18:09

【Python百宝箱】从平凡到卓越：如何通过评估和调优提升机器学习模型质量

提升机器学习模型性能的终极指南：评估和调优工具大揭秘前言在机器学习领域，评估和调优是提升模型性能的关键步骤。
friklogff·2023-12-14 18:22

【Python百宝箱】数据巨轮启航：Python大数据处理库全攻略，引领数据科学新浪潮

往期相关链接：【Python百宝箱】构建强大分布式系统：探索PythonDask、Ray、Dask-ML、PySpark和
friklogff·2023-12-14 18:22

长话短说stacking集成学习算法，保证你能看得懂（2)

第一步，进行初级学习，生成次级学习器的训练集(X_train_new,y_train)和测试集(X_test_new,y_test)（篇幅所限，我们在此假设每个基模型都是经过参数调优处理的优良模型，具体如何进行参数优化请参见相关文献
interbigdata·2023-12-14 18:44

AI创作系统ChatGPT网站源码，AI绘画，支持GPT联网提问/即将支持TSS语音对话功能

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-14 15:11

Java 线程池的学习总结

线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。二、线程池的创建1、线程池的7个参数：①corePoolSize：核心线程数。
Double丶11·2023-12-14 14:53

【Spark精讲】Spark内存管理

目录前言Java内存管理Java运行时数据区Java堆垃圾回收机制Executor内存管理内存类型堆内内存堆外内存内存管理模式静态内存管理统一内存管理编辑执行内存管理多任务间内存分配Shuffle的内存占用MemoryOverHead详解任务内存调节错误类型及调整方案1.ExecutorOOM类错误（错误代码137、143等）方式一：增加单个task的内存使用量方式二：降低单个Task的内存消耗量
话数Science·2023-12-14 13:52

Spark读写MySQL数据库

Spark读写MySQL数据库文章目录Spark读写MySQL数据库一、读取数据库（一）通过RDD的方式读取MySQL数据库（二）通过DataFrame的方式读取MySQL数据库二、添加数据到MySQL
叶子上的考拉·2023-12-14 13:45

Spark Dataset的实用操作笔记

最近的项目用spark做离线计算，所以有用到一些操作，简单笔记一下1.Dataset纵向复制数据当一个dataset中数据量太少，不能有效的随机联查别的dataset时，需要将数据纵向复制，把数据量撑起来
容若只如初见·2023-12-14 13:12

spark rdd和dataframe的区别，结合底层逻辑

在ApacheSpark中，RDD（ResilientDistributedDataset）和DataFrame是处理数据的两种不同的抽象。
三水青一人尤·2023-12-14 12:29

理解 Spark 写入 API 的数据处理能力

这张图解释了ApacheSparkDataFrame写入API的流程。它始于对写入数据的API调用，支持的格式包括CSV、JSON或Parquet。
小技术君·2023-12-14 12:23

Spark分布式内存计算框架

目录一、Spark简介（一）定义（二）Spark和MapReduce区别（三）Spark历史（四）Spark特点二、Spark生态系统三、Spark运行架构（一）基本概念（二）架构设计（三）Spark运行基本流程四
Francek Chen·2023-12-14 12:43

sparklyr: R interface for Apache Spark

关于sparklyr的一个简单的教程下载Sparklyrinstall.packages("sparklyr")下载sparklibrary(sparklyr)spark_install(version
Liam_ml·2023-12-06 23:16

ElasticSearch部署架构和容量规划

一、前言前面介绍了ElasticSearch原理和使用相关的内容，在生产环境如何比较科学的进行容量规划、部署、调优、排查问题呢，业界和官方也对相关的问题进行总结，我这边也结合自己的经验对这些使用ElasticSearch
IT巅峰技术·2023-12-06 21:23

SparkSQL运行流程浅析

写了有相当长一段时间的SparkSQL了，所以结合网上其他大神的分析，写一篇文章，谈谈我对SparkSQL整个运行流程的一个简单的理解。哈哈，毕竟程序员要做到知其然，还要知其所以然不是。
淡定一生2333·2023-12-06 21:08

Spark常见算子汇总

创建RDD在Spark中创建RDD的方式分为三种:从外部存储创建RDD从集合中创建RDD从其他RDD创建textfile调用SparkContext.textFile()方法，从外部存储中读取数据来创建
话数Science·2023-12-06 21:05

Spark面试题汇总

问题汇总SparkSQL调优：场景是怎样的？怎么发现的？怎么定位的？怎么解决的？达到了一个怎样的效果？引申下还有哪些更好的优化方案？UDF怎么管理的，如何避免重复的UDF的提交？
话数Science·2023-12-06 21:04

Spark宽依赖窄依赖的区别

定义：一般观点：窄依赖是子RDD的一个分区只依赖于父RDD的一个分区，即每个父RDD的分区最多被子RDD的一个分区使用；宽依赖是子RDD的一个分区依赖了父RDD的多个分区，即多个子RDD的分区数据依赖父RDD的同一个分区的数据。而实际上：窄依赖是父RDD的一个或多个分区的数据全部流入到子RDD的一个或多个分区；宽依赖是父RDD的每个分区的不同部分，分别流入到子RDD的不同分区。算子：窄依赖算子：m
话数Science·2023-12-06 21:04

如何设置和读取Spark配置

设置在SaprkConf中设置，如valconf=newSparkConf().setMaster("local").setAppName("Myapplication").set("spark.executor.memory
话数Science·2023-12-06 21:04

Spark自定义分区器

spark目前支持两个分区器,分别是HashPartitioner和RangePartitioner.均继承自Partitioner,有共同方法-defnumPartitions--分区器的分区数量-defgetPartition
鸭梨山大哎·2023-12-06 21:02

快手数仓面试题附答案

2你在工作中都负责哪一部分3spark提交一个程序的整体执行流程4spark常用算子列几个，6到8个吧5transformation跟action算子的区别6map和flatmap算子的区别7自定义udf
话数Science·2023-12-06 21:59

大数据实战项目_电商推荐系统

一、项目介绍Hadoop+Spark+(Python)Scala+SparkSQL+SparkStreaming+MongoDB+Redis+Kafka+Flume+(SpringMVC+vue)1项目介绍
Guff_hys·2023-12-06 20:28

Tomcat 的工作原理

刚入社会的时候，我还是通过Tomcat手动部署JavaWeb项目，还经常对Tomcat进行性能调优。除此之外，还需要自己理清楚各Jar之间的关系，以避免Jar丢失和各版本
公子小白123·2023-12-06 20:45

JVM常用调优参数

针对Java虚拟机（JVM）的性能调优，有一些常见的调优参数可以用来提高应用程序的性能和稳定性。
一个搬砖的农民工·2023-12-06 17:34

解决安装pyspark所遇到的所有问题

一开始安装Hadoop，hive，hbase，spark很顺利。但是到了pyspark时候已
天亮说晚安ii·2023-12-06 17:33

机器学习---pySpark代码开发

1、eclipse开发pySpark程序在eclipse中开发pySpark程序，需要安装pydev插件。1).eclipse安装python插件,安装完成后重启。
30岁老阿姨·2023-12-06 17:23

机器学习---环境准备

一、pySpark环境准备1、window配置python环境变量window安装python，配置python环境变量。
30岁老阿姨·2023-12-06 17:53

机器学习---pySpark案例

1、统计PV，UV1.if__name__=='__main__':2.conf=SparkConf()3.conf.setMaster("local")4.conf.setAppName("test"
30岁老阿姨·2023-12-06 17:53

前后端分离vue+springboot家庭理财账单财务管理系统

技术栈：后端：SpringBoot，Sa-Token，MyBatis-Plus，MyBatisGenerator，MySQL，Nginx，Spark，Fastjson前端：Vue，Vue-router，
说书客啊·2023-12-06 15:12

社区投稿 | 常见的slave延迟场景分析

作者介绍：杨奇龙，网名“北在南方”，7年DBA老兵，目前任职于杭州有赞科技DBA，主要负责数据库架构设计和运维平台开发工作，擅长数据库性能调优、故障诊断。
爱可生开源社区·2023-12-06 13:04

线程池原理初探

线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。但是要做到合理的利用线程池，必须对其原理了如指掌。2.线程池的使用
.守心.·2023-12-06 12:11

为什么要做ERP集成？ERP系统如何与其他业务应用程序集成

ETL集成能够将这些功能模块与其他业务系统（如客户关系管理系统、物流系统、电子商务平台等）进行连接，实现不同系统间的信息共享以及业务流程的协调优化
ETLCloud数据集成社区·2023-12-06 12:00

ERROR SparkContext: Error initializing SparkContext.org.apache.spark.SparkException：无效的 Spark URL：

在idea中用scala编写spark的WordCount的案例时，老是报错，scala能运行其他程序scala没有问题，依赖按照视频教程也成功下载，Maven仓库也下载的巴巴适适，报的错误太多了，我节选有价值的错误信息
Guff_hys·2023-12-06 11:40

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki2·2023-12-06 11:16

ZFS管理手册：第七章池的属性

动机对于ext4和GNU/Linux中的许多文件系统，我们可以通过设置各种flags来对文件系统进行调优。比如设置标签、默认挂载选项和其他可调参数。对于ZFS，同样是可以设置的，而且它要复杂得多。
Kyle__Shaw·2023-12-06 11:34

elasticsearch 索引数据多了怎么办，如何调优，部署？

当Elasticsearch索引的数据量不断增加时，可以考虑以下调优和部署措施：增加索引规模：Elasticsearch支持动态增加索引，可以根据数据量的增长情况逐步增加新的索引。
用心去追梦·2023-12-06 10:56

2022-05-01 词汇与语句的表达（实验）

计算联合国会议记录词向量：相关代码：编写向量相似性判断逻辑，根据相似性判断结果调优工具参数。改变window大小，当win
Luo_淳·2023-12-06 10:52

Spark由浅到深(1)--安装,测试,问题排错

安装部署//选择需要的版本.官网下载:http://spark.apache.org/downloads.html//部署tar-zxfspark-1.4.0-bin-hadoop2.6.tgzcdspark
GeezKe·2023-12-06 10:04

Spark读写Doris数据

1准备Spark环境创建maven工程，编写pom.xml文件    4.0.0
shangjg3·2023-12-06 08:48

StackGres 1.6，可私有部署的云原生数据库中间件平台工程

使用精心选择和调优的PostgreSQL组件。一个企业级的PostgreSQL栈需要几个其他的生态系统组件和重要的调整。不仅仅是PostgreSQL。它需要连接池、自动故障转移和HA、监
为为少·2023-12-06 08:06

Spark 环境安装

Spark环境安装一、准备工作1、hadoop成功安装2、防火墙关闭二、解压安装1、上传spark安装包到/opt/soft目录，进入该目录下，执行如下命令：tar-zxvfspark-2.1.1-bin-hadoop2.7
会java的怪蜀黍·2023-12-06 07:35

生产环境_从数据到层级结构JSON：使用Spark构建多层次树形数据_父子关系生成

代码补充了！兄弟萌造的样例数据valdata=Seq(("USA","Male","Asian","Chinese"),("USA","Female","Asian","Chinese"),("USA","Male","Black","African"),("USA","Female","Black","African"),("USA","Male","White","European"),("U
Matrix70·2023-12-06 07:04

spark不同结构Dataset合并

1.先将hdfs(或本地)存储的csv文件加载为Dataset先在本地C盘准备两个csv文件test.csvclient_id,behives,del,normal_status,cust_type,no_trd_days7056,zl,1,hy,个人,27057,cf,1,hy,个人,127058,hs,2,hy,个人,1200212121,0,sj,hy,个人,1100212122,1,yx,
容若只如初见·2023-12-06 07:03
上一页 52 53 54 55 56 57 58 59 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他