spark（scala）第4页

Spark -- 执行器后端 & 调度器后端

在ApacheSpark中，coarseGrainedExecutorBackend和coarseGrainedschedulerBackend是两个重要的组件，它们在spark的集群调度和执行过程中扮演着不同的角色

Cynthiaaaaalxy·2025-02-07 00:36

PySpark学习笔记5-SparkSQL

sparkSql的数据抽象有两种。

兔子宇航员0301·2025-02-07 00:36

分布式快照算法 Chandy-Lamport

0.引言上一篇文章最后说到Spark的StructuredStreaming的ContinuousProcessingMode的容错处理使用了分布式快照（DistributedSnapshot）算法Chandy-Lamport

冬至喵喵·2025-02-06 21:51

Apache MXNet：灵活高效的深度学习库

MXNet支持多种语言绑定，包括Python、Scala、Julia、Clojure、Java、C++、R和Perl，并且拥有一个活跃的工具和库生态系统，可以扩展MXNet的功能，支持计算机视觉、自然语言

零度°·2025-02-06 21:48

Apache MXNet 深度学习框架教程

FlexibleDistributed/MobileDeepLearningwithDynamic,Mutation-awareDataflowDepScheduler;forPython,R,Julia,Scala

娄妃元Kacey·2025-02-06 21:17

MXNet深度学习框架：高效与灵活性的结合

MXNet支持多种编程语言，包括Python、Java、Scala、R、C++等，能够运行在CPU、GPU和云平台上，满足不同场景下的需求。1.MXNet的核心特性MXNet的主要

原机小子·2025-02-06 20:44

pySpark学习笔记4——预处理csv数据3

本文仍旧是pySpark系列继续，欢迎关注，并请持续关注。入门，开始，继续。有大佬说，很多人写博文都是开篇啥的，往往只有一两篇，后来再无更新，而我不是，专注，持续深入才是我的本色。

小李飞刀李寻欢·2025-02-06 18:56

弹性文件服务（SFS）的使用场景

华为云弹性文件服务（ScalableFileService，简称SFS）是一种高性能、高可用、弹性伸缩的文件存储服务，广泛应用于多种场景，包括高性能计算、媒体处理、企业办公、AI训练等。

九河云·2025-02-06 14:02

Flink && Spark SQL提效神器双双更新

本次SparkSQLHelper主要更新了对于Hints的补全支持，Release版本为2025.2.0。

·2025-02-06 13:32

【starrocks学习】之将starrocks表同步到hive

目录方法1：通过HDFS导出数据1.将StarRocks表数据导出到HDFS2.在Hive中创建外部表3.验证数据方法2：使用ApacheSpark同步1.添加StarRocks和Hive的依赖2.使用

chimchim66·2025-02-06 12:52

可扩展应用架构指南

可扩展应用架构指南scalable_app_architectureThisisamodularapparchitecturethatcanbescalableasthetimepasses.IwillbeusingtheBLoCstate-managementpackage

沈宝彤·2025-02-06 12:52

初识spark

本文通过介绍的是大数据领域优秀框架spark，打开分布式实时计算的大门1.spar

wlyang666·2025-02-06 08:20

ScalaTest测试框架

ScalaTest是一个开源测试框架，旨在令测试更加高效。其开发者是BillVenners(Artima主编)。

一片·2025-02-06 07:46

Scala语言的安全开发

Scala语言的安全开发引言在现代软件开发中，安全性是一个不可忽视的重要因素。特别是在处理敏感数据和用户信息时，确保代码的安全性尤为重要。

萧月霖·2025-02-06 07:14

MongoDB

HighScalability&&HighAvailability-对数据库的高可扩展性和高可用性的需求。

青衫天子·2025-02-06 05:27

一次spark streaming 性能抖动问题解决和分析

问题现象业务通过sparkstream处理10000+上数据大致需要30s时间，但偶发出现超过30s的情况问题分析sparkstream是内存密集型的应用，一般出现延迟通常是因为以下两个原因：内存分配过程出现延迟

spring208208·2025-02-06 04:18

一次线程数超限导致的hive写入hbase作业失败分析

每次报错的任务不是同一个，hivesql任务分为2个阶段：第1个阶段是hive自处理阶段，底层是spark计算引擎。出现oom,无法开启新的

spring208208·2025-02-06 04:46

盘点大数据生态圈，那些繁花似锦的开源项目

盘点大数据生态圈，那些繁花似锦的开源项目发表于12小时前|2466次阅读|来源CSDN|6条评论|作者仲浩大数据开源HadoopSparkwidth="22"height="16"src="http

AI周红伟·2025-02-05 17:30

开源项目推荐：基于Lambda架构的大数据管道

柳旖岭·2025-02-05 16:53

编程语言90种

CC++JavaPythonJavaScriptC#PHPSQLGoTypeScriptRubySwiftKotlinRShellRustDartScalaAssemblyFortranAdaCommonLispMATLABEiffelObjective-CPerlVisualBasicHaskellErlangPrologJuliaGroovyClojureF

2501_90255623·2025-02-05 16:23

小白转flink技术栈心得之混编java和scala报错：error: java.lang.NoClassDefFoundError: javax/tools/ToolProvider

今天刚接手了一个flink项目，代码里有java也有scala写的部分，小白第一次遇到要java和scala都需编译的项目，于是乎先进行scala的编译：mvncleanscala:compilecompilepackage-Pfat-DskipTests

阿烦大64·2025-02-04 22:39

《AI赋能行业实战：‌揭秘企业数字化转型最佳实践，‌落地案例深度解析！‌》 ---- 总目录

文章大纲金融行业落地实践浅析基于PySpark进行信用卡评分--实战案例迁移学习小样本金融风控生物信息识别大健康行业落地实践浅析传统行业深度融合升级如何深度参与创业？

shiter·2025-02-04 20:58

Spark3.1.2单机安装部署

spark3.1.2单机安装部署概述Spark是一个性能优异的集群计算框架，广泛应用于大数据领域。

花菜回锅肉·2025-02-04 07:43

Caused by: java.io.NotSerializableException: org.apache.parquet.schema.MessageType

scala任务代码Headdefault%flink.confflink.execution.packagesorg.apache.flink:flink-connector-kafka_2.11:1.11.2

黄瓜炖啤酒鸭·2025-02-04 04:17

Spark基本概念

Spark核心组件Driver将用户程序转化为作业（job）在Executor之间调度任务(task)跟踪Executor的执行情况通过UI展示查询运行情况ExecutorSparkExecutor是集群中工作节点

javafanwk·2025-02-04 00:18

Spark 基本概念

#官网部分解释ClusterModeOverview-Spark3.3.0DocumentationApplication：指的是用户编写的Spark应用程序/代码,一个完整的main方法程序，包含了Driver

Buutoorr·2025-02-04 00:17

Spark基础【RDD依赖关系--源码解析】

文章目录一RDD依赖关系1RDD血缘关系2RDD依赖关系3RDD阶段划分4RDD任务划分一RDD依赖关系1RDD血缘关系相邻两个RDD之间的关系，称之为依赖关系，多个连续的依赖关系称之为血缘关系RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数

OneTenTwo76·2025-02-03 21:52

Hive重点面试题

数据倾斜原因与解决方法6.HiveMapReduce的底层实现与优化方式7.Hive窗口函数的使用场景8.Hive分区与分桶的区别9.Hive的存储格式10.Hive计算引擎（MapReduce,Tez,Spark

Major Tom _·2025-02-03 20:43

linux的apache安装,Apache Kylin | 安装指南

软件要求Hadoop:2.7+,3.1+(sincev2.5)Hive:0.13-1.2.1+HBase:1.1+,2.0(sincev2.5)Spark(可选)2.3.0+Kafka(可选)1.0.0

姜白的树洞·2025-02-03 07:26

kylin linux 安装教程,Apache Kylin | 安装指南

软件要求Hadoop:2.7+Hive:0.13-1.2.1+HBase:1.1+Spark2.1.1+JDK:1.7+OS:Linuxonly,CentOS6.5+orUbuntu16.0.4+用HortonworksHDP2.2

社本·2025-02-03 07:26

YAML 简介及语法

文章目录一、YAML简介二、YMAL语法0.注释1.标量(Scalar)1.1流标量FlowScalars1.2块标量BlockScalars2.映射(Mapping)3.序列(Sequence)4.锚点

yueguangni·2025-02-03 01:37

第五节图像像素的算数操作

除divide注意点：图像的数据类型，通道数目，大小必须相同修改参数来调节图片的参数voidQUickdemo::operators_demo(Mat&image){Matdst;dst=image-Scalar

没学上了·2025-02-02 17:10

《Kotlin核心编程》热身篇——Kotlin基础内容总结

1Kotlin设计哲学目标：更好的Java编程方式：面向对象命令式编程+函数式编程（Scala有包括宏）一些改良：单例模式，data数据类，NPE，可变性，更多的语法糖，类型推导2Kotlin基础语法2.1

Swuagg·2025-02-02 13:11

深度学习之线性代数

严格来说，我们称仅包含一个数值的叫标量（scalar）。在数学表示法，其中标量变量由普通小写字母表示（例如，x、y和z）。我们用R表示所有（连续）实数标量的空

ousinka·2025-02-02 06:21

深度学习——线性代数

取个名字真难啊啊·2025-02-02 06:19

Java 大视界 -- Java 与 Spark SQL：结构化数据处理与查询优化（五）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数

青云交·2025-02-02 05:39

Hive 整合 Spark 全教程（Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00:9870dfs.namenode.secondary.http-addressBigdata00:9868dfs.replication13）YARN配

字节全栈_rJF·2025-02-02 02:56

如何使用Spark Streaming

一、什么叫SparkStreaming基于SparkCore，大规模、高吞吐量、容错的实时数据流的处理二、SparkStreaming依赖org.apache.sparkspark-streaming_

会探索的小学生·2025-02-02 00:46

Spark 任务与 Spark Streaming 任务的差异详解

Spark任务与SparkStreaming任务的主要差异源自于两者的应用场景不同：Spark主要处理静态的大数据集，而SparkStreaming处理的是实时流数据。

goTsHgo·2025-02-02 00:14

4 Spark Streaming

4SparkStreaming一级目录1.整体流程2.数据抽象3.DStream相关操作4.SparkStreaming完成实时需求1)WordCount2)updateStateByKey3)reduceByKeyAndWindow

TTXS123456789ABC·2025-02-01 23:43

spark和python的区别_Spark入门(Python)

Spark是第一个脱胎于该转变的快速、通用分布式计算范式，并且很快流行起来。

weixin_39934257·2025-02-01 23:42

spark python入门_python pyspark入门篇

一.环境介绍：1.安装jdk7以上2.python2.7.113.IDEpycharm4.package:spark-1.6.0-bin-hadoop2.6.tar.gz二.Setup1.解压spark

weixin_39686634·2025-02-01 23:12

spark streaming python_Spark入门：Spark Streaming简介(Python版)

SparkStreaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。

weixin_39531582·2025-02-01 23:12

Spark 学习-1 (python)

Spark官方文档快速入门指南Spark架构-Spark教程1.基本概念RDD（resilientdistributeddataset）弹性分布式数据集，对分布式数据和计算的基本抽象。

一二三四0123·2025-02-01 23:40

Python大数据之PySpark(三)使用Python语言开发Spark程序代码_windows spark python

算子：rdd的api的操作，就是算子，flatMap扁平化算子，map转换算子Transformation算子Action算子步骤：1-首先创建SparkContext上下文环境2-从外部文件数据源读取数据

2401_84181704·2025-02-01 23:09

Spark入门（Python）

目录一、安装Spark二、Spark基本操作一、安装Sparkpip3installpyspark二、Spark基本操作#导入spark的SparkContext,SparkConf模块frompysparkimportSparkContext

nfenghklibra·2025-02-01 23:39

centos7搭建flink1.18并以 standalone模式启动

版本组件版本scala2.12.20java1.8.0_181flink1.18.1关于scala和Java的安装参考：scala和java安装flink下载地址：flink下载链接集群规划bigdata01bigdata02bigdata03masterworkerworkerworker

咸鱼c君·2025-02-01 20:50

hive表指定分区字段搜索_Hive学习-Hive基本操作（建库、建表、分区表、写数据）...

Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。Hive分内部表和外部表，外部表在建表的同时指定一个

weixin_39710660·2025-02-01 04:00

PyDeequ库在AWS EMR启动集群中数据质量检查功能的配置方法和实现代码

PyDeequ是一个基于ApacheSpark的PythonAPI，专门用于定义和执行“数据单元测试”，从而在大规模数据集中测量数据质量。

weixin_30777913·2025-02-01 04:59

spark 算子例子_Spark性能调优方法

公众号后台回复关键词：pyspark，获取本项目github地址。Spark程序可以快如闪电⚡️，也可以慢如蜗牛?。它的性能取决于用户使用它的方式。

不让爱你的人失望·2025-01-31 16:28

推荐频道

spark（scala）