大数据处理Spark 第29页

一文详解pyspark常用算子与API

嵌套按照分区来进行rdd=sc.parallelize([1,2,3,4,5,6,7,8,9],2)print(rdd.glom().collect())输出：[[1,2,3,4],[5,6,7,8,9]]参考PySpark

不负长风·2024-01-01 10:25

计算机毕业设计hadoop+spark+hive知识图谱酒店推荐系统酒店数据分析可视化大屏酒店爬虫高德地图API 酒店预测系统大数据毕业设计

mysql中旅游数据进行数据清洗，使用高德API计算地理信息，最终转为.csv文件上传hdfs;3.hive建库建表导入.csv文件作为数据集；4.一半指标使用离线hive_sql分析完成，一半指标使用实时Spark

计算机毕业设计大神·2024-01-01 06:52

Flink 内容分享(二十八)：深度解析 Flink 是如何管理好内存的？

最着名的例子是ApacheHadoop，还有较新的框架，如ApacheSpark、ApacheDrill、ApacheFlink。基于JVM的数据

之乎者也··2024-01-01 05:23

Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较

大数据开发离不开各种框架，我们通过学习ApacheHadoop、Spark和Flink之间的特征比较，可以从侧面了解要学习的内容。

之乎者也··2024-01-01 05:52

Spark - 动态注册UDF

昨天有位大哥问小弟一个Spark问题，他们想在不停Spark程序的情况下动态更新UDF的逻辑，他一问我这个问题的时候，本猪心里一惊，Spark**还能这么玩?

kikiki2·2024-01-01 05:07

Spark: 在master节点开启worker进程（将master当做slave节点来使用）

1.进入master节点：spark2/conf然后：vislaves对其他的slave节点进行同样的操作。

玉成226·2024-01-01 04:56

二：Spark是什么？

（本人初次接触spark可能有些地方理解的不够到位，希望各位读者多多指正，对于不恰当的地方也会进行改进）一、spark:快速通用的大规模数据处理引擎。

玉成226·2024-01-01 04:26

spark（三）：spark的数据读取和保存

一、spark支持的文件格式1、文本文件，每行一条记录使用sc.textFile来读取一个文件，使用saveAsTextFile方法将RDD保存为一个文件2、JSON格式文件，大多是每行一条记录这里需要注意是每一行是一个

_NeutronStar·2024-01-01 04:12

Spark从入门到精通17：RDD的依赖关系

Spark任务将一系列RDD（算子）组成一张有向无环图（DAG）。这些RDD之间会有一定的依赖关系，并且根据RDD之间的依赖关系来划分Spark任务的阶段（Stage）。

金字塔下的小蜗牛·2024-01-01 04:21

使用Docker安装Hadoop和spark

使用docker配置安装hadoop和spark分别安装hadoop和spark镜像安装hadoop镜像选择的docker镜像地址，这个镜像提供的hadoop版本比较新，且安装的是jdk8，可以支持安装最新版本的

zealscott·2024-01-01 01:26

sparkstreamnig实时处理入门

1.2SparkStreaming实时处理入门1.2.1工程创建导入maven依赖 org.apache.spark spark-streaming_2.12 3.1.2 org.apache.spark

Guff_hys·2023-12-31 18:47

2022-11-24 TIDB insert into on duplicate操作突然吞吐量降低

5ace0db02e29b3233ef3670c4ae02f7.png之前是发现有大量死锁，但是sparkstreaming程序处理速度还可以。image.png但是处理速度一直在4000/S左右。

felix_feng·2023-12-31 18:29

详解Lambda和Kappa架构的区别

一、前言在大数据处理领域，有两种突出的数据架构已成为处理大数据的流行选择：Lambda架构和Kappa架构。

小枫@码·2023-12-31 18:55

33、Spark内核源码深度剖析之SparkContext原理剖析与源码分析

原理剖析SparkContext原理剖析.png源码解读本系列文章spark版本为1.3.0入口org.apache.spark.SparkContextSparkContext要点TaskScheduler

ZFH__ZJ·2023-12-31 10:38

Zookeeper集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践

WE-ubytt·2023-12-31 08:53

Spark的错误处理与调试技巧

ApacheSpark是一个强大的分布式计算框架，用于处理大规模数据。在开发和运行Spark应用程序时，经常会遇到各种错误和问题。了解Spark的错误处理与调试技巧是解决这些问题的关键。

晓之以理的喵~~·2023-12-31 07:52

Spark作业的调度与执行流程

ApacheSpark是一个分布式计算框架，用于处理大规模数据。了解Spark作业的调度与执行流程是构建高效分布式应用程序的关键。

晓之以理的喵~~·2023-12-31 07:22

Spark应用程序的结构与驱动程序

ApacheSpark是一个强大的分布式计算框架，用于处理大规模数据。了解Spark应用程序的结构和驱动程序是构建高效应用的关键。

晓之以理的喵~~·2023-12-31 07:21

Spark任务调度与数据本地性

ApacheSpark是一个分布式计算框架，用于处理大规模数据。了解Spark任务调度与数据本地性是构建高效分布式应用程序的关键。

晓之以理的喵~~·2023-12-31 07:21

Spark编程实验四：Spark Streaming编程

目录一、目的与要求二、实验内容三、实验步骤1、利用SparkStreaming对三种类型的基本数据源的数据进行处理2、利用SparkStreaming对Kafka高级数据源的数据进行处理3、完成DStream

Francek Chen·2023-12-31 06:24

【Spark精讲】一文讲透SparkSQL聚合过程以及UDAF开发

SparkSQL聚合过程这里的Partial方式表示聚合函数的模式，能够支持预先局部聚合，这方面的内容会在下一节详细介绍。

话数Science·2023-12-31 06:48

AIGC系统ChatGPT系统源码，Midjourney绘画，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+思维导图一站式解决方案

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

只恨天高·2023-12-31 05:42

AI绘画工具Midjourney绘画提示词Prompt分享

一、Midjourney绘画工具SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

只恨天高·2023-12-31 05:39

Spark的这些事（二）——几个概念

1、SparkContext[经常简称为sc]sparkapp的起点和入口，一般用来加载数据集，生成第一个rdd。2、定义一个spark应用程序所需要的三大步骤的逻辑：加载数据集，处理数据，结果展示。

数据社·2023-12-30 18:28

Spark核心原理，组件介绍

standalone模式master负责集群资源的管理，主要负责worker的注册，driver的注册worker负责向master注册本机资源，负责启动ExecutorExexutorExecutor是真正的计算资源，管理本机的task。负责和driver的CoarseGraindSchedulerBackend通信，接收任务，完成任务，以及修改任务状态。driver客户端程序启动的时候就是一个

不羁之后_·2023-12-30 15:00

Spark在不同集群中的运行架构

Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。

姚兴泉·2023-12-30 13:54

GBASE南大通用-GBase 8s分片表操作提升大数据处理性能

目录一、GBase8s分片表的优势二、六种分片方法轮转1.轮转法基于表达式分片2.基本表达式3.Mod运算表达式4.Remainder关键字方式5.List方式6.interval固定间隔三、分片表的索引1.创建索引的注意事项2.detach索引替代delete功能展现3.在现有分片表上增加一个新的分片四、dbspace数据库空间1.增加dbspaces空间2.查看空间大小3.查看空间剩余大小GB

GBASE数据库·2023-12-30 10:54

Flink DataStream 编程模型

本文是我的第一篇付费文章，这是个开篇纵览，后面会深入讲解Flink理论与开发，不限于Flink这一个组件，后面也会有Spark、Clickhouse等等，代码也会配套同步到Gitee上面（Gitee地址见文末

大数据技术派·2023-12-30 09:54

Flink Shuffle、Spark Shuffle、Mr Shuffle 对比

总结：1、FlinkShufflePipelinedShuffle：上游Subtask所在TaskManager直接通过网络推给下游Subtask的TaskManager；BlockingShuffle：HashShuffle-将数据按照下游每个消费者一个文件的形式组织；Sort-MergeShuffle-将上游所有的结果写入同一个文件，文件内部再按照下游消费者的ID进行排序并维护索引，下游读取数

猫猫爱吃小鱼粮·2023-12-30 09:53

Hadoop之Yarn 详细教程

1、yarn的基本介绍和产生背景YARN是Hadoop2引入的通用的资源管理和任务调度的平台，可以在YARN上运行MapReduce、Tez、Spark等多种计算框架，只要计算框架实现了YARN所定义的接口

白鸽呀·2023-12-30 08:57

【Azure 架构师学习笔记】- Azure Databricks (2) -集群

ADB集群首先了解一下ADB的集群，ADB的集群本质上就是一堆AzureVM，在创建之时已经按照特定模板，配置有Spark和可以并行操作Spark

發糞塗牆·2023-12-30 07:11

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.

kikiki2·2023-12-30 07:34

大数据学习(29)-Spark Shuffle

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦SparkShuffleMap和Reduce在Shuffle过程中

viperrrrrrr·2023-12-30 06:25

【Spark精讲】一文讲透SparkSQL物理执行计划

SparkSQL整体计划生成流程大体分三步：(1)由SparkSqlParser中的AstBuilder执行节点访问，将语法树的各种Context节点转换成对应的LogicalPlan节点，从而成为一棵未解析的逻辑算子树

话数Science·2023-12-30 06:59

【Spark精讲】一文讲透SparkSQL执行过程

SparkSQL执行过程逻辑计划逻辑计划阶段会将用户所写的SQL语句转换成树型数据结构(逻辑算子树)，SQL语句中蕴含的逻辑映射到逻辑算子树的不同节点。

话数Science·2023-12-30 06:55

[spark] 将dataframe中的数据插入到mysql

文章目录分区写入`foreachPartition`直接写入`write.jdbc()`有没有插入成功在插入时记录行数`累加器`分区写入foreachPartition在Spark中，你可以使用foreachPartition

言之。·2023-12-30 06:55

Spark Streaming

目录一、流计算概述（一）静态数据和流数据（二）批量计算和实时计算（三）流计算概念（四）流计算框架（五）流计算处理流程二、SparkStreaming（一）SparkStreaming设计（二）SparkStreaming

Francek Chen·2023-12-30 06:54

动物日记｜白沙的鸡

就先做个介绍吧：白沙公园又叫PasirRisPark，是一个位于新加坡的东北部的海滩公园，于1989年启用，是

小哥阿民·2023-12-30 06:37

虚拟机上进行Hadoop伪分布式部署并进行大数据处理

本文章基于的大数据文件：https://download.csdn.net/download/qq_60567426/87940872?spm=1001.2014.3001.5503引言：虚拟机经常卡死，卡死就按这个重新启动VMware虚拟机下载：1：首先安装VMware，官网链接：VMware-DeliveringaDigitalFoundationForBusinesses2：点击Produc

软件开发技术局·2023-12-30 03:38

PiflowX大数据流水线系统

支持分布式计算引擎flink和spark。以所见即所得的方式，实现大数据采集、处理、存储与分析流程化配置、运行与智能监控。

暗影八度·2023-12-29 23:43

大数据框架介绍

大数据学习必备三个框架Hadoop，Spark，Storm大数据的主要特点为数据量大(Volume)，数据类别复杂(Variety)，数据处理速度快(Velocity)和数据真实性高(Veracity)

mikecg·2023-12-29 23:06

大数据HelloWorld-Flink实现WordCount

MR，Spark，Flink以来开篇第一个程序都是WordCount。那么今天Flink开始目标就是在本地调试出WordCount。[图片上传失败...

指尖数虫·2023-12-29 22:38

SparkStreaming常见transformation算子

1.4SparkStreaming常见transformation算子1.4.1常见的算子操作对cogroup做一简单的说明：cogroup就是groupByKey的另外一种变体，groupByKey是操作一个

Guff_hys·2023-12-29 20:59

SparkStreaming_window_sparksql_reids

SparkStreaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。