大数据处理Spark 第45页

Spark-Streaming KafkaClient 异常解决

在使用Spark-Streaming消费Kafka数据的时候，使用如下命令提交到yarnCausedby:java.lang.IllegalArgumentException:Couldnotfinda'KafkaClient'entryintheJAASconfiguration.Systemproperty'java.security.auth.login.config'isnotsetato

大猪大猪·2023-11-27 23:13

spark之OOM常见问题梳理(一)

—王小波一、Spark报错信息问题一1.描述org.apache.spark.shuffle.FetchFailedException这种问题一般发生在有大量shuffle操作的时候,task不断的failed

写轮眼之大数据·2023-11-27 20:34

Flink入门（一）——Apache Flink介绍

随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎ApacheSpark,基本上已经取代了MapReduce成为当前大数据处理的标准。

大数据流动·2023-11-27 20:03

Structured Streaming基本使用

StructuredStreaming定义结构化流处理是Spark中用于处理实时流数据的API。它提供了类似于对静态数据集进行操作的高级抽象，允许你以类似的方式处理实时数据流。

linbokang·2023-11-27 19:46

Apache Iceberg核心原理分析文件存储及数据写入流程

相较于Hudi、Delta与Spark的强耦合，Iceberg可以与多种计算引擎对接，目前社区

王知无(import_bigdata)·2023-11-27 19:25

Crazy Boy Parkour

Thebravelittleboystartedhisparkourandmadeacrazyadventureontheroadfullofmonstersandtraps.Buttheroadaheadisnotsosmooth

Madelines·2023-11-27 19:20

Flink实时流计算入门系列（一）

image这几年大数据的飞速发展，出现了很多热门大数据计算框架，著名的Hadoop、Storm、Spark，他们都专注于各自的应用场景。

晨冉1688·2023-11-27 17:17

2023_Spark_实验二十二：Zookeeper的集群安装

Zookeeper的集群安装一、集群的规划二、Zookeeper配置三、Zookeeper启动一、集群的规划Zookeeper集群：192.168.137.110（bigdata112）192.168.137.111（bigdata113）192.168.137.112（bigdata114）二、Zookeeper配置在主节点（bigdata112）上配置ZooKeeper配置/opt/soft_

pblh123·2023-11-27 17:26

2023_Spark_实验二十一：Zookeeper单机安装与配置

zookeeper单机安装与配置一、zookeeper的安装1.上传zookeeper-3.4.5.tar.gz到/tools目录下2.解压安装zookeeper到/training中tar-zvcfzookeeper-3.4.5.tar.gz-C/opt/soft_installed/zookeeper-3.4.53.配置环境变量vim/home/lh/.bashrc#添加内容如下exportZ

pblh123·2023-11-27 17:52

Spark性能调优05-Shuffle调优

1.SparkShuffle概述在Spark的源码中，负责shuffle过程的执行、计算和处理的组件主要就是ShuffleManager，也即shuffle管理器。

CoderJed·2023-11-27 16:00

解决SparkSQL导致的JVM栈内存溢出方法_尚硅谷大数据培训

当SparkSQL的sql语句有成百上千的or关键字时，就可能会出现Driver端的JVM栈内存溢出。

尚硅谷铁粉·2023-11-27 16:52

java 大数据处理之内存溢出解决办法

因项目中需要查询大量数据，所以导致jvm内存溢出，发现这篇博文不错，转发来共同学习原文地址：https://www.cnblogs.com/a757956132/p/4644910.html一、内存溢出类型1、java.lang.OutOfMemoryError:PermGenspaceJVM管理两种类型的内存，堆和非堆。堆是给开发人员用的上面说的就是，是在JVM启动时创建；非堆是留给JVM自己用

it1993·2023-11-27 15:13

在spark环境中运行demo的时候报错

在spark环境中运行demo的时候报错，怎么解决？

我是钟钟·2023-11-27 12:07

spark官网首页翻译

官网：http://spark.apache.org/Download（下载）Libraries（SQLAndDataFrame、SparkStreaming、MLlib、Third-PartyProjects

xiaogao2017·2023-11-27 12:36

PHP调用spark模型,php – Laravel Spark没有正确地引入css

我正在玩Spark,以便学习如何使用它.我按照安装说明在Homestead下进行了新的安装.从路由页面生成的css链接是没有生成css.因此,主页被顶起.任何人都可以帮我追查问题吗？

比较擅长理性皮·2023-11-27 12:34

java调用spark_详解Java编写并运行spark应用程序的方法

我们首先提出这样一个简单的需求：现在要分析某网站的访问日志信息，统计来自不同IP的用户访问的次数，从而通过Geo信息来获得来访用户所在国家地区分布状况。这里我拿我网站的日志记录行示例，如下所示：121.205.198.92--[21/Feb/2014:00:00:07+0800]"GET/archives/417.htmlHTTP/1.1"20011465"http://shiyanjun.cn/

小理同学·2023-11-27 12:03

（二）Spark客户端的使用

spark客户端作用：我们可以通过客户端发送消息，实现消息拦截的现象展示。下载并安装Spark下载地址。

黄土地的孩子·2023-11-27 12:32

Spark的部署与使用

Vic·Tory·2023-11-27 12:01

spark体验

前言spark作为大数据计算引擎，为大数据的计算提供了一套新的底层模型；从存储角度，它借助内存作为首选方式，比hadoop快百倍。记录下一些重点感悟。

scofielong·2023-11-27 12:00

spark-core包源码编译以及打包运行

一、集群环境下运行系统打包spark在mavenprojects视图选择SparkProjectParentPOM(root)，然后选中工具栏倒数第四个按钮（shipTestsmode）按下，这时Liftcycle

五环旗·2023-11-27 12:58

SparkDesk知识库 + ChuanhuChatGPT前端 = 实现轻量化知识库问答

实现两个下拉框进行联动案例解读：change/click/input实践（三）在Gradio实现分栏、分页的效果（二）Gradio的重要函数以及一些代码示例学习（一）好了，终于可以把笔者最终的想法开始实践了：SparkDesk

悟乙己·2023-11-27 12:20

Mongodb中Aggregation特性

Mongodb是目前最受欢迎的大数据存储平台之一，它可以作为云计算技术的底层存储层，比如为spark、hadoop、pig、hive、drill等计算框架提供源数据。

shift_alt_ctrl·2023-11-27 12:45

Kafka基本原理详解

）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark

昙花逐月·2023-11-27 10:46

智能AIGC写作系统ChatGPT系统源码+Midjourney绘画+支持GPT-4-Turbo模型+支持GPT-4图片对话

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

白云如幻·2023-11-27 09:59

spark篇（一）——Spark核心概念与操作

image.png1Spark核心概念与操作1.1Spark简介ApacheSpark是新兴的一种快速通用的大规模数据处理引擎。

许志辉Albert·2023-11-27 08:53

Intellij之Spark Scala开发环境搭建

https://www.jianshu.com/p/200473f264bchttps://blog.csdn.net/a2011480169/article/details/52712421参考博客：1、http://wwwlouxuemingcom.blog.163.com/blog/static/20974782201321953144457/2、http://blog.csdn.net/s

piziyang12138·2023-11-27 08:32

Spark Core源码精读计划#18：与RDD的重逢

目录前言RDD抽象类概述构造方法与成员属性需要RDD子类实现的方法RDD的五要素RDD继承体系与算子概述RDD的子类转换算子动作算子总结前言在前面的17篇文章中，我们对以SparkContext和SparkEnv

LittleMagic·2023-11-27 07:33

Spark分布式机器学习源码分析：线性模型

Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。

大数据之眸·2023-11-27 06:55

(转)Spark DataFrame 开发指南

DataFrame是Spark在RDD之后新推出的一个数据集，从属于SparkSQL模块，适用于结构化数据。对于我们这些用惯了数据库表和散列/字典结构的人来说，尤为亲切。

达微·2023-11-27 06:40

大数据处理框架Spark：核心原理

大数据处理框架Spark：核心原理Spark是一个开源的大数据处理框架，它提供了高效的分布式数据处理和计算能力。本文将介绍Spark的核心原理，并提供相应的源代码示例。

雨中徜徉的思绪漫溢·2023-11-27 04:17

SparkSQL之catalyst

说到SparkSQL，我们不得不提到它的优化器（Catalyst），Catalyst是Sparksql的核心，它是针对于SparkSQL语句执行过程中的查询优化框架。

临界爵迹·2023-11-27 03:34

利用SparkSQL Logical Plan Parse 打造大数据平台SQL诊断利器

利用我们的源码，打造一款SQL的扫描工具~~原理篇Spark被大家津津乐道的经典SQL解析流程Sql语句经过Antlr4解析，生成UnresolvedLog

敏叔V587·2023-11-27 03:34

SparkSQL 源码解析 SparkPlanner

文章目录物理计划转换过程SparkPlan分类LeafExecNodeUnaryExecNodeBinaryExecNode其他类型的SparkPlanSparkPlannerPlanLaterplanSparkStrategy.applycollectPlaceholdersplaceholders

KD_·2023-11-27 03:03

Spark入门之五：SparkSQL的原理以及架构

1、SparkSQL的发展历程1.1HiveandSharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在

铁猴·2023-11-27 03:03

SparkSQL讲解

一SparkSQL是什么1.1SparkSQL的出现契机数据分析的方式数据分析的方式大致上可以划分为SQL和命令式两种：命令式在前面的RDD部分,非常明显可以感觉的到是命令式的,主要特征是通过一个算子,

北山璎珞·2023-11-27 03:32

sparkSQL1.1入门之二：sparkSQL运行架构

在介绍sparkSQL之前，我们首先来看看，传统的关系型数据库是怎么运行的。

chuozhi7142·2023-11-27 03:02

sparkSQL1.1入门之二：sparkSQL执行架构

在介绍sparkSQL之前。我们首先来看看，传统的关系型数据库是怎么执行的。

aofan9566·2023-11-27 03:31

SparkSQL之Optimized LogicalPlan生成过程

经过Analyzer的处理，UnresolvedLogicalPlan已经解析成为AnalyzedLogicalPlan。AnalyzedLogicalPlan中自底向上节点分别对应Relation、Subquery、Filter和Project算子。 AnalyzedLogicalPlan基本上是根据UnresolvedLogicalPlan一对一转换过来的，对于SQL语句中的逻辑能够很好

RainTicking·2023-11-27 03:31

Spark:读取mysql数据作为DataFrame

{Calendar,Date}importcom.iptv.domain.DatePatternimportcom.iptv.job.JobBaseimportorg.apache.spark.sql.expressions.Windowimportorg.apa

利伊奥克儿·2023-11-27 02:57

HBase权威指南

yeedom·2023-11-27 00:52

window环境下安装spark

spark是大数据计算引擎，拥有SparkSQL、SparkStreaming、MLlib和GraphX四个模块。

FTDdata·2023-11-26 22:42

讯飞星火知识库文档问答Web API的使用（二）

上一篇提到过星火spark大模型，现在有更新到3.0：给ChuanhuChatGPT配上讯飞星火spark大模型V2.0（一）同时又看到有知识库问答的webapi，于是就测试了一下。

悟乙己·2023-11-26 21:54

服务器项目怎么连接数据库,项目使用服务器上的数据库连接

项目使用服务器上的数据库连接内容精选换一换该任务指导用户使用Loader将数据从关系型数据库导入到Spark。创建或获取该任务中创建Loader作业的业务用户和密码。

sched yield·2023-11-26 19:22

大数据集群高可用组建搭建部署

大数据集群高可用安装部署包有：redis-3.2.10.tar.gzspark-2.2.0-bin-hadoop2.7.tgzhbase-1.2.1-bin.tar.gzhadoop-2.8.1.tar.gzapache-hive

Big-Hadoop·2023-11-26 19:18

云建站架构师rain·2023-11-26 19:45

传统数仓和clickhouse对比

背景传统数仓一般都是Hive+SparkSql作为代表，不过也包括Kylin等，而clickhouse是实时OLAP的代表，我们简单看下他们的对比传统数仓和clickhouse对比Hive+SparkSQL

lixia0417mul2·2023-11-26 19:06

Dr.Elephant入门

Dr.Elephant是一个Hadoop和Spark的性能监控和调优工具，由LinkedIn于2016年4月份开源。能自动化收集所有计算任务指标，进行数据分析，并以简单易用的方式进行呈现。

文贞武毅·2023-11-26 17:46

“夜光”：使用域隐藏代替域前置

文章来源｜MS08067内网安全知识星球本文作者：Spark（Ms08067内网小组成员）众所周知，谷歌云和亚马逊云于2018年宣布停止支持域前置技术。

Ms08067安全实验室·2023-11-26 14:19

推荐频道

大数据处理Spark