——Spark 第55页

分布式快照算法: Chandy-Lamport 算法

0.引言Spark的StructuredStreaming的ContinuousProcessingMode的容错处理使用了分布式快照（DistributedSnapshot）算法Chandy-Lamport

王知无(import_bigdata)·2023-11-05 21:11

Flink 的checkpoint 基于Chandy-lamport算法

Spark的StructuredStreaming的ContinuousProcessingMode的容错处理使用了分布式快照（DistributedSnapshot）算法Chandy-Lamport算法

黑头人·2023-11-05 21:06

SparkSQL

1、Spark简介2、Spark-Core核心算子3、Spark-Core4、SparkSQL文章目录一、概述1、简介2、DataFrame、DataSet3、SparkSQL特点二、SparkSQL编程

ha_lydms·2023-11-05 21:11

spark中monotonically_increasing_id的坑

本来以为发现了一个非常好用的函数monotonically_increasing_id，再join回来就行了，直接可以实现为：importorg.apache.spark.sql.functions.monotonically_increasing_iduserdf

like_red·2023-11-05 19:58

GeoSpark-[阶段性总结]

一、Geospark安装：我采用的是gradle安装，安装环境是Spark3.0.3+Scala.2.12.3plugins{id'java'id'scala'}group'org.example'version

一个懒散的人·2023-11-05 19:37

tez 使用问题

见图看现象是终端没有退出.如果终端退出了.yarn上的app也会消亡.终端退出后,yarn上显示FINISHED状态为SUCCEEDED..最终结论:DAGApplicationMaster占用yarn中的资源.类似SparkSession

wangliang938·2023-11-05 16:25

大数据开发笔记（四）：Hive分区详解

大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识，包括不限于hdfs、yarn、mapreduce、hive、sqoop、kafka、flume、spark

GoAI·2023-11-05 16:08

黑猴子的家：Spark SQL 的背景故事

1、SparkSQL的前身是Shark。

黑猴子的家·2023-11-05 12:08

java java.lang.NoClassDefFoundError: Could not initialize class XXX

cluster模式提交StartUp（shade）包到spark集群执行：首先报错：java.lang.NoClassDefFoundError:CouldnotinitializeclassXXX在类的初始化的时候出了问题

Thomas_Vader·2023-11-05 11:45

SparkRDD转DataFrame的两种方式

SparkRDD转DataFrame映射的方式packagecom.gofun.sparkSqlimportorg.apache.log4j.

gofun·2023-11-05 10:19

使用 Spark 跨集群同步HDFS数据

{Level,Logger}importorg.apache.spark.

lei_charles·2023-11-05 09:09

创意计划｜日更挑战1

毕业去了互联网公司选择了广告运营的工作目的是希望能在这份工作中学到广告世界的冰山一角或是创意或是策划或是剪辑幸运的是三者皆有不幸的是许是互联网流水线使然所学知识不过是尚足果腹尔尔希望我能坚持每日记忆我的sparkling

ee373095db42·2023-11-05 09:54

spark 2.1写入mysql spark 2.1 write to mysql

先说说spark2.1的SparkSession，原来的SparkContext已经并入SparkSession，所以需要这样开始：importorg.apache.spark.sql.SparkSessionvalsc

z_star·2023-11-05 08:01

CDH命令行部署Spark History Server

翻译：https://www.cloudera.com/documentation/enterprise/latest/topics/admin_spark_history_server.html#spark_history_server_cmdline

金刚_30bf·2023-11-05 05:54

The root scratch dir: /tmp/hive on HDFS should be writable.（已解决）

在进行PySpark开发的时候出现了一个小小的异常，鉴于网络内容较为繁杂，作为解决后的内容记录一下。

Han_Lin_·2023-11-05 03:21

pySpark ModuleNotFoundError: No module named ‘XXX‘

命名已经安装了jieba分词库了，但是无论是pycharm还是jupyter都无法找到，后来经过和同事的不断尝试发现了一个解决方案：在代码的开始部分添加相应的环境变脸并将指定的变量指向这个变量：解决方案：PYSPARK_PYTHON

Han_Lin_·2023-11-05 03:21

Spark Core解析 2：Scheduler 调度体系

SparkCore解析2：Scheduler调度体系Overview调度系统，是贯穿整个Spark应用的主心骨，从调度系统开始入手了解SparkCore，比较容易理清头绪。

Liam666·2023-11-05 03:37

Hadoop Hive Spark 之间的关系

Hadoop、Hive、Spark之间是什么关系？

Jarkata·2023-11-05 02:32

Flink（一） Flink是什么，特点和优势，应用场景

目前比较流行的大数据处理引擎ApacheSpark，基本上已经取代了MapReduce成为当前大数据处理的标准。

plenilune-望月·2023-11-05 01:16

准确度判断语义分割_Mask R-CNN（目标检测语义分割）测试

图像目标检测是图像识别的核心任务之一，之前就对这以方面进行总结和测试(http://blog.csdn.net/sparkexpert/arti

Zq19705·2023-11-04 23:54

spark程序中调用shell脚本

scala直接调用shell脚本是不行的，但是可以利用java调用shell脚本然后在spark代码中引入java代码实现。

寇寇寇先森·2023-11-04 23:25

大数据毕业设计选题推荐-热门旅游景点数据分析-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着现代科技的发展和人们生

IT研究室·2023-11-04 22:49

大数据毕业设计选题推荐-收视点播数据分析-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着数字化和网络化进程的加

IT研究室·2023-11-04 22:48

01数据处理工具

一数据分析工具1.Hadoopjava2.Spark3.HPCC4.Storm5.ApacheDrill二数据可视化工具1.离线Excel/GoogleSpreadsheet2.在线(Web)GoogleChartAPIFlotRephawlD3Visual.ly3

Initialization·2023-11-04 22:22

陌陌-pyspark

使用陌陌案例数据，用sparksql进行需求实现需求说明字段说明代码实现#conding=utf-8importosos.environ['JAVA_HOME']='/export/server/jdk1.8.0

5:30·2023-11-04 21:42

大数据毕业设计选题推荐-自媒体舆情分析平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着互联网的普及和

IT毕设梦工厂·2023-11-04 20:12

大数据毕业设计选题推荐-旅游景点游客数据分析-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着现代科技的发展

IT毕设梦工厂·2023-11-04 20:40

大数据技能竞赛（需要提供相关答疑私信）

全国职业院校技能大赛模拟题（平台搭建，离线数据清洗，实时数据分析，可视化，综合分析）大数据平台搭建大数据技术与应用技能竞赛题目解析及代码分析实验Hadoop完全分布式安装配置/伪分布式安装配置Spark

笨鸟先-森·2023-11-04 13:03

从TCP三次握手说起——浅析TCP协议中的疑难杂症

PeterWang_bupt贡献值：2等級：L10发布0评论1顶发布链接发布图文全部主题我关注的主题GEEKNEWSRustSwift全栈工程师/homePrestoDB人工智能前端Spark云计算潜水猿

yesIcando-bupt·2023-11-04 10:32

Java使用Spark入门级非常详细的总结

目录Java使用Spark入门环境准备安装JDK安装Spark编写Spark应用程序创建SparkContext读取文本文件计算单词出现次数运行Spark应用程序总结Java使用Spark入门本文将介绍如何使用

小白学编程123·2023-11-04 10:45

4.RDD编程指南

概述spark提供的重要的抽象是一个弹性分布式数据集(RDD)，能被并行操作的，在集群上分区的集合元素。

流月up·2023-11-04 09:52

5.RDD持久化

概述今日目标：RDD持久化RDD持久化原理RDD持久化策略如何选择RDD持久化策略案例相关文章如下：spark官网地址RDD编程指南RDD持久化RDD持久化原理Spark中最重要的功能之一是跨操作在内存中持久化

流月up·2023-11-04 09:52

3.使用spark开发第一个程序WordCount程序及多方式运行代码

概述WordCount是一个快速入门案例，单词统计，通过此案例，学习如何用scala来编写spark程序，spark支持java，scalal这些语言，目前在企业中大部分公司都是使用scala进行开发，

流月up·2023-11-04 09:51

6.Spark共享变量

概述共享变量共享变量的工作原理BroadcastVariableAccumulator共享变量共享变量的工作原理通常，当给Spark操作的函数(如mpa或reduce)在Spark集群上执行时，函数中的变量单独的拷贝到各个节点上

流月up·2023-11-04 09:47

mac使用pyspark & spark thrift server的使用

前段时间，做公司bot平台的日志处理，跟着大佬老王同志一起学spark。学了这么久，总算有些技巧分享给大家。

GoddyWu·2023-11-04 09:50

Spark SQL

一.SparkSqlSparkSQL可以简化RDD的开发，提高开发效率.提供了2个编程抽象，类似SparkCore中的RDD➢DataFrame➢DataSet1.SparkSQL特点➢易整合无缝的整合了

ytzhyp·2023-11-04 04:23

通过IDEA编写Spark SQL, 以编程方式执行Spark SQL查询, 使用Scala语言操作Spark SQL 25

1.使用Scala语言操作SparkSQL,将RDD转为DataFrame前面我们学习了如何在SparkShell中使用SQL完成查询，现在我们通过IDEA编写SparkSQL查询程序。

啊策策·2023-11-04 04:21

spark代码连接hive_本地spark连接hive相关问题总结

1、在win下去连接hive首先需要下载spark，下载地址：http://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview/spark-3.0.0-

weixin_39798626·2023-11-04 04:21

spark sql 本地调试_scala spark sql 本地调试

对于习惯了sql的开发同学来说，写sql肯定比较用map，filter内在算法因子要顺手的多。一，sbt项目1，build.sbt配置name:="scalatest"version:="0.1"scalaVersion:="2.11.8"libraryDependencies+="com.alibaba"%"fastjson"%"1.2.49"libraryDependencies++=Seq(

weixin_39679664·2023-11-04 04:50

idea maven spark 连接 sql server

在网上找了很久的方法，没有找到成功的，所以写一下参考官网：https://docs.microsoft.com/zh-cn/sql/connect/spark/connector?

qingDT·2023-11-04 04:18

IDEA本地执行Spark报错：is not a valid DFS filename

本地执行sparkstructuredstreaming报错，程序代码：defmain(args:Array[String]):Unit={valspark=SparkSession.builder.master

头顶榴莲树·2023-11-04 04:48

Windows下配置IDEA开发Spark(spark和hive整合，IDEA中standalone、yarn直接执行)

Windows下配置IDEA开发Spark(spark和hive整合，IDEA中standalone、yarn直接执行)本文介绍Windows下如何配置IDEA开发Spark，spark和hive整合，

laoda137·2023-11-04 04:17

使用 Spark-HBase-Connector 读取 HBase

{Level,Logger}importorg.apache.spark.sql.execution.datasources.hbase.

焉知非鱼·2023-11-04 04:58

Spark3.2教程（七）IDEA下Java开发Spark SQL

上一篇文章中，我们使用了Scala语言调用SparkSQL接口进行了开发，本篇文章我们使用Java语言进行同样业务功能的处理，依然是对JSON、Txt文本进行处理。

Java朱老师·2023-11-04 04:43

Spark SQL之IDEA中的应用

pom中添加依赖org.apache.sparkspark-sql_2.123.0.0Test1packagetest.wyh.sqlimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.SparkSessionobjectTestSQL

QYHuiiQ·2023-11-04 04:43

Spark3.2教程（六）IDEA下Scala开发Spark SQL

SparkSQL是为了提供对结构化数据处理而推出的技术。Spark自带的例子还是比较详尽而浅显易懂的。本次SparkSQL，我们通过研究Spark自带的教程demo来学习。

Java朱老师·2023-11-04 04:13

windows idea本地执行spark sql避坑

刘文钊1·2023-11-04 04:41

大数据之Spark（6）- SparkStreaming

1SparkStreaming概述1.1SparkStreaming是什么SparkStreaming用于流式数据的处理。

jackyan163·2023-11-04 03:34

SparkSQL的3种Join实现

对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景：BroadcastHashJoin：适合一张较小的表和一张大表进行joinShuffleHashJoin:适合一张小表和一张大表进行

麦子星星·2023-11-04 03:38

推荐频道

——Spark