E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark)
Spark
源码之CacheManager
Spark
源码之CacheManager篇CacheManager介绍1.CacheManager管理
spark
的缓存,而缓存可以基于内存的缓存,也可以是基于磁盘的缓存;2.CacheManager需要通过
小狼星I
·
2024-01-24 12:38
Hudi0.14.0 集成
Spark
3.2.3(IDEA编码方式)
本次在IDEA下使用Scala语言进行开发,具体环境搭建查看文章IDEA下ScalaMaven开发环境搭建。1环境准备1.1添加maven依赖创建Maven工程,pom文件:<projectxmlns="http://maven.apache.org/POM/4.0.0"
跟着大数据和AI去旅行
·
2024-01-24 11:46
大数据企业级实战
hudi
Hudi0.14.0集成
Spark
3.2.3(
Spark
Shell方式)
1启动1.1启动
Spark
Shell#For
Spark
versions:3.2-3.4
spark
-shell--jars/path/to/jars/hudi-
spark
3.2-bundle_2.12-0.14.0
跟着大数据和AI去旅行
·
2024-01-24 08:11
大数据企业级实战
hudi
Hudi0.14.0集成
Spark
3.2.3(
Spark
SQL方式)
1整合HiveForuserswhohave
Spark
-Hiveintegrationintheirenvironment,thisguideassumesthatyouhavetheappropriatesettingsconfiguredtoallow
Spark
tocreatetablesandregisterinHiveMetastore
跟着大数据和AI去旅行
·
2024-01-24 08:05
大数据企业级实战
hudi
学习
Spark
遇到的问题
【报错】AttributeError:‘
Spark
Context’objecthasnoattribute‘setcheckpointDir’本人传参:conf=
Spark
Conf().setAppName
黄黄黄黄黄莹
·
2024-01-24 07:20
spark
Spark
详解(八):
Spark
容错以及高可用性HA
1.Executor容错
Spark
支持多种运行模式,这些运行模型中的集群管理器会为任务分配运行资源,在运行资源中启动Executor,由Ex
MasterT-J
·
2024-01-24 07:19
Spark框架
Spark框架
Spark框架
Spark
DataFrame:从底层逻辑到应用场景的深入解析
本文将深入探讨
Spark
DataFrame的底层逻辑、发展由来以及应用场景。通过了解DataFrame的底层逻辑,我们可以更好地理解其在
Spark
中的重要地位。
{BOOLEAN}
·
2024-01-24 07:18
spark
大数据
分布式
Apache
Spark
中的广播变量分发机制
Apache
Spark
中的广播变量提供了一种机制,允许用户在集群中共享只读变量,并且每个任务都可以访问这个变量,而不需要在每次任务之间重新发送该变量。
{BOOLEAN}
·
2024-01-24 07:18
spark
大数据
分布式
大数据开发之
Spark
(RDD弹性分布式数据集)
第1章:rdd概述1.1什么是rddrdd(resilientdistributeddataset)叫做弹性分布式数据集,是
spark
中最基本的数据抽象。
Key-Key
·
2024-01-24 07:17
大数据
分布式
spark
弹性分布式数据集
深入理解
Spark
编程中的map方法
在
Spark
的上下文
{BOOLEAN}
·
2024-01-24 07:47
spark
大数据
分布式
Spark
运行架构以及容错机制
Spark
运行架构以及容错机制1.
Spark
的角色区分1.1Driver1.2Excuter2.
Spark
-Cluster模式的任务提交流程2.1
Spark
OnYarn的任务提交流程2.1.1yarn相关概念
李姓门徒
·
2024-01-24 07:41
大数据
Spark
spark
架构
java
spark
-flink设计思想之吸星大法-1
Spark
和Flink都是大数据处理框架,它们的设计思想有一些不同之处。以下是对它们设计思想的简要对比:数据模型和计算模型:
Spark
:
Spark
使用弹性分布式数据集(RDD)作为其核心数据结构。
{BOOLEAN}
·
2024-01-24 07:47
spark
flink
大数据
reduceByKey应用举例
PhotobyStefanStefancikfromPexels在进行
Spark
开发算法时,最有用的一个函数就是reduceByKey。
学习之术
·
2024-01-24 05:16
Spark
- 动态注册UDF
>昨天有位大哥问小弟一个
Spark
问题,他们想在不停
Spark
程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,
Spark
**还能这么玩?
kikiki4
·
2024-01-24 03:22
Spark
编程模型 RDD
Spark
编程模型有两个主要的抽象,第一个是弹性数据集RDD(ResilientDistributedDataset),第二个是共享变量:广播变量和累加器。首先了解以下RDD。
Alex90
·
2024-01-23 23:44
Grafana panel之Singlestat
它还可以将单个数字转换为文本值,并显示该时间序列的
spark
line摘要。在Grafana7.0中已将Stat面板代替Singlestat。但由于我用的还是老版的grafana所以还是决定
jeongee0328
·
2024-01-23 19:15
Spark
- 动态注册UDF
>昨天有位大哥问小弟一个
Spark
问题,他们想在不停
Spark
程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,
Spark
**还能这么玩?
kikiki5
·
2024-01-23 16:08
Spark
Core源码精读计划#22:BlockInfoManager与其实现的块锁机制
目录前言BlockInfoManager的成员属性及构造方法BlockInfoManager提供的锁方法获取读锁获取写锁释放锁锁降级删除BlockInfo总结前言在上一篇文章中,我们对与块相关的BlockId、BlockData和BlockInfo有了比较全面的理解。前面已经提到过,块在读写时有锁机制,并且委托给BlockInfoManager来管理。虽然BlockInfoManager的字面意思
LittleMagic
·
2024-01-23 15:23
Spark
RDD分区数和分区器
一、分区数如何决定1、数据源RDD数据源RDD的分区数由数据源的读取器决定,比如sc.textFile产生的rdd,分区数由TextInputFormat.getInputSplits()方法决定,具体源码追踪及解析如下:valrdd1=sc.textFile("data/tbPerson.txt")①Ctrl+B进入textFiletextFile底层其实就是通过hadoopFile去读文件②C
maplea2012
·
2024-01-23 15:40
spark
大数据
hadoop
AI绘画Midjourney绘画提示词Prompt入门到精通【宝藏级收藏】
一、AI绘画工具
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2024-01-23 15:35
人工智能
ChatGPT
AIGC
人工智能
AI作画
midjourney
2024最新AI系统ChatGPT网站源码+搭建部署教程文档,Midjourney绘画,GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+GPT-4识图理解/自定义知识库
一、前言
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2024-01-23 15:05
人工智能
AIGC
网站源码
人工智能
chatgpt
AI作画
语音识别
midjourney
gpt
2024最新AI创作系统ChatGPT源码,支持Midjourney绘画,GPT语音对话+ChatFile文档对话总结+DALL-E3文生图+GPT-4识图理解
一、前言
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2024-01-23 15:04
人工智能
AIGC
软件源码
人工智能
chatgpt
语音识别
AI作画
midjourney
prompt
最新ChatGPT商业运营版源码,AI绘画,Midjourney绘画,GPT-4V多模态模型识图理解+GPT语音对话+ChatFile文档对话总结+DALL-E3文生图
一、前言
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
只恨天高
·
2024-01-23 15:03
人工智能
chatgpt
程序源码
chatgpt
AI作画
midjourney
人工智能
AIGC
最新AI系统ChatGPT网站系统源码,支持AI绘画,GPT语音对话,ChatFile文档对话总结,DALL-E3文生图,MJ绘画局部编辑重绘
一、前言
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2024-01-23 15:32
人工智能
ChatGPT
网站源码
人工智能
chatgpt
语音识别
AI作画
DataFrame的基本使用--学习笔记
方法其中包括的方法有:select(),selectExpr(),groupby()/groupBy()where,orderBy(),sort(),limit(),withColumn(),frompy
spark
.sqlimport
Spark
Session
祈愿lucky
·
2024-01-23 14:59
大数据
学习
笔记
NVIDIA与
Spark
fun 的合作伙伴在 Hackster.io 上发起了人工智能创新挑战赛,喊你来参加!
NVIDIA与
Spark
fun的合作伙伴在Hackster.io上发起了人工智能创新挑战赛,喊你来参加!
扫地的小何尚
·
2024-01-23 14:28
人工智能
Stuuctured Streaming基础--学习笔记
Structuredstreaming介绍
spark
进行实时数据流计算时有两个工具:
Spark
Streaming:编写rdd代码处理数据流,可以解决非结构化的流式数据StructuredStreaming
祈愿lucky
·
2024-01-23 14:58
大数据
学习
笔记
kafka
五分钟了解常见的黑客设备
2.Digi
spark
:Attiny85Digi
spark
开发板可以模拟成日常使用的USB键盘进行模拟输入。利用Win系统,按下WIN+R打开并锁定到CMD的
网安攻城狮-小李
·
2024-01-23 13:50
web安全
安全
网络安全
黑客
黑客攻击
黑客技术
Py
spark
文章目录一、
Spark
Core1.
Spark
Context:2.
Spark
Session3.RDD4.Broadcast、Accumulator:5.
Spark
conf6.
Spark
Files7.StorageLevel
李明朔
·
2024-01-23 12:24
机器学习
spark-ml
Spark
(三十四)troubleshooting之解决yarn-cluster模式的JVM内存溢出无法执行问题
一、背景实践经验,碰到的yarn-cluster的问题:1、有的时候,运行一些包含了
spark
sql的
spark
作业,可能会碰到yarn-client模式下,可以正常提交运行;yarn-cluster模式下
文子轩
·
2024-01-23 12:06
鸿蒙开发-OpenHarmony轻量系统之获取当地时间
环境OpenHarmony3.1润和hi
spark
_pegasusHi3861开发板DevEcoDeviceTool串口调试助手SNTP
移动开发技术栈
·
2024-01-23 11:21
鸿蒙开发
harmonyos
华为
程序员
鸿蒙开发
开发语言
鸿蒙系统
鸿蒙next
大数据开发之
Spark
(入门)
第1章:
Spark
概述1.1什么是
spark
回顾:hadoop主要解决,海量数据的存储和海量数据的分析计算。
spark
是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key
·
2024-01-23 09:45
大数据
spark
分布式
Spark
解析JSON文件,写入hdfs
一、用
Spark
context读入文件,map逐行用Gson解析,输出转成一个caseclass类,填充各字段,输出。解析JSON这里没有什么问题。
gegeyanxin
·
2024-01-23 09:42
spark
json
hdfs
Gson
rdd转Dataframe
Spark
UI中 Shuffle Exchange 和 BroadcastExchange 中的 dataSize 值为什么不一样
背景
Spark
3.5最近在看
Spark
UI上的一些指标看到一个很有意思的东西,相邻的ShuffleExechange和BroadcastExechange中的datasize居然不一样,前者为765KB
鸿乃江边鸟
·
2024-01-23 09:07
spark
ui
大数据
kafka的基本使用--学习笔记
catalyst引擎作用:将
Spark
Sql转换成
spark
rdd任务提交进行计算解析器将
spark
sql代码解析成语法树(未解析的逻辑查询计划)分析器将语法树解析成解析后的逻辑查询计划对逻辑查询计划进行属性和关系关联检验优化器将解析后的逻辑查询计划进行优化
祈愿lucky
·
2024-01-23 08:32
大数据
kafka
学习
笔记
map与flatmap区别
Spark
中map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;-而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:操作1:同map函数一样:对每一条输入进行指定的
不加班程序员
·
2024-01-23 06:25
spark
map
Hadoop相关
spark
map
用graphx实现Bronkerbosch计算极大团
请结合Bronkerbosch算法描述查看,该方法是在朴素的Bronkerbosch算法上进行改进,属于 带轴的Bron_Kerbosch算法importorg.apache.
spark
.graphx
不加班程序员
·
2024-01-23 06:25
spark
算法
Hadoop相关
graphx
Bron_Kerbosch
cliques
完全图
Spark
中字符串和json、map格式相互转化
Spark
中字符串和json格式相互转化字符串转为mapimportorg.json4s.DefaultFormatsimportorg.json4s.jackson.JsonMethods.parsevalad
不加班程序员
·
2024-01-23 06:54
Hadoop相关
spark
scala
spark
json
map
zeppelin部署文档
后台支持接入多种数据处理引擎,如
spark
,hive等。
不加班程序员
·
2024-01-23 06:54
Hadoop相关
elasticsearch
spark
spark
大数据
开发工具
hbase
通过
Spark
向Kafka写入数据
1、·将KafkaProducer利用lazyval的方式进行包装packagecn.com.m.utilimportjava.util.concurrent.Futureimportorg.apache.kafka.clients.producer.{KafkaProducer,ProducerRecord,RecordMetadata}classKafkaSink[K,V](createPro
不加班程序员
·
2024-01-23 06:24
Hadoop相关
kafka
spark
kafka
spark
Spark
运行流程
参考博文:https://blog.csdn.net/qq_17677907/article/details/88685705Apache
Spark
是专为大规模数据处理而设计的快速通用的计算引擎。
Cool_Pepsi
·
2024-01-23 02:12
大数据
spark
数据操作——无类型的转换算子
无类型的转换算子以下算子有@Test的前置条件//1.创建
Spark
Sessionval
spark
=
Spark
Session.builder().appName("trans_test").master
我像影子一样
·
2024-01-23 02:36
Spark
大数据
spark
大数据
scala
sql
数据操作——Column 对象
对每条数据都生成一个值2.Column对象如何创建’单引号’在Scala中是一个特殊的符号,通过’会生成一个Symbol对象,Symbol对象可以理解为是一个字符串的变种,但是比字符串的效率高很多,在
Spark
我像影子一样
·
2024-01-23 02:34
Spark
大数据
spark
大数据
mysql
hive
scala
评《避风港》
今天要说的这本小说名字叫《避风港》,作者是尼古拉斯•斯帕克思(Nicholas
Spark
s)尼古拉斯•斯帕克思(Nicholas
Spark
s),美国超级畅销小说作家,美国纯爱小说天王,被称为“全世界最擅长说故事的人
是斑大人呀
·
2024-01-22 21:01
(转)
Spark
Streaming遇到问题分析
parkStreaming遇到问题分析1、
Spark
2.0之后搞了个StructuredStreaming还没仔细了解,可参考:https://github.com/lw-lin/Coo...2、
Spark
达微
·
2024-01-22 20:06
大数据学习之 Flink
目录一:简介二:为什么选择Flink三:哪些行业需要四:Flink的特点五:与
spark
Streaming的区别六:初步开发七:Flink配置说明八:环境九:运行组件一:简介Flink是一个框架和分布式得计算引擎
会编程的海贼王
·
2024-01-22 19:58
Flink
大数据
Flink
大数据之Flink的看了就可入门
2Flink对比
Spark
Spark
是一种基于内存的
大数据的江湖
·
2024-01-22 19:56
大数据
#
Flink
flink
大数据学习之Flink,10分钟带你初步了解Flink
流式数据处理的发展和演变1.流处理和批处理2.传统事务处理2.1传统事务处理架构编辑3.有状态的流处理4.Lambda架构5.新一代流处理器七、Flink的特性总结1.Flink的核心特性2.分层API八、FlinkVS
Spark
1
十二点的泡面
·
2024-01-22 19:23
大数据
Flink
大数据
学习
flink
Spark
消费Kafka的两种方式
原理如何保证数据不丢失但是会导致数据重复问题优点缺点Direct(NoReceiver)方式code特点优点缺点介绍kafka版本,kafka0.8支持Receiver和DirectKafka版本大于等于0.10.0,且
Spark
这个程序猿可太秀了
·
2024-01-22 17:57
#
spark
#
kafka
spark内核
kafka
spark
AQE优化和源码
介绍AQE全称是AdaptiveQueryExecution,官网介绍如下PerformanceTuning-
Spark
3.5.0DocumentationAQE做了什么AQE是
Spark
SQL的一种动态优化机制
这个程序猿可太秀了
·
2024-01-22 17:56
spark内核
spark
AQE
Spark源码
Spark优化
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他