E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark学习之路
Spark
Exchange节点和Partitioning
Exchange在explain时,常看到Exchange节点,这个节点其实就是发生了数据交换此图片来自于网络截取BroadcastExchangeExec主要是用来广播的ShuffleExchangeExec里面决定了数据分布的方式和采用哪种shuffle在这里可以看到好几种不同的分区器shufleManager创建不同的shuffle方式Distribution与PartitioningDis
orange大数据技术探索者
·
2024-01-31 19:34
#
源码探索文章迁移
大数据
spark源码
shuffle
window环境下安装
spark
spark
是大数据计算引擎,拥有
Spark
SQL、
Spark
Streaming、MLlib和GraphX四个模块。
FTDdata
·
2024-01-31 17:06
我的新媒体学习日记
转眼快2个月过去了,我的新媒体
学习之路
也刚刚结束了一个节点,开启了另一个重要的旅程。
漫生杂谈
·
2024-01-31 16:24
Scala核心编程 第一章—Scala语言概述
一、Scala语言解释1.什么是Scala语言
Spark
—新一代内存级大数据计算框架,是大数据的重要内容。
Spark
就是使用Scala编写的。因此为了更好的学习
Spark
,需要掌握Scala这门语言。
我是星星我会发光i
·
2024-01-31 15:47
Scala核心编程
第一章
Scala语言概述
flink sql运用入门
Job)#步骤4:停止集群#三、SQL客户端#1、准备sql涉及的lib包2、编写sql脚本3、webui查看总结前言目前我司项目中有实时大屏的需求,涉及实时计算部分的选型(以开源为基础),目前主流选择有
spark
yc_zlj
·
2024-01-31 11:21
大数据
flink
大数据
Apache Flink -任意文件写入漏洞复现(CVE-2020-17518)
1、产品简介ApacheFlink是高效和分布式的通用数据处理平台,由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎(简单来说,就是跟
spark
类似)
OidBoy_G
·
2024-01-31 10:52
漏洞复现
apache
flink
安全
web安全
网络安全
[
Spark
] 如何设置
Spark
资源
转自1.公众号[
Spark
学习技巧]如何设置
Spark
资源2.
Spark
性能优化篇一:资源调优
Spark
和YARN管理的两个主要资源:CPU和内存应用程序中每个
Spark
Executor都具有相同的固定数量的核心和相同的固定堆大小
LZhan
·
2024-01-31 10:07
读书感悟
在堂姐的鼓励下,一开始我每天能坚持读一小章,后来读着读着学习力被完全拨动,有时能连续读一两个小时,就这样我开启了我的经典
学习之路
。
六月溪
·
2024-01-31 09:26
java进阶
大数据史上最全Flink面试题,高薪必备,大数据面试宝典史上最全Hadoop面试题:尼恩大数据面试宝典专题1史上最全HBase面试题,高薪必备,架构必备史上最全Hive面试题,高薪必备,架构必备绝密100个
Spark
don't_know
·
2024-01-31 09:44
java
py
spark
学习-
spark
.sql.functions 聚合函数
https://
spark
.apache.org/docs/3.4.1/api/python/reference/py
spark
.sql/functions.html1.approx_count_distinct
heiqizero
·
2024-01-31 08:02
spark
spark
【
Spark
系列6】如何做SQL查询优化和执行计划分析
Apache
Spark
SQL使用Catalyst优化器来生成逻辑执行计划和物理执行计划。逻辑执行计划描述了逻辑上如何执行查询,而物理执行计划则是
Spark
实际执行的步骤。
周润发的弟弟
·
2024-01-31 08:01
spark
sql
大数据
【
Spark
系列5】Dataframe下常用算子API
Apache
Spark
DataFrameAPI提供了丰富的方法来处理分布式数据集。以下是一些常见的DataFrameAPI类别和方法,但这不是一个完整的列表,因为API非常广泛。
周润发的弟弟
·
2024-01-31 08:31
从零开始搞大数据
spark
大数据
分布式
(一)Py
Spark
3:安装教程及RDD编程(非常详细)
目录一、py
spark
介绍二、Py
Spark
安装三、RDD编程1、创建RDD2、常用Action操作①collect②take③takeSample④first⑤count⑥reduce⑦foreach⑧countByKey⑨saveAsTextFile3
唯余木叶下弦声
·
2024-01-31 08:57
大数据
python
python
spark
spark-ml
pyspark
Spark
性能调优
Spark
性能调优executor内存不足用`UNIONALL`代替`UNION`persist与耗时监控executor内存不足问题表现1:Containerxxisrunningbeyondphysicalmemorylimits.Currentusage
HanhahnaH
·
2024-01-31 08:26
Spark
spark
大数据
分布式
Spark
如何用累加器Accumulator收集日志
Spark
如何用累加器Accumulator收集日志Accumulator如何使用Accumulator收集日志
Spark
任务的实际运算是交由众多executor来执行的,如果再执行算子内部打印日志,是需要到对应的
HanhahnaH
·
2024-01-31 08:03
Spark
spark
大数据
分布式
分布式虚拟文件系统,如何实现多种存储系统的融合
随着大数据技术和人工智能技术的发展,各种框架应运而生,比如大数据领域中的MapReduce和
Spark
,人工智能领域中的TensorFlow和PyTorch等。
数据存储张
·
2024-01-31 07:20
分布式
大数据-
Spark
-关于Json数据格式的数据的处理与练习
上一篇:大数据-MapReduce-关于Json数据格式的数据的处理与练习-CSDN博客16.7Json在
Spark
中的引用依旧利用上篇的数据去获取每部电影的平均分{"mid":1,"rate":6,"
王哪跑nn
·
2024-01-31 06:50
大数据
spark
大数据
spark
json
大数据开发:hadoop系统搭建以及
spark
编程
csdn这个坑先留着…传送门:https://github.com/louxinyao/Hadoop-
spark
墨染枫
·
2024-01-31 06:47
大数据开发
大数据
分布式
hadoop
spark
2024.1.25 Object_basic 用户画像标签开发过程 面向对象定义基类
/usr/bin/envpython#@desc:__coding__="utf-8"__author__="bytedance"frompy
spark
.sqlimport
Spark
Session,DataFramefrompy
spark
.sql.typesimportStringTypefr
白白的wj
·
2024-01-31 06:03
python
大数据
spark
database
elasticsearch
2024.1.20 用户画像标签开发,面向过程方法
/usr/bin/envpython#@desc:__coding__="utf-8"__author__="bytedance"frompy
spark
.sqlimport
Spark
Session,DataFramefrompy
spark
.sql.typesimportStringTypefromcom.bytedance.tag.base.parse_ruleimportEsMetaimpo
白白的wj
·
2024-01-31 06:32
python
大数据
hadoop
elasticsearch
spark
大数据存储与处理技术之
Spark
1、
Spark
简介•
Spark
最初由美国加州伯克利大学(UCBerkeley)的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序•2013年
Spark
小嘤嘤怪学
·
2024-01-31 05:28
spark
hadoop
2024.1.30
Spark
SQL的高级用法
目录1、如何快速生成多行的序列2、如何快速生成表数据3.开窗函数排序函数平分函数聚合函数向上向下窗口函数1、如何快速生成多行的序列--需求:请生成一列数据,内容为1,2,3,4,5仅使用select语句selectexplode(split('1,2,3,4,5',','))asnum;--需求:请生成一列数据,内容1~100python中有一个函数range(1,100)--SQL函数:http
白白的wj
·
2024-01-31 05:56
spark
sql
大数据
database
hive
数据仓库
数据库
qt5-入门-组件布局
参考:Qt
学习之路
_w3cschool本地环境:win10专业版,64位组件布局绝对定位:给出确切的坐标值和尺寸,缺点是当用户改变窗口大小时,需要写函数响应变化(或者禁止用户改变大小)布局:只要把组件放入一种布局中
陆沙
·
2024-01-31 01:00
qt
qt
开发语言
qt5-入门
参考:qt学习指南Qt5和Qt6的区别-CSDN博客Qt
学习之路
_w3cschoolQt教程,Qt5编程入门教程(非常详细)本地环境:win10专业版,64位技术选择Qt5力推QML界面编程。
陆沙
·
2024-01-31 01:28
qt
qt
开发语言
天赋与汗水
学习之路
,师傅领进门,修
黑与红
·
2024-01-31 01:07
疫情的这30天,我是这样度过的…
正是体验到阅读的力量,我也希望自己可以用知识影响到和我一样需要的人,于是我报名了正式训练营开始了
学习之路
。由于课程是到2月10号开营,而恰逢过年期间,我可以有时间放纵
郭梓沐
·
2024-01-31 01:19
Structured Streaming 基于 event-time 的窗口(Java语言)
在这种机制下,即不必考虑
Spark
陆续接收事件的顺序是否与事件发生的顺序一致,也不必考虑事件到达
Spark
的时间与事件发生时间的关系。因此,它在提高数据处理精度的同时,大大减少了开发者的工作量。
2301_79479951
·
2024-01-31 00:19
java
开发语言
spark
启动bin/
spark
-shell警告:WARN NativeCodeLoader: Unable to load native-hadoop library for your platform.
启动bin/
spark
-shell警告:WARNNativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
2301_79479951
·
2024-01-31 00:18
spark
hadoop
大数据
【学习笔记】破山中贼易,破心中贼难(中)
阳明先生.jpg【成功交易就是不断克服人性】交易之路本是场
学习之路
,对每个人而言,失败几乎都是自己造成的。既然你要在这个市场上生存,你就得改变自己的生活频率而去追随市场。
坤乾泰
·
2024-01-30 21:53
003-90-16【
Spark
SQL&DF&DS】慈航寺庙山脚下八卦田旁油菜花海深处人家王二爷家女儿大红用GPT学习Rdd和Dataaset 以及DataFrame 的转换
003-90-16【
Spark
SQL&DF&DS】慈航寺庙山脚下八卦田旁油菜花海深处人家王二爷家女儿大红用GPT学习Rdd和Dataaset以及DataFrame的转换【
Spark
SQL&DF&DS】Dataset
一杯派蒙
·
2024-01-30 21:31
spark
gpt
学习
spark
大数据
分布式
Spark
SQL之函数解析
!!expr-Logicalnot.不的意思Examples:>SELECT!true;false>SELECT!false;true>SELECT!NULL;NULLSince:1.0.0!=expr1!=expr2-Returnstrueifexpr1isnotequaltoexpr2,orfalseotherwise.如果expr1不等于expr2则返回true,否则返回false。Argu
OnePandas
·
2024-01-30 21:00
Spark
spark
督导即复盘~深深海底行
曼陀罗在
学习之路
上,遇到很多的曼友一起追随学习,进入曼陀罗心理治疗师专业行列。作为领头人,看着大家激情满满收
心怡曼陀罗心理工作室
·
2024-01-30 20:47
从术语到
Spark
,10篇必读大数据学习资源
本文给想进入大数据领域的朋友提供了一系列的资源,由浅入深,比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前,我们已就数据可视化进行了深入探讨。这次,我们将从更基本的概念讲起,以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领大家阅读介绍大数据的相关文章,研究网络上流
大数据的时代
·
2024-01-30 20:34
Spark
Submit提交时,Json字符串作为参数
今天遇到一个把json作为参数传入
spark
程序中的问题原因如下,
Spark
源码中会对把}}和{{替换掉@VisibleForTestingpublicstaticStringexpandEnvironment
南修子
·
2024-01-30 19:21
Spark
读取、写入时序数据库TDengine以及TDengine概述
一、TDengine是什么TDengine是一款高性能、分布式、支持SQL的时序数据库,其核心代码,包括集群功能全部开源(开源协议,AGPLv3.0)。TDengine能被广泛运用于物联网、工业互联网、车联网、IT运维、金融等领域。除核心的时序数据库功能外,TDengine还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能,最大程度减少研发和运维的复杂度。1.TDengine总结出了物联网
Alex_81D
·
2024-01-30 18:10
数据库
大数据基础
时序数据库
PDF如何提取页面
操作软件:旋风PDF编辑器下载地址:http://www.679
spark
le.com/pdfeditor1.下载旋风PDF编辑器安装完之后,点击右下角的打开文件按钮
六号_db7a
·
2024-01-30 18:24
如何接手一个大数据项目
以下是个人的一些思考总结:了解一个大数据系统,我认为需要从以下几个方面入手:宏观方面:1.了解系统的整体架构和技术栈:需要了解系统中使用的技术栈,包括各种大数据组件和工具,例如Hadoop、
Spark
、
Mmj666
·
2024-01-30 15:19
大数据
Spark
的核心RDD(Resilient Distributed Datasets弹性分布式数据集)
Spark
的核心RDD(ResilientDistributedDatasets弹性分布式数据集)铺垫在hadoop中一个独立的计算,例如在一个迭代过程中,除可复制的文件系统(HDFS)外没有提供其他存储的概念
fcyh
·
2024-01-30 15:46
Spark
Spark
RDD(弹性分布式数据集)
1.RDD1.1RDD是什么RDD(ResilientDistributedDataset):弹性分布式数据集,是
Spark
对数据集的抽象,代表一个只读、不可变、可分区、其中元素可进行并行计算的集合,并且是可跨越集群节点进行并行操作的有容错机制的集合
JOEL-T99
·
2024-01-30 15:15
BigData
spark
RDD
理解
Spark
中RDD(Resilient Distributed Dataset)
文章目录1RDD基础1.1分区1.2不可变1.3并行执行2RDD结构2.1
Spark
Context、
Spark
Conf2.2Partitioner2.3Dependencies2.4Checkpoint
小何才露尖尖角
·
2024-01-30 15:45
Spark
spark
RDD
弹性分布式数据集
依赖关系
RDD结构
Spark
RDD基础实战(弹性分布式数据集)
http://
spark
.apache.org/docs/latest/sql-data-sources-json.htmlhttp://jsonlines.org/examples/官网的准备的数据集合启动
蜗牛杨哥
·
2024-01-30 15:14
Spark
RDD编程实战指南
大数据
Spark
弹性分布式数据集(Resilient Distributed Dataset)
1.弹性分布式数据集RDD1.1.RDD概述1.1.1.什么是RDDRDD(ResilientDistributedDataset)叫做分布式数据集,是
Spark
中最基本的数据抽象,它代表一个不可变、可分区
你狗
·
2024-01-30 15:14
大数据
scala
Spark
——(RDD(弹性分布式数据集),RDD的创建和操作,Transformation 算子)
文章目录RDD(弹性分布式数据集)RDD的创建和操作常见的Transformation算子RDD(弹性分布式数据集)RDD(ResilientDistributedDataset)是
Spark
中的核心概念
想做CTO的任同学...
·
2024-01-30 15:12
Spark
spark
大数据
后端
开发语言
java
spark
学习笔记:弹性分布式数据集RDD(Resilient Distributed Dataset)
弹性分布式数据集RDD1.RDD概述1.1什么是RDDRDD(ResilientDistributedDataset)叫做弹性分布式数据集,是
Spark
中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合
黄道婆
·
2024-01-30 15:39
bigdata
【
Spark
】之 RDD(Resilient Distributed Dataset)
文章目录RDD编程模型一、RDD之间的依赖关系(Dependency)如何生成RDD?二、RDD计算(1)RDD获得数据(2)RDD计算任务(3)RDD操作算子三、RDD容错(1)`Lineage`(2)`checkpoint`机制RDD编程模型需求:需要在多个并行操作之间重用工作数据集。典型场景:机器学习和图应用中常用的迭代算法(每一步对数据执行相似的函数)数据重用隐藏在系统实现背后,没有将重用
fanfan4569
·
2024-01-30 15:39
【Spark】
Spark
RDD
Spark
Core之RDD---弹性分布式数据集
不可变3.依赖关系4.缓存(cache)5.检测点(CheckPoint)四、RDD的创建1.通过并行化的方式创建RDD2.读取文件生成RDD3.通过其他RDD转换五、RDD运行过程RDD的设计与运行原理
Spark
孤独の√ 3
·
2024-01-30 15:09
大数据
#
spark
分布式
【
Spark
】RDD(Resilient Distributed Dataset)究竟是什么?
目录基本概念官方文档概述含义RDD出现的原因五大属性以单词统计为例,一张图熟悉RDD当中的五大属性解构图RDD弹性RDD特点分区只读依赖缓存checkpoint基本概念官方文档介绍RDD的官方说明:http://
spark
.apache.org
关于我转生变成程序猿这档事
·
2024-01-30 15:08
Spark
大数据
spark
RDD
弹性分布式数据集
大数据自学
横扫
Spark
之 - RDD(Resilient Distributed Dataset)弹性分布式数据集
概念二、理解1.弹性2.分布式3.数据集三、5个主要特性1.一个分区列表2.作用在每个分区上的计算函数3.一个和其他RDD的依赖列表4.一个分区器(可选)5.计算的最佳位置(可选)一、概念 RDD就是
Spark
阿年、嗯啊
·
2024-01-30 15:07
Spark
分布式
spark
大数据
RDD
RDD的5个主要特性
数据治理实践 | 小文件治理
背景小文件是如何产生的:日常任务及动态分区插入数据(使用的
Spark
2MapReduce引擎),产生大量的小文件,从而导致
语兴数据
·
2024-01-30 15:29
大数据
数据治理
小文件治理
数据仓库
最新AI系统ChatGPT网站系统源码,支持Midjourney绘画V6 ALPHA绘画模型,GPT语音对话+ChatFile文档对话总结+DALL-E3文生图
一、前言
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2024-01-30 14:49
人工智能
ChatGPT
软件源码
人工智能
chatgpt
语音识别
midjourney
gpt
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他