E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark算子
必记宋词35首(上) 余秋雨新作《中国文化课》推荐
1-苏轼-《念奴娇·赤壁怀古》(大江东去)2-苏轼-《水调歌头·中秋》(明月几时有)3-苏轼-《卜
算子
·黄州定慧院寓居所》(缺月挂疏桐)4-苏轼-《江城子·乙卯正月二十日夜记梦》(十年生死两茫茫)5-苏轼
小狮子王后
·
2024-03-11 07:38
Spark
从入门到精通29:
Spark
SQL:工作原理剖析以及性能优化
Spark
SQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的数据仓库,例如Hive。
勇于自信
·
2024-03-11 00:20
大数据开发(Hadoop面试真题-卷九)
3、
Spark
mapjoin的实现原理?4、
Spark
的stage如何划分?在源码中是怎么判断属于ShuffleMapStage或ResultStage的?5、
Spark
reduceByKe
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
Spark
Streaming(二):DStream数据源
1、输入DStream和Receiver输入(Receiver)DStream代表了来自数据源的输入数据流,在之前的wordcount例子中,lines就是一个输入DStream(JavaReceiverInputDStream),代表了从netcat(nc)服务接收到的数据流。除了文件数据流之外,所有的输入DStream都会绑定一个Receiver对象,该对象是一个关键的组件,用来从数据源接收数
雪飘千里
·
2024-03-09 01:28
Spark
常见问题汇总
注意:如果Driver写好了代码,eclipse或者程序上传后,没有开始处理数据,或者快速结束任务,也没有在控制台中打印错误,那么请进入
spark
的web页面,查看一下你的任务,找到每个分区日志的stderr
midNightParis
·
2024-03-08 03:25
spark
spark
Spark
Shop开源可商用,匹配小程序H5和PC端带分销功能!
Spark
Shop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统;包含小程序商城、H5商城、公众号商城、PC商城、App,支持页面diy、秒杀、优惠券
行动之上
·
2024-03-05 15:09
源码免费下载
小程序
【Hadoop】在
spark
读取clickhouse中数据
clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.
spark
.sql.SaveModeimportorg.apache.
spark
.sql.
Spark
SessiondefgetCKJdbcProperties
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
Spark
-sql Adaptive Execution动态调整分区数量,调整输出文件数
有时间为了解决小文件问题,我们把
spark
.sql.shuffle.partitions这个参数调整的很小,但是随着时间的推移,数据量越来越大,当初设置的参数就不合适了,那有没有一个可以自我伸缩的参数呢
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hive join中出现的数据暴增(数据重复)
我们来看一下案例:
spark
-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid
不想起的昵称
·
2024-03-02 15:03
hive
大数据
hadoop
hive
hive四种常见的join
1.左连接leftjoin
spark
-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname
不想起的昵称
·
2024-03-02 15:33
hive
大数据
hadoop
hdfs
hive
03OpenCV图像的掩膜操作
文章目录掩膜操作提高图像的对比度获取图像像素制作图像掩膜
算子
防止像素溢出
算子
全部代码掩膜操作提高图像的对比度红色是中心像素,从上到下,从左到右对每个像素做同样的处理操作,得到最终结果就是对比度提高之后的输出图像
吃个糖糖
·
2024-03-01 11:23
OpenCV
c++
opencv
Spark
整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好
spark
,如果不会安装可以跳转到
Spark
安装与配置(单机版)3、需要安装配置好Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
在
Spark
数据导入中的一些实践细节
best-practices-import-data-
spark
-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化,逐渐体现出了性能上的瓶颈:单机不足以支持更大的图谱
NebulaGraph
·
2024-02-27 07:53
Spark
开发_简单DataFrame判空赋值逻辑
valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.
spark
.sql.DataFrame
Matrix70
·
2024-02-26 22:06
Spark开发_工作
spark
大数据
分布式
Spark
SQL编程指南
Spark
SQL编程指南
Spark
SQL是用于结构化数据处理的一个模块。同
Spark
RDD不同地方在于
Spark
SQL的API可以给
Spark
计算引擎提供更多地信息,例如:数据结构、计算
算子
等。
<>=
·
2024-02-26 05:46
spark
《卜
算子
·做人》
做人犹如草,踏实就很好。莫与大树争高低,不会有烦恼。做人犹如草,坚强就很好。莫与花儿比娇艳,心态很重要!
阳光_986c
·
2024-02-24 06:15
毛主席部分诗词
2、《卜
算子
·咏梅》风雨送春归,飞雪迎春到。已是悬崖百丈冰,犹有花枝俏。俏也不争春,只把春来报。待到山花烂漫时,她在丛中笑。3、《采桑子·重阳》人生易老天难老,岁岁重阳。今又重阳,战地黄花分外香。
人在旅途_934c
·
2024-02-20 23:12
卜
算子
:心自情薄伤
图片发自App幽幽一梦回,萍聚流光浅。衰草斜阳又是秋,忽尔皆分散。心自情薄伤,恨尽相思短。看得人生几沉浮,客去红尘远。图片发自App图片发自App
西山画眉
·
2024-02-20 21:39
图像预处理技术与算法
锐化处理:如使用高通滤波器(如拉普拉斯
算子
、Sobel边缘检测算
木子n1
·
2024-02-20 18:23
算法
嵌入式开发
算法
数码相机
计算机视觉
中科星图——影像卷积核函数Kernel之gaussian高斯核函数核
算子
、Laplacian4核
算子
和square核
算子
等的分析
简介高斯核函数是图像处理中常用的一种卷积核函数。它是一种线性滤波器,可以实现图像的平滑处理。在图像处理中,高斯核函数的卷积操作可以用于去噪、平滑和模糊等任务。高斯核函数的定义可以表示为一个二维高斯分布函数,表达式如下:G(x,y)=(1/(2*pi*sigma^2))*exp(-(x^2+y^2)/(2*sigma^2))其中,x和y表示图像中的像素位置,sigma表示高斯分布的标准差。高斯核函数
此星光明
·
2024-02-20 18:14
中科星图
计算机视觉
人工智能
深度学习
核函数
高斯
卷积
云计算
Pandas将单列XML格式数据转化为字典再拆分成多列 列表拆分成多列
单列XML扩展成多列遇到了个需求是需要把XML格式的数据拆分成多列的一个需求,本来需要使用
spark
进行处理的,但是没想到什么优雅的解决方案,所以打算先使用pandas找找感觉。样例数据如下所示。
aoyi1337
·
2024-02-20 18:22
python
航班数据预测与分析
数据清洗:数据存储到HDFS:使用py
spark
对数据进行分析://数据导入frompy
spark
import
Spark
Contextfrompy
spark
.sqlimportSQLContextsc=
林坰
·
2024-02-20 16:15
大数据
spark
航班数据分析
杜艳辉
再聊阴影裁剪与高性能视锥剔除
【U
Spark
le专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!
·
2024-02-20 16:50
unity
spark
为什么比mapreduce快?
spark
为什么比mapreduce快?
·
2024-02-20 16:30
后端
[CDH]
Spark
属性、内存、CPU相关知识梳理
version:2.4.0-cdh6.3.0文章目录
spark
properties常用配置
spark
task
spark
task使用的cpu核数
spark
architecture
spark
memory
spark
onyarn
枪枪枪
·
2024-02-20 15:24
Spark
spark
scala
big
data
卜
算子
.喜迎二十大
十月红旗飘,京阙春潮起。荟萃群英议大猷,最是民生计。风正又扬帆,万里征程续!壮志凌云伟业兴,盛世人皆喜。
白云之外
·
2024-02-20 14:01
spark
CTAS nuion all (union all的个数很多)导致超过
spark
.driver.maxResultSize配置(2G)
背景该sql运行在
spark
版本3.1.2下的thriftserver下现象在运行包含多个union的
spark
sql的时候报错(该sql包含了50多个uinon,且每个union字查询中会包含join
鸿乃江边鸟
·
2024-02-20 13:29
YOLOv8推理程序
YOLOv8单独推理,有时候我们自定义的模块
算子
无法正常转换为其他框架,而且需要做成应用,因此需要一个单独推理的程序,返回的是识别后的照片还有各个类别及其对应数量。
AIOT魔法师
·
2024-02-20 13:12
YOLOv5和YOLOv8
YOLO
yolov8
深度学习基础——卷积神经网络(一)
卷积操作与自定义
算子
开发卷积是卷积神经网络中的基本操作,对于图像的特征提取有着关键的作用,本文首先介绍卷积的基本原理与作用,然后通过编写程序实现卷积操作,并展示了均值、高斯与sobel等几种经典卷积核的卷积效果
牛哥带你学代码
·
2024-02-20 13:04
Python数据分析
python数学建模算法
深度学习
cnn
人工智能
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如HadoopYARN,但也可以设置作为独立集群甚至库运行,例如
Spark
的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
大数据 -
Spark
系列《六》- RDD详解
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 -
Spark
系列《七》- 分区器详解
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
Hive切换引擎(MR、Tez、
Spark
)
Hive切换引擎(MR、Tez、
Spark
)1.MapReduce计算引擎(默认)sethive.execution.engine=mr;2.Tez引擎sethive.execution.engine=
落空空。
·
2024-02-20 10:54
hive
mr
spark
Flink部署——弹性扩缩容
文章目录Reactive模式入门用法配置建议局限性Adaptive调度器用法局限性AdaptiveBatchScheduler用法启用AdaptiveBatchScheduler配置
算子
的并行度为-1性能调优局限性在
京河小蚁
·
2024-02-20 09:31
flink
flink
大数据
卜
算子
•自嘲
天道本是后山人,偶做前堂客。醉舞经阁半卷书,坐井说天阔。大志戏功名,海斗量福祸。论到囊中羞涩时,怒指乾坤错。【释义】:本是后山人,没见过世面的人,偶然的机会登上了大雅之堂;本是醉里看书只学了一点点知识就坐井观天说大话。纵然胸有大志却不屑功名利禄,用犹如大海广阔的胸襟来看到祸福。但说到自己口袋里的钱比别人少时,却生气地指着天骂世道不好。
a如是果
·
2024-02-20 08:45
openGauss学习笔记-223 openGauss性能调优-系统调优-数据库系统参数调优-数据库内存参数调优
文章目录openGauss学习笔记-223openGauss性能调优-系统调优-数据库系统参数调优-数据库内存参数调优223.1逻辑内存管理参数223.2执行
算子
是否下盘的参数openGauss学习笔记
superman超哥
·
2024-02-20 08:44
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
RDBMS
使用动态网格的流体动画 Fluid Animation with Dynamic Meshes 论文阅读笔记
目录引言背景方法离散化离散化的导数
算子
速度插值广义的半拉格朗日步重新网格化双向流固耦合和质量守恒原文:Klingner,BryanM.,etal.
hijackedbycsdn
·
2024-02-20 07:47
Fluid
Simulation
笔记
Hbase - 自定义Rowkey规则
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制`TableInputFormat`来实现我们的需求了,我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`
Spark
kikiki5
·
2024-02-20 07:17
【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 & 高效协同
文章目录01KafkaSink版本&导言02KafkaSink基本概念03KafkaSink工作原理1.初始化连接2.定义序列化模式3.创建KafkaSink
算子
4.创建数据源5.将数据流添加到KafkaSink6
浅夏的猫
·
2024-02-20 07:41
Flink专栏
flink
大数据
kafka
java
apache
php实现讯飞星火大模型3.5
星火大模型-科大讯飞2.修改对应php文件中的key等可以参考文档说明,以及下载demo星火认知大模型WebAPI文档|讯飞开放平台文档中心其中appid等都需要修改还有uid,3.5模型wss://
spark
-ap
随风万里无云
·
2024-02-20 07:38
ai
php
开发语言
2024.2.19 阿里云Flink
一、Flink基本介绍
Spark
底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions
白白的wj
·
2024-02-20 07:05
flink
大数据
卷积CNN中的数学知识
我们将二阶微分定义成如下差分:我们首先我们来看边缘的灰度分布图以及将一二阶微分作用于边缘上:我们可以看到,在边缘(也就是台阶处),二阶微分值非常大,其他地方值比较小或者接近0.那我们就会得到一个结论,微分
算子
的响应程度与图像在用
算子
操作的这一点的突变程度成正比
数据智能谷
·
2024-02-20 07:30
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践
在当前的大数据格局中,
Spark
/Hive/Flink是最为主流的ETL或Strea
Laurence
·
2024-02-20 06:28
大数据专题
flink
catalog
hudi
metastore
hive
共用表
元数据
面试系列之《
Spark
》(持续更新...)
job:应用程序中每遇到一个action
算子
就会划分为一个job。
atwdy
·
2024-02-20 06:07
Spark
面试
spark
以内存为核心的开源分布式存储系统
Tachyon为不同的大数据计算框架(如Apache
Spark
,HadoopMapReduce,ApacheFlink等)提供可靠的内存级的数据共享服务。
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
卜
算子
咏冬
卜
算子
咏冬寒气侵身时,冷风吹心路。深夜接妻自习归,漫步赏枯树。冬眠小憩后,哪管他人妒。待到春暖花开时,重生绿叶护。
张掌印_cbf1
·
2024-02-20 00:48
顾影网上吟自选集(2)赵书成
卜
算子
.雅安地震2013.4.20谷雨节时悲,强震危情现。今岁天颜
赵书成
·
2024-02-20 00:00
手机远程控制树莓派-BLINKER应用(物联网基础)
由于我买了坚果云这个软件服务,所以我对云储存并无太大的兴趣,只是有时候要远程回家翻翻服务器上的东西,或者挂着下载个东西,跑个py
spark
之类的。
crossni
·
2024-02-20 00:15
硬件
无依赖单机尝鲜 Nebula Exchange 的 SST 导入
无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式(单机、容器化
Spark
、Hadoop、NebulaGraph),快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph
·
2024-02-19 23:51
Linux下
Spark
offline安装graphframes包
文章目录背景安装步骤背景GraphX是
Spark
中用于图计算的模块.
Spark
安装包中内置Scala语言的GraphX库,但是对于Python语言的安装包,需要额外进行安装.对于内网服务器,不能访问外网
ithiker
·
2024-02-19 22:45
spark
linux
spark
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他