E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark算子
spark
好的文章链接
https://blog.51cto.com/u_16099325/6763760`java
spark
官方文档
spark
javaapi手册http://www.17bigdata.com/book/
spark
Trank-Lw
·
2024-02-08 13:18
spark
大数据
分布式
史上最全OLAP对比
目录1.什么是OLAP2.OLAP引擎的常见操作3.OLAP分类MOLAP的优点和缺点ROLAP的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2
Spark
SQL、FlinkSQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin
只会写demo的程序猿
·
2024-02-08 11:04
数仓
spark
hadoop
数据仓库
Spark
:基于莱文斯坦(Levenshtein)距离计算字符串相似度
以下程序代码基于
spark
,使用scala语言,测试时间:2018-08-03str1和str2相似度=1-Levenshtein距离/max(length(str1),length(str2))valdf
xuejianbest
·
2024-02-08 11:25
大数据
算法
编程语言/Scala
大数据/spark
Levenshtein
字符串相似
莱文斯坦距离
spark
scala
MML
Spark
+
Spark
:py
spark
+lightGBM应用实践
MML
Spark
,即MicrosoftMachineLearningforApache
Spark
,是微软开源的一个针对Apache
Spark
的深度学习和数据可视化的库。
bensonrachel
·
2024-02-08 10:38
分享‖只愿君心似我心,定不负相思意
文/沭彦图片发自App《卜
算子
》宋·李之仪我住长江头,君住长江尾。日日思君不见君,共饮长江水。此水几时休,此恨何时已。只愿君心似我心,定不负相思意。感:你若不离不弃,我定生死相依。最美的爱情不过如此。
沭彦
·
2024-02-08 10:17
spark
sql 数据类型转换_
spark
sql时间类型转换以及其他
1.
spark
sql的日期转换一般使用两种形式第一种使用to_timestamp(REACHTIME1,"yyyy-MM-ddHH24:mi:ss")//它将字符串时间转换为日期类型例如2018-10-
weixin_39535527
·
2024-02-08 10:02
spark
sql
数据类型转换
Spark
streaming写入delta数据湖问题
但项目上线到生产环境,检查
spark
streaming的job,发现数据在merge写入到数据湖时,往往超过1小时。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
大数据
分布式
Spark
streaming batch运行时间过长问题02
排查
Spark
streaming数据写入时间过长问题,一方面是因为程序写数据湖小文件问题。在解决了小文件问题后,还是不能达到预期的1分钟一个batch。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
企业
Spark
案例--酒店数据分析实战提交
第1关:数据清洗--过滤字段长度不足的且将出生日期转:packagecom.yyimportorg.apache.
spark
.rdd.RDDimportorg.apache.
spark
.sql.
cz学java
·
2024-02-08 10:30
spark
数据分析
大数据
Spark
的timestamp 数据时间问题
使用
Spark
来处理国际业务数据,涉及到数据时区转换,在实际项目中出现时区转换问题。
kk_io
·
2024-02-08 10:29
疑难杂症
spark
大数据
分布式
大数据毕业设计Py
Spark
+PyFlink航班预测系统 飞机票航班数据分析可视化大屏 机票预测 机票爬虫 飞机票推荐系统 大数据毕业设计 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采
B站计算机毕业设计超人
·
2024-02-08 09:17
大数据毕业设计
大数据
数据分析
hadoop
数据挖掘
爬虫
spark
flink
卜
算子
·赏水月有怀
斜枝分清晖,荷叶斟霜影。微倦池鱼沐流光,又为莺啼醒。摇开碎涟漪,深浅栏边映。回望天高月仍圆,恍似乡关景。图片发自App
当初不该下凡
·
2024-02-08 09:35
【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像
一、Flink实时计算第一章:Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVS
Spark
4.实时计算技术选型第二章:Flink项目构建与测试1.快速构建Flink项目2.第一个
大数据研习社
·
2024-02-08 08:56
Flink
flink
Flink实时计算
可视化监控
InfluxDB
spark
运行失败The directory item limit of /
spark
_dir/
spark
_eventLogs is exceeded: limit=1048576 items=104
org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException):Thedirectoryitemlimitof/
spark
_dir
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
Flink on Yarn的两种模式
首先,在集群运行时,可能会有很多的集群实例包括MapReduce、
Spark
、Flink等等,那么如果它们全基于onYarn就可以完成资源分配,减少单个实例集群的维护,提高集群的利用率。
GOD_WAR
·
2024-02-08 07:22
Flink
flink
yarn
flink
on
yarn
flink反压及解决思路和实操
1.反压原因反压其实就是task处理不过来,
算子
的sub-task需要处理的数据量>能够处理的数据量,比如:当前某个sub-task只能处理1wqps的数据,但实际上到来2wqps的数据,但是实际只能处理
orange大数据技术探索者
·
2024-02-08 07:28
#
flink迁移
flink
大数据
Flink反压
Flink流式数据倾斜
1.流式数据倾斜流式处理的数据倾斜和
Spark
的离线或者微批处理都是某一个SubTask数据过多这种数据不均匀导致的,但是因为流式处理的特性其中又有些许不同2.如何解决2.1窗口有界流倾斜窗口操作类似
Spark
orange大数据技术探索者
·
2024-02-08 07:58
#
flink迁移
flink
大数据
数据倾斜
【状态管理一】概览:状态使用、状态分类、状态具体使用
文章目录一.状态使用概览二.状态的数据类型1.
算子
层面2.接口层面2.1.UML与所有状态类型介绍2.2.内部状态:InternalKvState将知识与实际的应用场景、设计背景关联起来,这是学以致用、
roman_日积跬步-终至千里
·
2024-02-08 06:47
flink
【flink状态管理(2)各状态初始化入口】状态初始化流程详解与源码剖析
4.状态初始化举例:UDF状态初始化在TaskManager中启动Task线程后,会调用StreamTask.invoke()方法触发当前Task中
算子
的执行,在invoke()方法中会调用restoreInternal
roman_日积跬步-终至千里
·
2024-02-08 06:14
#
flink源码
flink
java
数据库
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,
Spark
,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
Spark
安装(Yarn模式)
一、解压链接:https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码:mb4htar-zxvf/opt/software/
spark
-3.0.3-bin-hadoop3.2
莫噶
·
2024-02-08 04:44
搭建
spark
大数据
分布式
图解大数据 | 大数据分析挖掘-
Spark
初步
图解大数据|大数据分析挖掘-
Spark
初步作者:韩信子@ShowMeAI教程地址:www.showmeai.tech/tutorials/8…本文地址:www.showmeai.tech/article-det
Dashesand
·
2024-02-08 03:22
大数据
数据分析
spark
docker数据科学与
spark
镜像源与使用常见问题疑难解答
以下是一些与数据挖掘和数据科学相关的Docker镜像源:jupyter/all-
spark
-notebook:此镜像包含JupyterNotebook和
Spark
的完整环境,用于
Spark
开发和学习。
DreamNotOver
·
2024-02-08 01:16
eureka
java
spring
cloud
用docker 配置scala
spark
环境
要使用Docker配置Scala和
Spark
环境,您可以按照以下步骤进行操作。以下是一个基本的示例,您可能需要根据您的具体需求进行调整。安装Docker:在您的系统上安装Docker。
DreamNotOver
·
2024-02-08 01:14
python
数据挖掘
docker
docker
scala
spark
容器
Spark
Standalone 集群配置
集群管理类型
Spark
支持三种集群管理类型:Standalone-
Spark
附带的一个简单的集群管理器,可以轻松地设置集群。
董可伦
·
2024-02-07 23:01
Spark
spark
大数据
分布式
RDD vs DataFrame vs Dataset
RDD是
Spark
最基础的数据结构。RDD允许开发者使用容错的形式在集群中使用内存计算,这样可以提高计算速度。1.2DataFrameDataFrame是使用数据组成命名
一生逍遥一生
·
2024-02-07 22:20
黑猴子的家:
Spark
SQL 的性能
1、内存列存储(In-MemoryColumnarStorage)内存列存储来说,将所有原生数据类型的列采用原生数组来存储,将Hive支持的复杂数据类型(如array、map等)先序列化后拼接成一个字节数组来存储。这样,每个列创建一个JVM对象,从而导致可以快速的GC和紧凑的数据存储。额外的,还可以用低廉CPU开销的高效压缩方法来降低内存开销。更有趣的是,对于分析查询中频繁使用的聚合特定列,性能会
黑猴子的家
·
2024-02-07 18:48
简单使用
Spark
、Scala完成对天气数据的指标统计
目录一、前言&什么是
Spark
?
db_lcz_2014
·
2024-02-07 18:33
spark
scala
大数据
卜
算子
·咏梅
疾风舞厉雪,细花净无叶。插足难立巅峰处,孤独梅与月。草长莺飞间,桃李醉春色。无人问津谷底里,落红似泣血。
沉白
·
2024-02-07 16:02
草原雄鹰诗社《卜
算子
·晨曲》文/云梦——草原雄鹰诗社诗人
卜
算子
·晨曲文/云梦晨风上小楼,又闻卿心语。窗外枝头鸟鸣春,唱和多回顾。红豆种诗田,夜梦知音诉。芳草情丝望眼穿,眺望天涯处。
草原雄鹰诗社
·
2024-02-07 13:18
卜
算子
昔日共欢游,惜别成文字以往欢娱复不在,何处存君迹?岁月忽飞去,路倦谁陪走。如若他年重聚时,只说心依旧。
梦阳煜飞
·
2024-02-07 13:47
【Iceberg学习一】什么是Iceberg?
Iceberg为包括
Spark
、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能,使用一种高性能的表格格式,其工作方式就像一个SQL表一样。
周润发的弟弟
·
2024-02-07 10:56
Iceberg
学习
RDD任务切分之Stage任务划分(图解和源码)
RDD任务切分中间分为:Application、Job、Stage和Task(1)Application:初始化一个
Spark
Context即生成一个Application;(2)Job:一个Action
大数据左右手
·
2024-02-07 09:34
大数据
大数据
spark
stage切分
任务划分
卜
算子
:梅妆瘦
图片发自App暮雪小园飞,飞到梅红透。透染香腮粉泪垂,垂泪梅妆瘦。期盼故人来,来解相思扣。扣请真情哪个知,知我心依旧。图片发自App图片发自App
西山画眉
·
2024-02-07 09:42
kyuubi 接入starrocks | doris
kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1
spark
3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿
·
2024-02-07 09:48
大数据相关
大数据
kyuubi
starrocks
doris
Hive Sql优化记录
日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveon
spark
要快70%,与正常的认知正好相反,所以对该sql进行了详细分析。
风筝flying
·
2024-02-07 07:40
Spark
JDBC读写数据库实战
默认的操作代码valdf=
spark
.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option
SunnyRivers
·
2024-02-07 07:41
Spark最佳实战与性能优化
spark
jdbc
数据库
卜
算子
‖桃花怜
图片发自App周末偏逢雨。断断愁如絮。水洗风吹桃花冷,别又怪、春无趣。写诗也无句。久想不容许。欲把忧伤寄鸿雁,那可是、都给与。——词林正韵杜安世体
原野骑兵
·
2024-02-07 06:56
IDEA 本地运行
Spark
IDEA本地运行
Spark
1、背景2、环境准备3、具体流程3.1IDEA创建maven项目3.2pom.xml配置3.3Demo程序示例3.4结果输出4、总结改进1、背景主要用于本地阅读
Spark
源码,
fir_dameng
·
2024-02-07 06:41
大数据开发
spark
Spark
Scala大数据编程实例
一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言,平滑地集成了面向对象和函数式语言的特性,旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想,只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”,从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台(JVM,Java虚拟机)上,并兼容现有
一直de不完的bug
·
2024-02-07 06:38
Hadoop
spark
大数据
hadoop
win10
spark
scala 本地运行wordcount
hadoopcommon,可以从github下载zip,解包以后设置HADOOP_HOME环境变量指向它,然后在PATH里加上HADOOP_HOME\bin,特别注意,hadoopcommon的版本要和
spark
疯琴
·
2024-02-07 06:06
大数据
java/scala
flink/spark
Scala与java
目录Scala简介Scala和java的区别
Spark
选择Scala的原因Scala:Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala
K. Bob
·
2024-02-07 06:05
Spark
Spark
scala如何本地运行
Spark
scala如何本地运行
Spark
任务调试太费时间啦
Spark
Scala本地运行
Spark
任务调试太费时间啦Apache
Spark
是一个开源的大数据处理框架,它提供了一个接口用于编程大规模分布式计算
HanhahnaH
·
2024-02-07 06:03
Spark
spark
scala
大数据
Zeppelin结合Flink查询hudi数据
目前ApacheZeppelin支持Apache
Spark
、ApacheFlink、Python、R、JDBC、
BigDataToAI
·
2024-02-07 05:38
hudi
flink
zeppelin
flink
python
big
data
5.20告白日,告白吧情诗!!!总有一款绝美情诗属于你
——李之仪《卜
算子
·我住长江头》2、愿我如星君如月,夜夜流光相皎洁。——范成大《车遥遥篇》3、晓看天色暮看云,行也思君,坐也思君。——唐寅《一剪梅·雨打梨花深闭门》4、有美人兮,见之不忘。
情久
·
2024-02-07 05:14
Apache Zeppelin 整合
Spark
和 Hudi
一环境信息1.1组件版本组件版本
Spark
3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合
Spark
参考:ApacheZeppelin一文打尽
大数据AI
·
2024-02-07 05:03
大数据从入门到精通
spark
hudi
zeppelin
大数据
spark
sql上线前的调试工作实现
背景每个公司应该都有大数据的平台的吧,平台的作用就是可以在上面执行各种
spark
sql以及定时任务,不过一般来说,由于这些
spark
sql的上线不经过测试,所以可能会影响到生产的数据,这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2
·
2024-02-07 05:22
spark
spark
sql
大数据
Kuberntes DNS
kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319d
spark
thrift-headless172.17.0.12
zhixingheyi_tian
·
2024-02-07 03:02
DNS
kubernetes
Spark
RDD的学习(JAVA)
注:本文是跟着《
Spark
快速大数据分析》一书学习的笔记式总结,不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是
Spark
对数据的核心抽象。
啊其11
·
2024-02-07 02:47
Spark
Chapter 8
Spark
SQL
【参考以慕课网日志分析为例进入大数据
Spark
sql】0导读SQL:MySQL,Oracle,DB2,SQLServer在大数据平台上实现大数据计算:Hive/
Spark
SQL/
Spark
Core直接使用
深海suke
·
2024-02-07 01:34
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他