E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark源码解读
spark
sql 数据类型转换_
spark
sql时间类型转换以及其他
1.
spark
sql的日期转换一般使用两种形式第一种使用to_timestamp(REACHTIME1,"yyyy-MM-ddHH24:mi:ss")//它将字符串时间转换为日期类型例如2018-10-
weixin_39535527
·
2024-02-08 10:02
spark
sql
数据类型转换
Spark
streaming写入delta数据湖问题
但项目上线到生产环境,检查
spark
streaming的job,发现数据在merge写入到数据湖时,往往超过1小时。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
大数据
分布式
Spark
streaming batch运行时间过长问题02
排查
Spark
streaming数据写入时间过长问题,一方面是因为程序写数据湖小文件问题。在解决了小文件问题后,还是不能达到预期的1分钟一个batch。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
企业
Spark
案例--酒店数据分析实战提交
第1关:数据清洗--过滤字段长度不足的且将出生日期转:packagecom.yyimportorg.apache.
spark
.rdd.RDDimportorg.apache.
spark
.sql.
cz学java
·
2024-02-08 10:30
spark
数据分析
大数据
Spark
的timestamp 数据时间问题
使用
Spark
来处理国际业务数据,涉及到数据时区转换,在实际项目中出现时区转换问题。
kk_io
·
2024-02-08 10:29
疑难杂症
spark
大数据
分布式
大数据毕业设计Py
Spark
+PyFlink航班预测系统 飞机票航班数据分析可视化大屏 机票预测 机票爬虫 飞机票推荐系统 大数据毕业设计 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采
B站计算机毕业设计超人
·
2024-02-08 09:17
大数据毕业设计
大数据
数据分析
hadoop
数据挖掘
爬虫
spark
flink
Transformer实战-系列教程10:SwinTransformer
源码解读
3(SwinTransformerBlock类)
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
源码解读
机器学习杨卓越
·
2024-02-08 09:09
Transformer实战
transformer
深度学习
人工智能
计算机视觉
self-Attention
pytroch
SwinTransformer
Transformer实战-系列教程12:SwinTransformer
源码解读
5(Mlp类/PatchMerging类/SwinTransformer模型参数)
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
源码解读
机器学习杨卓越
·
2024-02-08 09:09
Transformer实战
transformer
深度学习
人工智能
计算机视觉
SwinTransformer
pytorch
Transformer实战-系列教程9:SwinTransformer
源码解读
2(PatchEmbed类/BasicLayer类)
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
源码解读
机器学习杨卓越
·
2024-02-08 09:39
Transformer实战
transformer
pytorch
深度学习
计算机视觉
SwinTransformer
人工智能
Transformer实战-系列教程11:SwinTransformer
源码解读
4(WindowAttention类)
实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
源码解读
机器学习杨卓越
·
2024-02-08 09:36
Transformer实战
transformer
深度学习
人工智能
计算机视觉
SwinTransformer
pytorch
【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像
一、Flink实时计算第一章:Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVS
Spark
4.实时计算技术选型第二章:Flink项目构建与测试1.快速构建Flink项目2.第一个
大数据研习社
·
2024-02-08 08:56
Flink
flink
Flink实时计算
可视化监控
InfluxDB
spark
运行失败The directory item limit of /
spark
_dir/
spark
_eventLogs is exceeded: limit=1048576 items=104
org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException):Thedirectoryitemlimitof/
spark
_dir
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
Spring Security
源码解读
(三)Authorization授权
Authorization博客中涉及到的所有源码均可前往Github下载:https://github.com/NingNing0111/spring-security-study 在我们解决完Authentication认证之后,就需要进行授权。Authorization就是授权的意思,在SpringSecurity中,无论你是采用何种方式进行认证的,其授权服务都可以在我们的Spring应用中使
PG Thinker
·
2024-02-08 08:51
Spring
spring
java
后端
spring
boot
servlet
maven
Spring Security
源码解读
(二)Authentication认证
Authentication博客中涉及到的所有源码均可前往Github下载:https://github.com/NingNing0111/spring-security-study Authentication是"认证"的意思,在实际开发中,我们的系统需要有一套认证和授权服务来保证我们系统的安全性,在Java生态中,主要有SpringSecurity和ApacheShiro两个安全框架可以完成认
PG Thinker
·
2024-02-08 08:21
Spring
spring
java
后端
tomcat
spring
boot
Spring Security
源码解读
(一)概述
博客中涉及到的所有源码均可前往Github下载:https://github.com/NingNing0111/spring-security-studySpringSecurity概述官网介绍:SpringSecurityisapowerfulandhighlycustomizableauthenticationandaccess-controlframework.Itisthede-facto
PG Thinker
·
2024-02-08 08:20
Spring
spring
java
maven
spring
boot
tomcat
Flink on Yarn的两种模式
首先,在集群运行时,可能会有很多的集群实例包括MapReduce、
Spark
、Flink等等,那么如果它们全基于onYarn就可以完成资源分配,减少单个实例集群的维护,提高集群的利用率。
GOD_WAR
·
2024-02-08 07:22
Flink
flink
yarn
flink
on
yarn
Flink流式数据倾斜
1.流式数据倾斜流式处理的数据倾斜和
Spark
的离线或者微批处理都是某一个SubTask数据过多这种数据不均匀导致的,但是因为流式处理的特性其中又有些许不同2.如何解决2.1窗口有界流倾斜窗口操作类似
Spark
orange大数据技术探索者
·
2024-02-08 07:58
#
flink迁移
flink
大数据
数据倾斜
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,
Spark
,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
Spark
安装(Yarn模式)
一、解压链接:https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码:mb4htar-zxvf/opt/software/
spark
-3.0.3-bin-hadoop3.2
莫噶
·
2024-02-08 04:44
搭建
spark
大数据
分布式
图解大数据 | 大数据分析挖掘-
Spark
初步
图解大数据|大数据分析挖掘-
Spark
初步作者:韩信子@ShowMeAI教程地址:www.showmeai.tech/tutorials/8…本文地址:www.showmeai.tech/article-det
Dashesand
·
2024-02-08 03:22
大数据
数据分析
spark
OkHttp
源码解读
第二篇——请求过程
OkHttp的请求过程上篇文章说到OkHttp的请求过程是在getResponseWithInterceptorChain()里,下面分析下请求和响应过程,先看下这个方法实现:internalfungetResponseWithInterceptorChain():Response{//Buildafullstackofinterceptors.valinterceptors=mutableLis
A_si
·
2024-02-08 02:57
docker数据科学与
spark
镜像源与使用常见问题疑难解答
以下是一些与数据挖掘和数据科学相关的Docker镜像源:jupyter/all-
spark
-notebook:此镜像包含JupyterNotebook和
Spark
的完整环境,用于
Spark
开发和学习。
DreamNotOver
·
2024-02-08 01:16
eureka
java
spring
cloud
用docker 配置scala
spark
环境
要使用Docker配置Scala和
Spark
环境,您可以按照以下步骤进行操作。以下是一个基本的示例,您可能需要根据您的具体需求进行调整。安装Docker:在您的系统上安装Docker。
DreamNotOver
·
2024-02-08 01:14
python
数据挖掘
docker
docker
scala
spark
容器
Spark
Standalone 集群配置
集群管理类型
Spark
支持三种集群管理类型:Standalone-
Spark
附带的一个简单的集群管理器,可以轻松地设置集群。
董可伦
·
2024-02-07 23:01
Spark
spark
大数据
分布式
RDD vs DataFrame vs Dataset
RDD是
Spark
最基础的数据结构。RDD允许开发者使用容错的形式在集群中使用内存计算,这样可以提高计算速度。1.2DataFrameDataFrame是使用数据组成命名
一生逍遥一生
·
2024-02-07 22:20
黑猴子的家:
Spark
SQL 的性能
1、内存列存储(In-MemoryColumnarStorage)内存列存储来说,将所有原生数据类型的列采用原生数组来存储,将Hive支持的复杂数据类型(如array、map等)先序列化后拼接成一个字节数组来存储。这样,每个列创建一个JVM对象,从而导致可以快速的GC和紧凑的数据存储。额外的,还可以用低廉CPU开销的高效压缩方法来降低内存开销。更有趣的是,对于分析查询中频繁使用的聚合特定列,性能会
黑猴子的家
·
2024-02-07 18:48
简单使用
Spark
、Scala完成对天气数据的指标统计
目录一、前言&什么是
Spark
?
db_lcz_2014
·
2024-02-07 18:33
spark
scala
大数据
Vue
源码解读
(6)—— 实例方法
前言上一篇文章Vue
源码解读
(5)——全局API详细介绍了Vue的各个全局API的实现原理,本篇文章将会详细介绍各个实例方法的实现原理。目标深入理解以下实例方法的实现原理。vm.$setvm.
觉醒的Coder
·
2024-02-07 13:27
前端
Vue
前端
【Iceberg学习一】什么是Iceberg?
Iceberg为包括
Spark
、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能,使用一种高性能的表格格式,其工作方式就像一个SQL表一样。
周润发的弟弟
·
2024-02-07 10:56
Iceberg
学习
RDD任务切分之Stage任务划分(图解和源码)
RDD任务切分中间分为:Application、Job、Stage和Task(1)Application:初始化一个
Spark
Context即生成一个Application;(2)Job:一个Action
大数据左右手
·
2024-02-07 09:34
大数据
大数据
spark
stage切分
任务划分
kyuubi 接入starrocks | doris
kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1
spark
3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿
·
2024-02-07 09:48
大数据相关
大数据
kyuubi
starrocks
doris
Nacos1.X
源码解读
(待完善)
下载源码1.克隆git地址到本地#下载nacos源码gitclonehttps://github.com/alibaba/nacos.git2.切换分支到1.4.7,maven编译(3.5.1+)3.找到启动类com.alibaba.nacos.Nacos4.启动VM参数设置单机模式,RUN启动类-Dnacos.standalone=true5.启动本地服务注册到本地nacos注:nacos1.4
kk_0910
·
2024-02-07 09:14
java
Hive Sql优化记录
日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveon
spark
要快70%,与正常的认知正好相反,所以对该sql进行了详细分析。
风筝flying
·
2024-02-07 07:40
Spark
JDBC读写数据库实战
默认的操作代码valdf=
spark
.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option
SunnyRivers
·
2024-02-07 07:41
Spark最佳实战与性能优化
spark
jdbc
数据库
IDEA 本地运行
Spark
IDEA本地运行
Spark
1、背景2、环境准备3、具体流程3.1IDEA创建maven项目3.2pom.xml配置3.3Demo程序示例3.4结果输出4、总结改进1、背景主要用于本地阅读
Spark
源码,
fir_dameng
·
2024-02-07 06:41
大数据开发
spark
Spark
Scala大数据编程实例
一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言,平滑地集成了面向对象和函数式语言的特性,旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想,只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”,从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台(JVM,Java虚拟机)上,并兼容现有
一直de不完的bug
·
2024-02-07 06:38
Hadoop
spark
大数据
hadoop
win10
spark
scala 本地运行wordcount
hadoopcommon,可以从github下载zip,解包以后设置HADOOP_HOME环境变量指向它,然后在PATH里加上HADOOP_HOME\bin,特别注意,hadoopcommon的版本要和
spark
疯琴
·
2024-02-07 06:06
大数据
java/scala
flink/spark
Scala与java
目录Scala简介Scala和java的区别
Spark
选择Scala的原因Scala:Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala
K. Bob
·
2024-02-07 06:05
Spark
Spark
scala如何本地运行
Spark
scala如何本地运行
Spark
任务调试太费时间啦
Spark
Scala本地运行
Spark
任务调试太费时间啦Apache
Spark
是一个开源的大数据处理框架,它提供了一个接口用于编程大规模分布式计算
HanhahnaH
·
2024-02-07 06:03
Spark
spark
scala
大数据
Zeppelin结合Flink查询hudi数据
目前ApacheZeppelin支持Apache
Spark
、ApacheFlink、Python、R、JDBC、
BigDataToAI
·
2024-02-07 05:38
hudi
flink
zeppelin
flink
python
big
data
Apache Zeppelin 整合
Spark
和 Hudi
一环境信息1.1组件版本组件版本
Spark
3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合
Spark
参考:ApacheZeppelin一文打尽
大数据AI
·
2024-02-07 05:03
大数据从入门到精通
spark
hudi
zeppelin
大数据
spark
sql上线前的调试工作实现
背景每个公司应该都有大数据的平台的吧,平台的作用就是可以在上面执行各种
spark
sql以及定时任务,不过一般来说,由于这些
spark
sql的上线不经过测试,所以可能会影响到生产的数据,这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2
·
2024-02-07 05:22
spark
spark
sql
大数据
Kuberntes DNS
kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319d
spark
thrift-headless172.17.0.12
zhixingheyi_tian
·
2024-02-07 03:02
DNS
kubernetes
Spark
RDD的学习(JAVA)
注:本文是跟着《
Spark
快速大数据分析》一书学习的笔记式总结,不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是
Spark
对数据的核心抽象。
啊其11
·
2024-02-07 02:47
Spark
Chapter 8
Spark
SQL
【参考以慕课网日志分析为例进入大数据
Spark
sql】0导读SQL:MySQL,Oracle,DB2,SQLServer在大数据平台上实现大数据计算:Hive/
Spark
SQL/
Spark
Core直接使用
深海suke
·
2024-02-07 01:34
Spark
大数据分析与实战笔记(第三章
Spark
RDD弹性分布式数据集-01)
文章目录每日一句正能量第3章
Spark
RDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪,后来者居上
想你依然心痛
·
2024-02-07 01:53
分布式
spark
数据分析
StarRocks入门
目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.
Spark
load2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼
·
2024-02-06 22:42
doris
大数据
数据库
spark
的数据倾斜和解决方案
#数据倾斜##4.1.什么是数据倾斜,现象是什么?所谓数据倾斜(dataskew),其实说白了,由于数据分布不均匀造成计算时间差异很大,产生了一些列异常现象。常见的现象有两种:1.个别task作业运行缓慢大多数的task运行都很快速,但是极个别的task运行非常缓慢,甚至是正常task运行时间好多倍。莫名其妙的OOM异常这是一种相对比较少见的现象,正常运行的task作业,突发发生了一个OOM异常。
XLMN
·
2024-02-06 18:32
Spark
简介
Spark
作为第二代大数据处理工具,跟hadoop对比,它是基于内存的,所以在迭代计算方便速度有了很大提升。我用到的主要是
Spark
Core,
Spark
SQL,
Spark
Streaming。
麦克阿瑟99
·
2024-02-06 18:07
Spark
编程实现简例
对于两个输入文件A和B,编写
Spark
独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。下面是输入文件和输出文件的一个样例,供参考。
哲子带你学编程
·
2024-02-06 16:34
spark
大数据
分布式
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他