E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark·-submit
Spark
- 升级版数据源JDBC2
在
spark
的数据源中,只支持Append,Overwrite,ErrorIfExists,Ignore,这几种模式,但是我们在线上的业务几乎全是需要upsert功能的,就是已存在的数据肯定不能覆盖,在
大猪大猪
·
2024-09-10 17:28
Py
Spark
Py
Spark
的本质确实是Python的一个接口层,它允许你使用Python语言来编写Apache
Spark
应用程序。
静听山水
·
2024-09-10 13:44
Spark
spark
Ubuntu的ssh
sshsudoapt-getupdatesudoapt-getinstallopenssh-server检测ssh是否启动sudops-e|grepssh创建root用户sudopasswdroot配置本机无密码ssh登录cd/home/
spark
0ssh-keygen-trsa-P
请不要问我是谁
·
2024-09-10 03:29
2024年大数据最新实时数仓之实时数仓架构(Hudi)
用于接入数据源;FlinkCDC:如果直接接入业务数据源可以考虑CDC方式,如果通过Kafka缓冲接入业务数据可以忽略;Flink:用于数据ETL,包括接入数据、处理数据及输出数据全链路数据计算任务;
Spark
2401_84185556
·
2024-09-09 19:34
程序员
大数据
架构
实时数仓之实时数仓架构(Hudi)(1),2024年最新熬夜整理华为最新大数据开发笔试题
包括ODS/DWD/DWS/DIM/ADS等;+Doris:OLAP引擎,同步数仓结果模型,对外提供数据服务支持;+Hbase:用来存储维表信息,维表数据来源一部分有Flink加工实时写入,另一部分是从
Spark
2401_84181221
·
2024-09-09 19:04
程序员
架构
大数据
starrocks和clickhouse数据库比较
支持多种数据源的集成,并且可以与其他大数据技术(如Hadoop、
Spark
)协同工作。C
CodeMaster_37714848
·
2024-09-09 16:12
clickhouse
数据库
HTML提交表单给python
/index.html')@app.route('/
submit
_form',methods=['POST'])
一壶浊酒..
·
2024-09-09 01:57
前端开发
html
python
前端
Hive的优势与使用场景
它利用Hadoop的MapReduce或
Spark
来执行查询,具备高度扩展性,适合大数据处理。2.支持SQL-like查询语言(Hi
傲雪凌霜,松柏长青
·
2024-09-08 17:07
后端
大数据
hive
hadoop
数据仓库
Spark
3.5.1 升级 Java 17 异常 cannot access class sun.nio.ch.DirectBuffer
异常说明使用
Spark
3.5.1升级到Java17的时候会有一个异常,异常如下SLF4J:Failedtoloadclass"org.slf4j.impl.StaticLoggerBinder".SLF4J
敏叔V587
·
2024-09-08 15:23
spark
java
nio
【无标题】大数据之批处理,流处理,批流一体概念
Spark
和Flink都支持批处理,其中
Spark
使用的是批处理模型,即将一批数据一次性读入内存,然后对其进行处理,处理完成后再将结果写入磁盘。
数字天下
·
2024-09-08 09:43
大数据
py
spark
kafka mysql_数据平台实践①——Flume+Kafka+
Spark
Streaming(py
spark
)
蜻蜓点水Flume——数据采集如果说,爬虫是采集外部数据的常用手段的话,那么,Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent:包含Source、Channel和Sink的主体,它是这3个组件的载体,是组成Flume的数据节点。Event:Flume数据传输的基本单元。Source:用来接收Event,并将Event批量传
weixin_39793638
·
2024-09-08 04:34
pyspark
kafka
mysql
在项目中遇到难点以及如何解决
所以就给按钮添加一个加载状态,查了发现el-button自带了loading属性,传参的时候传一个
submit
函数,是一个Promise,promise状态改变的时候把
滑楼村大恶霸
·
2024-09-07 21:46
okhttp
<转>
Spark
体系架构
最近看到一篇关于
Spark
架构的博文,作者是AlexeyGrishchenko。
yongjian_luo
·
2024-09-07 20:11
Spark
Spark
分布式计算原理
目录一、RDD依赖与DAG原理1.1RDD的转换一、RDD依赖与DAG原理
Spark
根据计算逻辑中的RDD的转换与动作生成RDD的依赖关系,同时这个计算链也形成了逻辑上的DAG。
NightFall丶
·
2024-09-07 20:40
#
Spark
apache
spark
spark
Apache Flink 替换
Spark
Stream的架构与实践( bilibili 案例解读)_stream
spark
flink加载udf(1)
bilibili早期使用的引擎是
Spark
Streaming,后期扩展了Flink,在开发架构中预留了一部分引擎层的扩展。最下层是状态存储
2401_84165953
·
2024-09-07 12:44
程序员
flink
spark
架构
Py
Spark
数据分析基础:Py
Spark
基础功能及DataFrame操作基础语法详解_py
spark
rdd
DataFrame.show()使用格式:df.show()df.show(1)+---+---+-------+----------+-------------------+|a|b|c|d|e|+---+---+-------+----------+-------------------+|1|2.0|string1|2000-01-01|2000-01-0112:00:00|+---+---
2401_84187537
·
2024-09-07 08:47
数据分析
数据挖掘
Py
Spark
数据分析基础:Py
Spark
基础功能及DataFrame操作基础语法详解_py
spark
rdd(1)
dfDataFrame[a:bigint,b:double,c:string,d:date,e:timestamp]####通过由元组列表组成的RDD创建rdd=
spark
.
spark
Context.parallelize
2401_84181368
·
2024-09-07 08:46
程序员
数据分析
数据挖掘
Py
Spark
数据分析基础:Py
Spark
基础功能及DataFrame操作基础语法详解_py
spark
rdd(2)
轻松切换到pandasAPI和Py
Spark
API上下文,无需任何开销。有一个既适用于pandas(测试,较小的数据集)又适用于
Spark
(分布式数据集)的代码库。
2401_84181403
·
2024-09-07 08:46
程序员
数据分析
数据挖掘
Py
spark
DataFrame常用操作函数和示例
针对类型:py
spark
.sql.dataframe.DataFrame目录1.打印前几行1.1show()函数1.2take()函数2.读取文件2.1
spark
.read.csv3.获取某行某列的值(
还是那个同伟伟
·
2024-09-07 08:15
Spark
人工智能
机器学习
pandas
pyspark
spark
【jQuery】前端八股文面试题
1)点击事件(click)2)鼠标悬停事件(mouseenter和mouseleave)3)表单提交事件(
submit
)4)输入框变化事件(change)3.在jQuery中,常见的鼠标事件方法有哪些?
菜鸟una
·
2024-09-07 06:58
前端八股文面试题
前端
jquery
javascript
Spark
概念知识笔记
最近总结了个人的各项能力,发现在大数据这方面几乎没有涉及,因此想补充这方面的知识,丰富自己的知识体系,大数据生态主要包含:Hadoop和
Spark
两个部分,
Spark
作用相当于MapReduceMapReduce
kuntoria
·
2024-09-07 05:21
大数据秋招面经之
spark
系列
文章目录前言
spark
高频面试题汇总1.
spark
介绍2.
spark
分组取TopN方案总结:方案2是最佳方案。
wq17629260466
·
2024-09-06 19:54
大数据
spark
每天一个数据分析题(五百一十四)- 决策树算法
D.叶结点(leafnode)数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-09-06 15:20
数据分析题库
算法
数据分析
决策树
【
Spark
高级应用】使用
Spark
进行高级数据处理与分析
Spark
高级应用使用
Spark
进行高级数据处理与分析引言在大数据时代,快速处理和分析海量数据是每个企业面临的重大挑战。
爱技术的小伙子
·
2024-09-06 10:47
大数据
spark
ajax
大数据
spark
读取csv文件
测试
spark
读取本地和hdfs文件frompy
spark
.sqlimport
Spark
Session
spark
=
Spark
Session.builder\.appName("ExamplePy
Spark
Script
静听山水
·
2024-09-06 10:44
Spark
spark
Spark
Streaming业务逻辑处理的一些高级算子
packagecom.
spark
scala.streamingimportorg.apache.log4j.{Level,Logger}impor
看见我的小熊没
·
2024-09-06 09:43
sparkStreaming
scala
spark
big
data
scala
Spark
一些个人总结
文章目录前言一、
Spark
是什么二、
Spark
用来做什么三、
Spark
的优势是什么四、为什么用
Spark
五、
Spark
解决了什么问题总结前言随着大数据技术的发展,一些更加优秀的组件被提了出来,比如现在最常用的
易逑实战数据
·
2024-09-06 09:39
大数据
spark
big
data
scala
spark
任务优化参数整理
以下参数中有sql字眼的一般只有
spark
-sql模块生效,例外的时候会另行说明,此外由于总结这些参数是在不同时间段,当时使用的
spark
版本也不一样,因此要注意是否有效,如果本博主已经试过的会直接说明
尘世壹俗人
·
2024-09-06 09:08
大数据Spark技术
spark
大数据
分布式
Spark
与Kafka进行连接
在Java中使用
Spark
与Kafka进行连接,你可以使用
Spark
Streaming来处理实时流数据。以下是一个简单的示例,展示了如何使用
Spark
Streaming从Kafka读取数据并进行处理。
傲雪凌霜,松柏长青
·
2024-09-06 07:27
后端
大数据
spark
kafka
Spark
入门:KMeans聚类算法
聚类(Clustering)是机器学习中一类重要的方法。其主要思想使用样本的不同特征属性,根据某一给定的相似度度量方式(如欧式距离)找到相似的样本,并根据距离将样本划分成不同的组。聚类属于典型的无监督学习(UnsupervisedLearning)方法。与监督学习(如分类器)相比1,无监督学习的训练集没有人为标注的结果。在非监督式学习中,数据并不被特别标识,学习模型是为了推断出数据的一些内在结构。
17111_Chaochao1984a
·
2024-09-06 05:46
算法
spark
kmeans
Spark
MLlib模型训练—聚类算法 K-means
Spark
MLlib模型训练—聚类算法K-meansK-means是一种经典的聚类算法,广泛应用于数据挖掘、图像处理、推荐系统等领域。
不二人生
·
2024-09-06 04:14
Spark
ML
实战
算法
spark-ml
聚类
Spark
MLlib模型训练—聚类算法 Bisecting K-means
Spark
MLlib模型训练—聚类算法BisectingK-means由于传统的KMeans算法的聚类结果易受到初始聚类中心点选择的影响,因此在传统的KMeans算法的基础上进行算法改进,对初始中心点选取比较严格
不二人生
·
2024-09-06 04:14
Spark
ML
实战
算法
spark-ml
聚类
DAG (directed acyclic graph) 作为大数据执行引擎的优点
TL;DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslike
Spark
andTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoopMapReducewhicha
joeywen
·
2024-09-06 04:43
分布式计算
Storm
Spark
Storm
杂谈
Storm
spark
DAG
Spark
的Web界面
http://localhost:4040/jobs/在顶部导航栏上,可以点击以下选项来查看不同类型的
Spark
应用信息:Jobs-此视图将列出所有已提交的作业,并提供每个作业的详细信息,如作业ID、名称
静听山水
·
2024-09-06 04:40
Spark
spark
最全金融数据_Py
Spark
-3(2),大数据开发学习的三个终极问题及学习路线规划
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取frompy
spark
.ml.evaluationimportBinaryClassificationEv
2401_84185145
·
2024-09-05 23:38
大数据
面试
学习
文章汇总 | 2018
12月RIA便签学习法10月财富最好的定义
Spark
分布式原理及碰到的三个坑在不断解决问题(矛盾)的过程进步9月《韭菜的自我修养》-股票交易是零和游戏吗?
学习之术
·
2024-09-05 22:27
element-ui Upload前端读取上传的文件
选取文件上传data(){return{uploadFiles:[]}},methods:{loadJsonFromFile(file,fileList){this.uploadFiles=fileList},
submit
搬砖的小白
·
2024-09-05 22:04
element-ui使用心得
vue.js
Ingest Pipeline & Painless Script
包含3个字段,tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags":"hadoop,elasticsearch,
spark
折纸虚桐
·
2024-09-05 22:03
ES学习笔记
elasticsearch
Spark
作业提交
一.作业提交1.1作业提交模式
spark
作业提交使用
spark
-
submit
命令,作业提交模式有cluster和client两种。
Tom无敌宇宙猫
·
2024-09-05 22:26
spark
大数据
分布式
Spark
基础
一.基础1.RDD机制 1.rdd分布式弹性数据集,简单的理解成⼀种数据结构,是
spark
框架上的通⽤货币。所有算⼦都是基于rdd来执⾏的,不同的场景会有不同的rdd实现类,但是都可以进⾏互相转换。
Tom无敌宇宙猫
·
2024-09-05 22:26
spark
大数据
分布式
Apache
Spark
简介
Apache
Spark
是一个快速而通用的数据处理引擎,用于大规模数据处理和分析。它是由加州大学伯克利分校研究实验室开发的开源项目。
不知名的小Q
·
2024-09-05 17:52
eclipse
java
spring
maven
spark
streaming优点和缺点
优点:
spark
streaming会被转化为
spark
作业执行,由于
spark
作业依赖DAGScheduler和RDD,所以是粗粒度方式而不是细粒度方式,可以快速处理小批量数据,获得准实时的特性;以
spark
scott_alpha
·
2024-09-05 15:42
Spark
Spark
是一个快速的、通用的集群计算系统,主要用于大规模数据处理。它最早由加州大学伯克利分校的AMPLab开发,并于2010年开源,后来由Apache软件基金会管理。
傲雪凌霜,松柏长青
·
2024-09-05 11:20
后端
大数据
spark
大数据
分布式
Windows系统下的
Spark
环境配置
一:
Spark
的介绍Apache
Spark
是一个开源的分布式大数据处理引擎,它提供了一整套开发API,包括流计算和机器学习。
eeee~~
·
2024-09-05 11:19
3:大数据技术
实用教程
spark
大数据
分布式
kafka消费者重复消费同一个topic
场景是
spark
streaming消费kafka数据在这里
spark
stream和kafka都是单节点的集群模式。同时起两个不同的groupid的应用,发现会发生后起来的应用消费不到数据。
小琳ai
·
2024-09-05 10:06
大数据
kafka
重复消费
consumer
Hbase BulkLoad用法
要导入大量数据,Hbase的BulkLoad是必不可少的,在导入历史数据的时候,我们一般会选择使用BulkLoad方式,我们还可以借助
Spark
的计算能力将数据快速地导入。
kikiki2
·
2024-09-05 07:29
Computers & Security 投稿时间线记录
1、2024年8月22日
Submit
tedtoJournal2、2024年8月22日WithEditor3、2024年8月25日UnderReview
梦魇大英雄
·
2024-09-05 04:59
笔记
EMR组件部署指南
本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScala
Spark
Hive准备工作所有操作都在
ivwdcwso
·
2024-09-05 00:05
运维
EMR
大数据
开源
运维
9.2
spark
内存管理之 UnifiedMemoryManager
图片来源https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-
spark
-memory-management/index.html1
GongMeng
·
2024-09-04 20:46
Sublime text3+python3配置及插件安装
rayson_666(Rayson开发分享)个人专研技术方向:微服务方向:springboot,springCloud,Dubbo分布式/高并发:分布式锁,消息队列RabbitMQ大数据处理:Hadoop,
spark
raysonfang
·
2024-09-04 19:23
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他