E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
.spark
Spark
自定义分区器
spark
目前支持两个分区器,分别是HashPartitioner和RangePartitioner.均继承自Partitioner,有共同方法-defnumPartitions--分区器的分区数量-defgetPartition
鸭梨山大哎
·
2023-12-06 21:02
spark
spark
分区
快手数仓面试题附答案
2你在工作中都负责哪一部分3
spark
提交一个程序的整体执行流程4
spark
常用算子列几个,6到8个吧5transformation跟action算子的区别6map和flatmap算子的区别7自定义udf
话数Science
·
2023-12-06 21:59
大数据
面试
Spark
spark
大数据
大数据实战项目_电商推荐系统
一、项目介绍Hadoop+
Spark
+(Python)Scala+
Spark
SQL+
Spark
Streaming+MongoDB+Redis+Kafka+Flume+(SpringMVC+vue)1项目介绍
Guff_hys
·
2023-12-06 20:28
大数据开发学习
大数据
服务器
hadoop
spark
zookeeper
flume
kafka
解决安装py
spark
所遇到的所有问题
一开始安装Hadoop,hive,hbase,
spark
很顺利。但是到了py
spark
时候已
天亮说晚安ii
·
2023-12-06 17:33
大数据
spark
机器学习---py
Spark
代码开发
1、eclipse开发py
Spark
程序在eclipse中开发py
Spark
程序,需要安装pydev插件。1).eclipse安装python插件,安装完成后重启。
30岁老阿姨
·
2023-12-06 17:23
机器学习
spark
大数据
分布式
机器学习---环境准备
一、py
Spark
环境准备1、window配置python环境变量window安装python,配置python环境变量。
30岁老阿姨
·
2023-12-06 17:53
机器学习
python
开发语言
机器学习---py
Spark
案例
1、统计PV,UV1.if__name__=='__main__':2.conf=
Spark
Conf()3.conf.setMaster("local")4.conf.setAppName("test"
30岁老阿姨
·
2023-12-06 17:53
机器学习
前端
服务器
javascript
前后端分离vue+springboot家庭理财账单财务管理系统
技术栈:后端:SpringBoot,Sa-Token,MyBatis-Plus,MyBatisGenerator,MySQL,Nginx,
Spark
,Fastjson前端:Vue,Vue-router,
说书客啊
·
2023-12-06 15:12
SpringBoot框架源码
vue.js
spring
boot
javascript
java
后端
ERROR
Spark
Context: Error initializing
Spark
Context.org.apache.
spark
.
Spark
Exception:无效的
Spark
URL:
在idea中用scala编写
spark
的WordCount的案例时,老是报错,scala能运行其他程序scala没有问题,依赖按照视频教程也成功下载,Maven仓库也下载的巴巴适适,报的错误太多了,我节选有价值的错误信息
Guff_hys
·
2023-12-06 11:40
大数据开发学习
spark
大数据
分布式
scala
intellij
idea
服务器
后端
Spark
- SQL查询文件数据
那么我们可以利用
spark
-sql直接操作文件的特性处理这类的需求,姐姐再也不用担心我不会
spark
了,因为我就只会sql。使用方法csv
spark
.sql("select*fromcsv.
kikiki2
·
2023-12-06 11:16
Spark
由浅到深(1)--安装,测试,问题排错
安装部署//选择需要的版本.官网下载:http://
spark
.apache.org/downloads.html//部署tar-zxf
spark
-1.4.0-bin-hadoop2.6.tgzcd
spark
GeezKe
·
2023-12-06 10:04
Spark
Spark
BigData
Spark
读写Doris数据
1准备
Spark
环境创建maven工程,编写pom.xml文件 4.0.0
shangjg3
·
2023-12-06 08:48
Doris
大数据
数据仓库
doris
sql
spark
Spark
环境安装
Spark
环境安装一、准备工作1、hadoop成功安装2、防火墙关闭二、解压安装1、上传
spark
安装包到/opt/soft目录,进入该目录下,执行如下命令:tar-zxvf
spark
-2.1.1-bin-hadoop2.7
会java的怪蜀黍
·
2023-12-06 07:35
大数据
spark
大数据
分布式
生产环境_从数据到层级结构JSON:使用
Spark
构建多层次树形数据_父子关系生成
代码补充了!兄弟萌造的样例数据valdata=Seq(("USA","Male","Asian","Chinese"),("USA","Female","Asian","Chinese"),("USA","Male","Black","African"),("USA","Female","Black","African"),("USA","Male","White","European"),("U
Matrix70
·
2023-12-06 07:04
Spark
数据分析与处理
spark
大数据
算法
json
分布式
开发语言
spark
不同结构Dataset合并
1.先将hdfs(或本地)存储的csv文件加载为Dataset先在本地C盘准备两个csv文件test.csvclient_id,behives,del,normal_status,cust_type,no_trd_days7056,zl,1,hy,个人,27057,cf,1,hy,个人,127058,hs,2,hy,个人,1200212121,0,sj,hy,个人,1100212122,1,yx,
容若只如初见
·
2023-12-06 07:03
spark
大数据
分布式
spark
sql基于CBO的优化
前言
spark
sql基于CBO的优化是建立在物理计划层面的,原理是计算出所有可能的物理执行计划,并挑选成代价最小的物理执行计划。
!@123
·
2023-12-06 07:02
大数据
spark
sql
大数据
spark
写入 hudi时数据类型报错
报错信息如下:Causedby:org.apache.
spark
.sql.execution.QueryExecutionException:Parquetcolumncannotbeconvertedinfilehdfs
南城守护
·
2023-12-06 07:31
spark
大数据
分布式
spark
sql-Broadcast Hash Join、SMB-JOIN
那么再次进行join的时候,就相当于大表的各自分区的数据与小表进行本地join,从而避免了shuffle配置set
spark
.sql.autoBroadcastJoinThreshold=10m,默认为
!@123
·
2023-12-06 07:27
大数据
spark
大数据
Py
Spark
开发环境搭建常见问题及解决
Py
Spark
环境搭建常见问题及解决1、winutils.exe问题2、
Spark
URL问题3、set_ugi()问题本文主要收录Py
Spark
开发环境搭建时常见的一些问题及解决方案,并收集一些相关资源
对许
·
2023-12-06 07:54
Python大数据
#
Spark
spark
使用 pyarrow 将parquet转成
spark
能用的parquet
最近发现
spark
的一个坑(发现时
spark
最新为2.4.4版本),
spark
对parquet格式有特殊要求,不支持带“uint8”类型的parquethttps://github.com/apache
爱知菜
·
2023-12-06 06:55
Python
比较 Apache Hive 和
Spark
Hive和
Spark
是两种非常流行且成功的用于处理大规模数据集的产品。换句话说,他们进行大数据分析。本文重点描述这两种产品的历史和各种功能。
vvoennvv
·
2023-12-06 06:50
apache
hive
spark
Ambari hdp
Spark
多版本并存
本示例基于ambarihdp-2.6.0.3(
spark
2.1.0),集成
spark
2.2.2,其他的版本思路类似(
spark
2.3经测试也是没问题的)下载
spark
-2.2.2-bin-hadoop2.7
Respect123
·
2023-12-06 05:20
Spark
Streaming(三)集成Kafka
Kafka从0.8版本到0.10版本提供了一种新的消费者api,所以根据你的kafka版本不同相应的有2种包可用,分别是
spark
-streaming-kafka-0-8和
spark
-streaming-kafka
Sx_Ren
·
2023-12-06 03:33
分享2024年第一期!全国高校大数据与人工智能师资研修班
全国高校大数据与人工智能师资研修班2024年第一期上海线下班:数据采集与机器学习实战广州线下班:大数据技术应用实战(Hadoop+
Spark
)线上班(十一大专题)PyTorch深度学习与大模型应用实战数据采集与处理实战大数据分析与机器学习实战大数据技术应用实战
泰迪智能科技
·
2023-12-06 03:22
师资培训
大数据
人工智能
Scrapy爬虫数据存储为JSON文件的解决方案
它基于JavaScript
Spark
语言的一个子集,但独立于Smashing语言,因此在许多中语言中都可以使用。JSON文件由键值对组成,可以表示对象和缓存等复杂结构。
小白学大数据
·
2023-12-06 02:16
python
爬虫
scrapy
爬虫
json
开发语言
数据分析
python
Spark
- SQL查询文件数据
那么我们可以利用
spark
-sql直接操作文件的特性处理这类的需求,姐姐再也不用担心我不会
spark
了,因为我就只会sql。使用方法csv
spark
.sql("select*fromcsv.
kikiki2
·
2023-12-06 01:07
Spark
- SQL查询文件数据
那么我们可以利用
spark
-sql直接操作文件的特性处理这类的需求,姐姐再也不用担心我不会
spark
了,因为我就只会sql。使用方法csv
spark
.sql("select*fromcsv.
kikiki2
·
2023-12-06 01:40
当发送“Hello,World”时,channel发生了什么?
Cassandra-nosql数据库
Spark
-大数据分布式计算框架Hadoop-大数据
仙草不加料
·
2023-12-05 22:53
netty
java
网络编程
Flink快速入门
大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop/storm/
spark
WaiSaa
·
2023-12-05 21:30
Java
大数据
flink
大数据
基于Docker搭建
Spark
集群
介绍在MacOS下使用Docker搭建
Spark
集群,进行学习。
_吹灭读书灯_
·
2023-12-05 19:39
Spark
中cache和persist区别
cache和persist的区别基于
Spark
1.4.1的源码,可以看到/**PersistthisRDDwiththedefaultstoragelevel(`MEMORY_ONLY`).
西二旗老司机
·
2023-12-05 18:51
Spark
-03:
Spark
SQL 基础编程
目录1.
Spark
SQL简介2.
Spark
Session3.
Spark
SQL数据的读写3.1读写TXT文件3.2读写CSV文件3.3读写JSON文件3.4读写Parquet文件3.5读写ORC文件3.6
m0_37559973
·
2023-12-05 18:17
Spark
spark
Spark
的五种JOIN策略
JOIN操作是非常常见的数据处理操作,
Spark
作为一个统一的大数据处理引擎,提供了非常丰富的JOIN场景。
大数据学习
·
2023-12-05 16:25
spark
mllib和
spark
ml机器学习基础知识
spark
机器学习
Spark
MLib完整基础入门教程-y-z-f-博客园(cnblogs.com)参考
spark
机器学习简介机械学习是一门人工智能的科学,用于研究人工智能,强调算法,经验,性能开发者任务
厨 神
·
2023-12-05 16:50
大数据
python
spark
黑马一站制造数仓实战1
1.项目目标一站制造企业中项目开发的落地:代码开发代码开发:SQL【DSL+SQL】
Spark
Core
Spark
SQL数仓的一些实际应用:分层体系、建模实现2.内容目标项目业务介绍:背景、需求项目技术架构
ZhaoXiangmoStu
·
2023-12-05 15:20
Python
制造
大数据
spark
无法执行pi_如何验证
spark
搭建完毕
在配置yarn环境下的
spark
时,执行尚硅谷的以下命令发现报错,找不到这个也找不到那个,尚硅谷的代码是bin/
spark
-submit\--classorg.apache.
spark
.examples.
Spark
Pi
Guff_hys
·
2023-12-05 10:57
大数据开发学习
spark
大数据
分布式
spark
sql基于RBO的优化
讲解RBO之前必须对
spark
sql的执行计划做一个简单的介绍。
!@123
·
2023-12-05 10:57
大数据
spark
sql
大数据
【
Spark
基础】-- 理解
Spark
shuffle
目录前言1、什么是
Spark
shuffle?2、
Spark
的三种shuffle实现3、参考前言以前,
Spark
有3种不同类型的shuffle实现。每种实现方式都有他们自己的优缺点。
high2011
·
2023-12-05 10:24
Spark
spark
大数据
分布式
Apache
Spark
Apache
Spark
是一个快速、可扩展、开源的大数据处理框架,采用内存计算,具有比HadoopMapReduce更高的性能和更好的扩展性。
m0_64180190
·
2023-12-05 10:24
付费
javascript
html5
开发语言
腾讯式“游戏科技”:理解硬核技术、去游戏化和数字解决方案
在刚刚结束的“
SPARK
2022”腾讯游戏发布会上,腾讯结结实实地秀了一把肌肉。
谈游言戏研究所
·
2023-12-05 10:23
spark
c程序idea调试提示内存不足
Exceptioninthread"main"java.lang.IllegalArgumentException:Systemmemory259522560mustbeatleast471859200.Pleaseincreaseheapsizeusingthe--driver-memoryoptionor
spark
.driver.memoryin
Spark
configuration
超超超超子
·
2023-12-05 09:52
spark
java
Spark
SQL中RDD和DF之间相互转换
packagecom.huc.
spark
Sqlimportorg.apache.
spark
.rdd.RDDimportorg.apache.
spark
.sql.
huchao7
·
2023-12-05 06:55
笔记
spark
sql
scala
AI创作ChatGPT网站系统源码保姆级搭建部署教程+支持GPT-4图片对话能力
一、AI创作系统
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2023-12-05 05:46
人工智能
ChatGPT
教程
chatgpt
人工智能
midjourney
prompt
ai绘画Midjourney绘画提示词Prompt教程
一、Midjourney绘画工具
Spark
Ai【无需魔法使用】:
Spark
Ai是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT?
白云如幻
·
2023-12-05 05:07
人工智能
教程
AI作画
midjourney
prompt
Flink-Flink及主流流框架比较
是不是听起来很像
spark
?没错,两者都希望提供一个统一功能的计算平台给用户。虽然目标非常类似,但是flink在实现上和
spark
存在着很大的区别,flink是一个面向
lisery_nj
·
2023-12-05 05:19
Flink
大数据开发:Hive on
Spark
设计原则及架构
在
Spark
越来越受到主流市场青睐的大背景下,Hive作为Hadoop生态当中的数仓组件工具,在于
Spark
生态的配合当中,开始有了Hiveon
Spark
的思路,那么具体是怎么实现的呢?
成都加米谷大数据
·
2023-12-05 01:44
从 MapReduce 的运行机制看它为什么比
Spark
慢
在Hadoop1中,MapReduce计算框架即负责集群资源的调度,还负责MapReduce程序的运行。一,MapReduce组成MapReduce的运行过程有三个关键进程:1,大数据应用进程。这是用户启动的MapReduce程序进程,主要是指定Map和Reduce类、输入输出文件路径等,并提交作业给Hadoop集群的JobTracker进程。2,JobTracker进程。这是Hadoop集群的常
stone_zhu
·
2023-12-05 00:36
Spark
读写Oracle性能深度调优
Spark
作为一个分布式计算框架,可以很好的适用于Hadoop。那么
Spark
是否可以与关系型数据库较好的进行兼容呢?以
Spark
作为计算,以关系型数据库(例如Oracle)作为存储?
weixin_43370502
·
2023-12-04 21:16
spark
oracle
数据库
如何理解
Spark
SQL中的partitionColumn, lowerBound, upperBound, numPartitions
如何理解
Spark
SQL中的partitionColumn,lowerBound,upperBound,numPartitions在
Spark
SQL中,读取数据的时候可以分块读取。
肿么肥四啊哈
·
2023-12-04 20:43
Spark
spark
大数据的技术栈-逐步完善
分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris数据库3.混合处理框架
SPARK
a.
Spark
b
刘文钊1
·
2023-12-04 20:12
大数据
上一页
32
33
34
35
36
37
38
39
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他