E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark大数据处理
linux安装单机版
spark
3.5.0
一、
spark
介绍是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.
Spark
主要用于大数据的计算二、
spark
下载
spark
3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
Spark
的数据结构——RDD
RDD的5个特征下面来说一下RDD这东西,它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域,大数据都是分割成若干个部分,放到多个服务器上,这样就能做到多线程的处理数据,这对处理大数据量是非常重要的。分区意味着,可以使用多个线程了处理。Afunctionforcomputingeachsplit:作用在
bluedraam_pp
·
2024-03-14 08:32
Spark
spark
数据结构
大数据
大数据开发(
Spark
面试真题-卷一)
大数据开发(
Spark
面试真题)1、什么是
Spark
Streaming?简要描述其工作原理。2、什么是
Spark
内存管理机制?请解释其中的主要概念,并说明其作用。
Key-Key
·
2024-03-13 07:58
大数据
spark
面试
基于HBase和
Spark
构建企业级数据处理平台
摘要:在中国HBase技术社区第十届Meetup杭州站上,阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和
Spark
体系构建企业级数据处理平台,并且针对于一些具体落地场景进行了介绍。
weixin_34071713
·
2024-03-12 22:44
大数据
数据库
爬虫
lightGBM专题4:py
spark
平台下lightgbm模型保存
之前的文章(py
spark
lightGBM1和py
spark
lightGBM2)介绍了py
spark
下lightGBM算法的实现,本文将重点介绍下如何保存训练好的模型,直接上代码:frompy
spark
.sqlimport
Spark
Sessionfrompy
spark
.ml.featureimportStringIndexer
I_belong_to_jesus
·
2024-03-12 12:30
大数据
大数据开发(
Spark
面试真题-卷六)
大数据开发(
Spark
面试真题)1、
Spark
HashPartitioner和RangePartitioner的实现?
Key-Key
·
2024-03-12 02:16
大数据
spark
面试
大数据开发(Hadoop面试真题-卷二)
6、
Spark
为什么比MapReduce更快?7、详细描述一
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
Spark
从入门到精通29:
Spark
SQL:工作原理剖析以及性能优化
Spark
SQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的数据仓库,例如Hive。
勇于自信
·
2024-03-11 00:20
大数据开发(Hadoop面试真题-卷九)
3、
Spark
mapjoin的实现原理?4、
Spark
的stage如何划分?在源码中是怎么判断属于ShuffleMapStage或ResultStage的?5、
Spark
reduceByKe
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
Spark
Streaming(二):DStream数据源
1、输入DStream和Receiver输入(Receiver)DStream代表了来自数据源的输入数据流,在之前的wordcount例子中,lines就是一个输入DStream(JavaReceiverInputDStream),代表了从netcat(nc)服务接收到的数据流。除了文件数据流之外,所有的输入DStream都会绑定一个Receiver对象,该对象是一个关键的组件,用来从数据源接收数
雪飘千里
·
2024-03-09 01:28
Spark
常见问题汇总
注意:如果Driver写好了代码,eclipse或者程序上传后,没有开始处理数据,或者快速结束任务,也没有在控制台中打印错误,那么请进入
spark
的web页面,查看一下你的任务,找到每个分区日志的stderr
midNightParis
·
2024-03-08 03:25
spark
spark
Spark
Shop开源可商用,匹配小程序H5和PC端带分销功能!
Spark
Shop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统;包含小程序商城、H5商城、公众号商城、PC商城、App,支持页面diy、秒杀、优惠券
行动之上
·
2024-03-05 15:09
源码免费下载
小程序
【Hadoop】在
spark
读取clickhouse中数据
clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.
spark
.sql.SaveModeimportorg.apache.
spark
.sql.
Spark
SessiondefgetCKJdbcProperties
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
Spark
-sql Adaptive Execution动态调整分区数量,调整输出文件数
有时间为了解决小文件问题,我们把
spark
.sql.shuffle.partitions这个参数调整的很小,但是随着时间的推移,数据量越来越大,当初设置的参数就不合适了,那有没有一个可以自我伸缩的参数呢
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hive join中出现的数据暴增(数据重复)
我们来看一下案例:
spark
-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid
不想起的昵称
·
2024-03-02 15:03
hive
大数据
hadoop
hive
hive四种常见的join
1.左连接leftjoin
spark
-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname
不想起的昵称
·
2024-03-02 15:33
hive
大数据
hadoop
hdfs
hive
Spark
整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好
spark
,如果不会安装可以跳转到
Spark
安装与配置(单机版)3、需要安装配置好Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
在
Spark
数据导入中的一些实践细节
best-practices-import-data-
spark
-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化,逐渐体现出了性能上的瓶颈:单机不足以支持更大的图谱
NebulaGraph
·
2024-02-27 07:53
Spark
开发_简单DataFrame判空赋值逻辑
valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.
spark
.sql.DataFrame
Matrix70
·
2024-02-26 22:06
Spark开发_工作
spark
大数据
分布式
Spark
SQL编程指南
Spark
SQL编程指南
Spark
SQL是用于结构化数据处理的一个模块。同
Spark
RDD不同地方在于
Spark
SQL的API可以给
Spark
计算引擎提供更多地信息,例如:数据结构、计算算子等。
<>=
·
2024-02-26 05:46
spark
Pandas将单列XML格式数据转化为字典再拆分成多列 列表拆分成多列
单列XML扩展成多列遇到了个需求是需要把XML格式的数据拆分成多列的一个需求,本来需要使用
spark
进行处理的,但是没想到什么优雅的解决方案,所以打算先使用pandas找找感觉。样例数据如下所示。
aoyi1337
·
2024-02-20 18:22
python
信息流广告平台,为何腾讯微信朋友圈广告受众这么强?
它是国内领先的效果广告营销平台,依托于腾讯海量优质流量资源,给广告主提供跨平台、跨终端的网络推广方案,并利用腾讯
大数据处理
算法实现成本
rw18110650451
·
2024-02-20 18:46
小程序
航班数据预测与分析
数据清洗:数据存储到HDFS:使用py
spark
对数据进行分析://数据导入frompy
spark
import
Spark
Contextfrompy
spark
.sqlimportSQLContextsc=
林坰
·
2024-02-20 16:15
大数据
spark
航班数据分析
杜艳辉
再聊阴影裁剪与高性能视锥剔除
【U
Spark
le专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!
·
2024-02-20 16:50
unity
spark
为什么比mapreduce快?
spark
为什么比mapreduce快?
·
2024-02-20 16:30
后端
[CDH]
Spark
属性、内存、CPU相关知识梳理
version:2.4.0-cdh6.3.0文章目录
spark
properties常用配置
spark
task
spark
task使用的cpu核数
spark
architecture
spark
memory
spark
onyarn
枪枪枪
·
2024-02-20 15:24
Spark
spark
scala
big
data
spark
CTAS nuion all (union all的个数很多)导致超过
spark
.driver.maxResultSize配置(2G)
背景该sql运行在
spark
版本3.1.2下的thriftserver下现象在运行包含多个union的
spark
sql的时候报错(该sql包含了50多个uinon,且每个union字查询中会包含join
鸿乃江边鸟
·
2024-02-20 13:29
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如HadoopYARN,但也可以设置作为独立集群甚至库运行,例如
Spark
的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
大数据 -
Spark
系列《六》- RDD详解
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 -
Spark
系列《七》- 分区器详解
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
Hive切换引擎(MR、Tez、
Spark
)
Hive切换引擎(MR、Tez、
Spark
)1.MapReduce计算引擎(默认)sethive.execution.engine=mr;2.Tez引擎sethive.execution.engine=
落空空。
·
2024-02-20 10:54
hive
mr
spark
Hbase - 自定义Rowkey规则
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制`TableInputFormat`来实现我们的需求了,我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`
Spark
kikiki5
·
2024-02-20 07:17
php实现讯飞星火大模型3.5
星火大模型-科大讯飞2.修改对应php文件中的key等可以参考文档说明,以及下载demo星火认知大模型WebAPI文档|讯飞开放平台文档中心其中appid等都需要修改还有uid,3.5模型wss://
spark
-ap
随风万里无云
·
2024-02-20 07:38
ai
php
开发语言
2024.2.19 阿里云Flink
一、Flink基本介绍
Spark
底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions
白白的wj
·
2024-02-20 07:05
flink
大数据
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践
在当前的大数据格局中,
Spark
/Hive/Flink是最为主流的ETL或Strea
Laurence
·
2024-02-20 06:28
大数据专题
flink
catalog
hudi
metastore
hive
共用表
元数据
面试系列之《
Spark
》(持续更新...)
stage:一个job任务中从后往前划分,分区间每产生了shuffle也就是宽依赖则划分为一个stage,stage这体现了
spark
的pipeline思想,即数据在内存中尽可能的往后多计算,最后落盘,
atwdy
·
2024-02-20 06:07
Spark
面试
spark
以内存为核心的开源分布式存储系统
Tachyon为不同的大数据计算框架(如Apache
Spark
,HadoopMapReduce,ApacheFlink等)提供可靠的内存级的数据共享服务。
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
手机远程控制树莓派-BLINKER应用(物联网基础)
由于我买了坚果云这个软件服务,所以我对云储存并无太大的兴趣,只是有时候要远程回家翻翻服务器上的东西,或者挂着下载个东西,跑个py
spark
之类的。
crossni
·
2024-02-20 00:15
硬件
无依赖单机尝鲜 Nebula Exchange 的 SST 导入
无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式(单机、容器化
Spark
、Hadoop、NebulaGraph),快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph
·
2024-02-19 23:51
Linux下
Spark
offline安装graphframes包
文章目录背景安装步骤背景GraphX是
Spark
中用于图计算的模块.
Spark
安装包中内置Scala语言的GraphX库,但是对于Python语言的安装包,需要额外进行安装.对于内网服务器,不能访问外网
ithiker
·
2024-02-19 22:45
spark
linux
spark
主流开发语言和开发环境?
Java被广泛应用于企业级应用开发、移动应用(特别是Android应用)、游戏开发、
大数据处理
(如Hadoop生态系统)、云计算服务端开发等场景。C++简介:C+
dami_king
·
2024-02-19 20:50
开发语言
AWS Serverless Py
Spark
指定 Python 版本(qbit)
的最新版本是6.15,自带的Python版本是3.7,尝试上传使用Python3.11Python环境打包技术栈Ubuntu22.04(x86)Linuxversion5.15Python3.11.5py
spark
3.4.1conda23.10.0conda-pack0.7.1
·
2024-02-19 16:05
Quick introduction to Apache
Spark
什么是
Spark
Apache
Spark
是一种快速通用的集群计算系统。它提供Java,Scala,Python和R中的高级API,以及支持通用执行图的优化引擎。
Liam_ml
·
2024-02-19 13:29
Spark
中多分区写文件前可以不排序么
背景
Spark
3.5.0目前
Spark
中的实现中,对于多分区的写入默认会先排序,这是没必要的。
鸿乃江边鸟
·
2024-02-19 13:10
分布式
spark
大数据
spark
大数据
分布式
Flink 细粒度滑动窗口性能优化
大数据技术AIFlink/
Spark
/Hadoop/数仓,数据分析、面试,源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口(窗口长度远远大于滑动步长)时,
hyunbar
·
2024-02-19 13:39
Flink
大数据
flink
java
数据库
【大数据面试题】006介绍一下Parquet存储格式的优势
同时一般查询使用时不会使用所有列,而是只用到几列,所以查询速度会更快压缩比例高因为是列式存储,所以可以对同一类型的一段做压缩,压缩比例高支持的平台和框架多在Hadoop,
Spark
,Presto,Python
Jiweilai1
·
2024-02-19 13:34
一天一道面试题
大数据
spark
hadoop
七天爆肝flink笔记
一.flink整体介绍及wordcount案例代码1.1整体介绍从上到下包含有界无界流支持状态特点与
spark
对比应用场景架构分层1.2示例代码了解了后就整个demo吧数据源准备这里直接用的文本文件gradle
我才是真的封不觉
·
2024-02-19 13:01
flink
笔记
大数据
(15)Hive调优——数据倾斜的解决指南
目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2
Spark
任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值
爱吃辣条byte
·
2024-02-19 11:50
#
Hive
大数据
hive
Hive on
Spark
配置
前提条件1、安装好Hive,参考:Hive安装部署-CSDN博客2、下载好
Spark
安装包,链接:https://pan.baidu.com/s/1plIBKPUAv79WJxBSbdPODw?
在下区区俗物
·
2024-02-15 10:51
hive
spark
hadoop
配置hive on
spark
配置hiveon
spark
1、上传
Spark
纯净版jar包到HDFS:hdfsdfs-mkdir/
spark
-jarshdfsdfs-put/opt/
spark
/jars/*/
spark
-jars2、修改
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他