E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark学习之路
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具,如
Spark
、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【Hadoop】使用Scala与
Spark
连接ClickHouse进行数据处理
风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域,Apache
Spark
音乐学家方大刚
·
2024-03-26 09:56
Scala
Hadoop
hadoop
scala
spark
Spark
面试整理-
Spark
是什么?
Apache
Spark
是一个开源的分布式计算系统,它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的,并于2010年开源。
不务正业的猿
·
2024-03-24 13:02
面试
Spark
spark
大数据
分布式
Spark
Q&A
A:从
Spark
2.1开始,你可以通过启用
spark
.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。
耐心的农夫2020
·
2024-03-19 00:12
linux安装单机版
spark
3.5.0
一、
spark
介绍是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.
Spark
主要用于大数据的计算二、
spark
下载
spark
3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
Spark
的数据结构——RDD
RDD的5个特征下面来说一下RDD这东西,它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域,大数据都是分割成若干个部分,放到多个服务器上,这样就能做到多线程的处理数据,这对处理大数据量是非常重要的。分区意味着,可以使用多个线程了处理。Afunctionforcomputingeachsplit:作用在
bluedraam_pp
·
2024-03-14 08:32
Spark
spark
数据结构
大数据
大数据开发(
Spark
面试真题-卷一)
大数据开发(
Spark
面试真题)1、什么是
Spark
Streaming?简要描述其工作原理。2、什么是
Spark
内存管理机制?请解释其中的主要概念,并说明其作用。
Key-Key
·
2024-03-13 07:58
大数据
spark
面试
基于HBase和
Spark
构建企业级数据处理平台
摘要:在中国HBase技术社区第十届Meetup杭州站上,阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和
Spark
体系构建企业级数据处理平台,并且针对于一些具体落地场景进行了介绍。
weixin_34071713
·
2024-03-12 22:44
大数据
数据库
爬虫
lightGBM专题4:py
spark
平台下lightgbm模型保存
之前的文章(py
spark
lightGBM1和py
spark
lightGBM2)介绍了py
spark
下lightGBM算法的实现,本文将重点介绍下如何保存训练好的模型,直接上代码:frompy
spark
.sqlimport
Spark
Sessionfrompy
spark
.ml.featureimportStringIndexer
I_belong_to_jesus
·
2024-03-12 12:30
大数据
学习之路
漫长
学习是件长久的事,不是说学习一天两天,学习一个月两个月就结束的。真的是非常佩服那些将学习当成一辈子的事,可以每天学习学习。不管多忙,都会有时间学习,不管多累,都会学习,不管多难,都会持续学习。坚持,加油,努力!
乡村算卦师
·
2024-03-12 07:55
大数据开发(
Spark
面试真题-卷六)
大数据开发(
Spark
面试真题)1、
Spark
HashPartitioner和RangePartitioner的实现?
Key-Key
·
2024-03-12 02:16
大数据
spark
面试
大数据开发(Hadoop面试真题-卷二)
6、
Spark
为什么比MapReduce更快?7、详细描述一
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
Spark
从入门到精通29:
Spark
SQL:工作原理剖析以及性能优化
Spark
SQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的数据仓库,例如Hive。
勇于自信
·
2024-03-11 00:20
大数据开发(Hadoop面试真题-卷九)
3、
Spark
mapjoin的实现原理?4、
Spark
的stage如何划分?在源码中是怎么判断属于ShuffleMapStage或ResultStage的?5、
Spark
reduceByKe
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
Spark
Streaming(二):DStream数据源
1、输入DStream和Receiver输入(Receiver)DStream代表了来自数据源的输入数据流,在之前的wordcount例子中,lines就是一个输入DStream(JavaReceiverInputDStream),代表了从netcat(nc)服务接收到的数据流。除了文件数据流之外,所有的输入DStream都会绑定一个Receiver对象,该对象是一个关键的组件,用来从数据源接收数
雪飘千里
·
2024-03-09 01:28
Spark
常见问题汇总
注意:如果Driver写好了代码,eclipse或者程序上传后,没有开始处理数据,或者快速结束任务,也没有在控制台中打印错误,那么请进入
spark
的web页面,查看一下你的任务,找到每个分区日志的stderr
midNightParis
·
2024-03-08 03:25
spark
spark
Spark
Shop开源可商用,匹配小程序H5和PC端带分销功能!
Spark
Shop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统;包含小程序商城、H5商城、公众号商城、PC商城、App,支持页面diy、秒杀、优惠券
行动之上
·
2024-03-05 15:09
源码免费下载
小程序
【Hadoop】在
spark
读取clickhouse中数据
clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.
spark
.sql.SaveModeimportorg.apache.
spark
.sql.
Spark
SessiondefgetCKJdbcProperties
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
Spark
-sql Adaptive Execution动态调整分区数量,调整输出文件数
有时间为了解决小文件问题,我们把
spark
.sql.shuffle.partitions这个参数调整的很小,但是随着时间的推移,数据量越来越大,当初设置的参数就不合适了,那有没有一个可以自我伸缩的参数呢
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hive join中出现的数据暴增(数据重复)
我们来看一下案例:
spark
-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid
不想起的昵称
·
2024-03-02 15:03
hive
大数据
hadoop
hive
hive四种常见的join
1.左连接leftjoin
spark
-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname
不想起的昵称
·
2024-03-02 15:33
hive
大数据
hadoop
hdfs
hive
Spark
整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好
spark
,如果不会安装可以跳转到
Spark
安装与配置(单机版)3、需要安装配置好Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
在
Spark
数据导入中的一些实践细节
best-practices-import-data-
spark
-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化,逐渐体现出了性能上的瓶颈:单机不足以支持更大的图谱
NebulaGraph
·
2024-02-27 07:53
Spark
开发_简单DataFrame判空赋值逻辑
valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.
spark
.sql.DataFrame
Matrix70
·
2024-02-26 22:06
Spark开发_工作
spark
大数据
分布式
Spark
SQL编程指南
Spark
SQL编程指南
Spark
SQL是用于结构化数据处理的一个模块。同
Spark
RDD不同地方在于
Spark
SQL的API可以给
Spark
计算引擎提供更多地信息,例如:数据结构、计算算子等。
<>=
·
2024-02-26 05:46
spark
继续教育公需科目试题及答案,分享几个实用搜题和学习工具 #经验分享#经验分享
今天,我将向大家介绍备受大学生欢迎的日常学习工具,希望能为你们的
学习之路
添砖加瓦。1.试题易这是一个网站涵盖初高中/大学/专升本/考研/成人自考/各类资格证等等考试题目,同时支持截图搜题、语音
红色小鬼头
·
2024-02-20 19:29
学习
经验分享
cpp程序员速成rust(更新中)
前言cpper在学习rust过程中会免不得将rust的语法跟cpp做对比,所以特开此坑,在此记录下来我的rust
学习之路
,仅供参考。
_沥川往事
·
2024-02-20 18:52
rust
开发语言
Pandas将单列XML格式数据转化为字典再拆分成多列 列表拆分成多列
单列XML扩展成多列遇到了个需求是需要把XML格式的数据拆分成多列的一个需求,本来需要使用
spark
进行处理的,但是没想到什么优雅的解决方案,所以打算先使用pandas找找感觉。样例数据如下所示。
aoyi1337
·
2024-02-20 18:22
python
学习能增强勇气
自从接触“焦点”,重新走上
学习之路
以来,久而久之,我发现,面对任何一件事,即使以前从未接触过,我想,只要从心理上接受,就会想方设法去考虑它的设计方案,执行计划等相关事宜,这样,就有可能圆满完成这项工作。
快乐一生_87e8
·
2024-02-20 17:38
航班数据预测与分析
数据清洗:数据存储到HDFS:使用py
spark
对数据进行分析://数据导入frompy
spark
import
Spark
Contextfrompy
spark
.sqlimportSQLContextsc=
林坰
·
2024-02-20 16:15
大数据
spark
航班数据分析
杜艳辉
再聊阴影裁剪与高性能视锥剔除
【U
Spark
le专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!
·
2024-02-20 16:50
unity
spark
为什么比mapreduce快?
spark
为什么比mapreduce快?
·
2024-02-20 16:30
后端
[CDH]
Spark
属性、内存、CPU相关知识梳理
version:2.4.0-cdh6.3.0文章目录
spark
properties常用配置
spark
task
spark
task使用的cpu核数
spark
architecture
spark
memory
spark
onyarn
枪枪枪
·
2024-02-20 15:24
Spark
spark
scala
big
data
spark
CTAS nuion all (union all的个数很多)导致超过
spark
.driver.maxResultSize配置(2G)
背景该sql运行在
spark
版本3.1.2下的thriftserver下现象在运行包含多个union的
spark
sql的时候报错(该sql包含了50多个uinon,且每个union字查询中会包含join
鸿乃江边鸟
·
2024-02-20 13:29
java
学习之路
(3)-JAVA_HOME环境变量配置
win+i>>找到高级系统设置>>环境变量>>系统变量新建path中添加'%JAVA_HOME%\bin'
ouxiaoxian
·
2024-02-20 13:11
java
学习
python
java
学习之路
(2)-编译java文件运行Java文件
创建.java后缀文本文件HelloWorld.java写入代码:publicclassHelloWorld{publicstaticvoidmain(String[]args){System.out.println("HelloWorld");}}运行cmd命令找到代码所在目录输入javac编译Java文件生成HelloWorld.class编译:javac是JDK提供的编译工具,我们可以通过这
ouxiaoxian
·
2024-02-20 13:10
Java
java
学习
开发语言
java
学习之路
(1)-隐藏桌面图标从CMD命令中打开软件
1.找到文件所在路径:2.将文件路径添加到环境变量中3.win+r打开cmd输入命令(目录后面的QQScLauncher.exe)直接可以打开QQ软件,删除桌面图标,别人就找不到了,只能通过cmd命令或者是找到安装包所在位置才能打开软件
ouxiaoxian
·
2024-02-20 13:40
Java
学习
一个00后的蜕变之路,一定要看到最后
我跟很多人聊过天,每当跟他们说起学习的时候,自己都不以为然,我一般也不反对他们说的那些话,在当今这个社会,读书很重要,我当初放弃了
学习之路
,有一部分原因是因为我自己胆小,经常收到同桌欺压不敢跟老师家长讲
薄荷味日记
·
2024-02-20 12:10
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如HadoopYARN,但也可以设置作为独立集群甚至库运行,例如
Spark
的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
我的英语
学习之路
(二)
昨晚英语课结课了。从6月26日到8月6日,周一到周四每晚两个小时,连续上了六周的课。每天下班后匆匆忙忙赶去课室,课室较偏买快餐很困难(时间不允许走得更远些去吃饭),我的晚餐基本就是一块饼两个包之类的,看到从更远的地方下班赶过来的同学争分夺秒地吃着晚餐,我不禁感慨上班族用业务时间学习真不容易。不过大家都是自愿来学习的,没人有怨言,学习气氛还是很浓的,大家经常是一边吃着面包一边讨论昨天老师布置的作业。
LydiaYY98
·
2024-02-20 11:30
大数据 -
Spark
系列《六》- RDD详解
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 -
Spark
系列《七》- 分区器详解
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
Hive切换引擎(MR、Tez、
Spark
)
Hive切换引擎(MR、Tez、
Spark
)1.MapReduce计算引擎(默认)sethive.execution.engine=mr;2.Tez引擎sethive.execution.engine=
落空空。
·
2024-02-20 10:54
hive
mr
spark
【GRU回归预测】麻雀算法优化注意力机制卷积神经网络结合双向门控循环单元SSA-Attention-CNN-BiGRU数据预测(多输入多输出)【含Matlab源码 3905期】
个人主页:海神之光代码获取方式:海神之光Matlab王者
学习之路
—代码获取方式⛳️座右铭:行百里者,半于九十。
Matlab领域
·
2024-02-20 09:14
matlab
Hbase - 自定义Rowkey规则
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制`TableInputFormat`来实现我们的需求了,我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`
Spark
kikiki5
·
2024-02-20 07:17
php实现讯飞星火大模型3.5
星火大模型-科大讯飞2.修改对应php文件中的key等可以参考文档说明,以及下载demo星火认知大模型WebAPI文档|讯飞开放平台文档中心其中appid等都需要修改还有uid,3.5模型wss://
spark
-ap
随风万里无云
·
2024-02-20 07:38
ai
php
开发语言
2024.2.19 阿里云Flink
一、Flink基本介绍
Spark
底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions
白白的wj
·
2024-02-20 07:05
flink
大数据
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践
在当前的大数据格局中,
Spark
/Hive/Flink是最为主流的ETL或Strea
Laurence
·
2024-02-20 06:28
大数据专题
flink
catalog
hudi
metastore
hive
共用表
元数据
面试系列之《
Spark
》(持续更新...)
stage:一个job任务中从后往前划分,分区间每产生了shuffle也就是宽依赖则划分为一个stage,stage这体现了
spark
的pipeline思想,即数据在内存中尽可能的往后多计算,最后落盘,
atwdy
·
2024-02-20 06:07
Spark
面试
spark
以内存为核心的开源分布式存储系统
Tachyon为不同的大数据计算框架(如Apache
Spark
,HadoopMapReduce,ApacheFlink等)提供可靠的内存级的数据共享服务。
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他