E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop;Spark
hadoop
面试题
0.思维导图1.HDFS1.HDFS的架构♥♥ HDFS主要包括三个部分,namenode,datanode以及secondarynamenode。这里主要讲一下他们的作用:namenode主要负责存储数据的元数据信息,不存储实际的数据块,而datanode就是存储实际的数据块,secondarynamenode主要是定期合并FsImage和edits文件(这里可以进行扩展,讲一下为什么有他们的
韩顺平的小迷弟
·
2024-01-29 06:27
大数据面试题
hadoop
大数据
分布式
基于
Spark
个性化图书推荐系统
介绍该系统基于
Spark
,结合了协同过滤算法和个性化推荐技术,实现了一款个性化的书籍推荐系统。
沐知全栈开发
·
2024-01-29 04:48
spark
大数据
分布式
大数据之
Hadoop
-MapReduce(1)
第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于
Hadoop
的数据分析应用”的核心框架。
jackyan163
·
2024-01-29 04:18
Hive初体验
首先,确保启动了Metastore服务{runjar就是metastore;
hadoop
要先启动}可以执行:bin/hive进入到HiveShell环境中,可以直接执行SQL的语句;·创建表(hive里面的字符串就是
%HelloWorld%
·
2024-01-29 03:09
hive
hadoop
数据仓库
[m1pro ] ssh: connect to host localhost port 22: Connection refused
在学习
Hadoop
的时候,使用sshlocalhost遇到以下问题原因:本地没有打开远程登录解决办法:打开远程登录成功结果
程序员三木
·
2024-01-29 03:33
大后端
ssh
服务器
数据库
spark
shuffle
spark
的shuffle过程分为:1:map2:shufflewrite3:shuffleread4:reduce一般来说机器的性能好的话,shuffle过程之中,数据不写入磁盘。
流砂月歌
·
2024-01-29 01:13
java
spark
运行原理_
SPARK
:作业基本运行原理
Spark
作业基本运行原理:我们使用
spark
-submit提交一个
spark
作业之后,这个作业就会启动一个对应的Driver进程。
长野君
·
2024-01-28 23:44
java
spark
运行原理
spark
作业调度原理
概述
spark
有多种方式调度各个计算所需的资源.首先,每个application(即
spark
Context实例)有一组独立的Executor进程。
Deegue
·
2024-01-28 23:14
spark
spark
原理&机制
参数调优
Spark
作业执行流程
一、
Spark
组件
Spark
的基本组件,包括负责集群运行的Master和Worker,负责作业运行的Client和Driver,以及负责集群资源管理器(如YARN)和执行单元Executor等。
晓之以理的喵~~
·
2024-01-28 23:13
Hadoop
Spark
大数据
spark
大数据
分布式
【
Spark
】
Spark
作业执行原理--获取执行结果
一、执行结果并序列化任务执行完成后,是在TaskRunner的run方法的后半部分返回结果给Driver的:overridedefrun():Unit={...//执行任务valvalue=try{valres=task.run(taskAttemptId=taskId,attemptNumber=attemptNumber,metricsSystem=env.metricsSystem)thre
勤言不勤语
·
2024-01-28 23:43
Spark
spark
Spark
作业基本运行原理
Spark
作业基本运行原理:我们使用
spark
-submit提交一个
spark
作业之后,这个作业就会启动一个对应的Driver进程。
wybdt
·
2024-01-28 23:42
Spark
spark
大数据
【
Spark
系列2】
Spark
编程模型RDD
RDD概述RDD最初的概述来源于一片论文-伯克利实验室的ResilientDistributedDatasets:AFault-TolerantAbstractionforIn-MemoryClusterComputing。这篇论文奠定了RDD基本功能的思想RDD实际为ResilientDistributionDatasets的简称,意为弹性分布式数据集RDD的基本属性1、分区RDD的中文含义是弹
周润发的弟弟
·
2024-01-28 23:12
spark
大数据
分布式
【
Spark
系列3】RDD源码解析实战
本文主要讲1、什么是RDD2、RDD是如何从数据中构建一、什么是RDD?RDD:弹性分布式数据集,ResillientDistributedDataset的缩写。个人理解:RDD是一个容错的、并行的数据结构,可以让用户显式的将数据存储到磁盘和内存中,并能控制数据的分区。同时RDD还提供一组丰富的API来操作它。本质上,RDD是一个只读的分区集合,一个RDD可以包含多个分区,每个分区就是一个data
周润发的弟弟
·
2024-01-28 23:12
spark
大数据
分布式
Spark
作业执行原理
Spark
的作业和任务调度系统是
Spark
的核心,它能够有效地进行调度根本原因是对任务划分DAG和容错,使得它对低层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。
垫路的石头
·
2024-01-28 23:12
spark
Spark
工作原理
1)
Spark
工作原理:首先看中间是一个
Spark
集群,可以理解为是
Spark
的standalone集群,集群中有6个节点左边是
Spark
的客户端节点,这个节点主要负责向
Spark
集群提交任务,假设在这里我们向
小崔的技术博客
·
2024-01-28 23:12
大数据学习
spark
大数据
hadoop
Spark
详解(五):
Spark
作业执行原理
Spark
的作业和任务调度系统是其核心,它能够有效地进行调度的根本原因是对任务的划分DGG和容错。
MasterT-J
·
2024-01-28 23:42
Spark框架
Spark框架
Spark框架
Spark
运行原理
Spark
的这种学术基因,使得它从一开始就在大数据领域建立了一定优势。无论是性能,还是方案的统一性,对比传统的
Hadoop
,优势都非常明显。
hellozhxy
·
2024-01-28 23:41
spark
spark
Spark
| 记录下
Spark
作业执行时常见的参数属性配置
理解作业基本原理,是进行
Spark
作业资源参数调优的基本前提。
点滴笔记
·
2024-01-28 23:11
Spark
spark
【
Spark
系列1】
Spark
作业执行原理
本文字数在7800字左右,预计时间在15分钟一、整体流程每个Aciton操作会创建一个JOB,JOB会提交给DAGScheduler,DAGScheduler根据RDD依赖的关系划分为多个Stage,每个Stage又会创建多个TaskSet,每个TaskSet包含多个Task,这个Task就是每个分区的并行计算的任务。DAGScheduler将TaskSet按照顺序提交给TaskScheduler
周润发的弟弟
·
2024-01-28 23:40
从零开始搞大数据
servlet
数仓治理-小文件治理
:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧,希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-
Spark
爱吃辣条byte
·
2024-01-28 23:40
数据治理
大数据
数据仓库
2021-08-10 HDFS Web报错Couldn‘t preview the file.
添加配置信息dfs.webhdfs.enabledtrue第二步:配置浏览器所在系统的hosts文件windows:在C:\Windows\System32\drivers\etc\hosts末尾增加内容(
Hadoop
学习是一种信仰_zdy
·
2024-01-28 21:28
大数据
hadoop
大数据
hdfs
HDFS文件系统的根目录和用户主目录解析
HDFS文件系统的根目录是/,用户主目录是/user/[
hadoop
用户名]根据上面的截图,所有的文件都放在根目录及其子目录下。
问君何能尔?心远地自偏
·
2024-01-28 21:57
大数据
Name node is in safe mode
相信
hadoop
用户经常为安全模式头痛,但是又是难以避免的。安全模式开启通常是由于hdfs文件系统数据完整性缺失造成。所以核心就是想办法让hdfs文件系统数据变得完整,相对没有损坏。
大数据东哥(Aidon)
·
2024-01-28 21:27
大数据
hadoop
safemode
safemode
hadoop
safe
mode
Name
node
is
in
safe
记一次HDFS Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘
tpreviewthefile.NetworkError:Failedtoexecute‘send’on‘XMLHttpRequest’:Failedtoload‘http://slave1:9864/webhdfs/v1/Hello
Hadoop
.txt
一花一世界~
·
2024-01-28 21:55
Linux-Centos
x.x
Hadoop
大数据
hadoop
hdfs
大数据
经验分享
centos
Java技术栈 ——
Hadoop
入门(二)
Java技术栈——
Hadoop
入门(二)一、用MapReduce对统计单词个数1.1项目流程1.2可能遇到的问题1.3代码勘误1.4总结一、用MapReduce对统计单词个数1.1项目流程(1)上传jar
键盘国治理专家
·
2024-01-28 21:51
Java技术栈
java
hadoop
开发语言
flink架构
它集成了使用所有常见的群集资源管理器,例如
Hadoop
YARN和Kubernetes,但也可以设置为作为独立集群,甚至作为库。
m0_66520412
·
2024-01-28 20:29
flink
架构
大数据
数据湖技术之发展现状篇
首先是随着
Hadoop
生态相关技术的大量应用,批处理架构应运而生,借助离线计算引擎的能力很好的满足了业务对大规模数据分析处理场景的需求。
风筝Lee
·
2024-01-28 18:56
数据湖
hive
hadoop
spark
spark
内核源码剖析七:Work工作原理
driverDesc)=>{logInfo(s"Askedtolaunchdriver$driverId")valdriver=newDriverRunner(conf,driverId,workDir,
spark
Home
雪飘千里
·
2024-01-28 18:08
极简py
spark
Py
Spark
简要介绍Py
Spark
是一个基于
Spark
的Python接口,它允许你在Python中使用
Spark
的强大功能,如大数据处理、实时数据处理等。
吉小雨
·
2024-01-28 18:13
python
py
spark
在windows下java.net.SocketException: Connection reset by peer 错误
py
spark
在windows加载数据集训练模型出现以下错误java.net.SocketException:Connectionresetbypeer:socketwriteerroratjava.net.SocketOutputStream.socketWrite0
walk walk
·
2024-01-28 15:49
数据挖掘
python
spark
java
java
大数据
python
大数据处理系统的架构
Lambda架构的主要组成部分包括:批处理层(BatchLayer):存储:使用分布式存储系统(如Apache
Hadoop
HDFS)
demo123567
·
2024-01-28 14:58
大数据
架构
spark
-streaming与kafka的整合
1.概述在2.x中,
spark
有两个用来与kafka整合的代码,版本代号为0.8和0.10,由于在0.8,kafka有两套消费者api,根据高级api得到了Receiver-basedApproach,
王大为学习笔记
·
2024-01-28 14:47
[
Spark
SQL] Rdd转化DataFrame 通过StructType为字段添加Schema
1、开发环境
spark
-2.1.0-bin-
hadoop
2.62、Rdd转换成DataFrame,为字段添加列信息参数nullable说明:Indicatesifvaluesofthisfieldcanbenullvaluesvalschema
林沐之森
·
2024-01-28 13:51
[AIGC大数据基础]
Spark
入门
其中,
Spark
作为一个快速、通用的大数据处理引擎备受关注。本文将从“是什么、怎么用、为什么用”三个角度来介绍
Spark
。
程序员三木
·
2024-01-28 12:32
大后端
大数据
AIGC
spark
Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)
Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)本文的Metadata定义SQLon
Hadoop
系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang
·
2024-01-28 12:38
Presto
Impala-shell卡顿分析——记一次曲折的Debug经历
Impala-shell卡顿分析——记一次曲折的Debug经历问题发现最近准备在Impala中增加对UTF-8的支持,以修正跟Hive、
Spark
等基于Java的系统在UTF-8字符串上的不兼容表现(如
stiga-huang
·
2024-01-28 12:06
Impala
大数据
impala
debug
Impala元数据简介
Impala元数据简介背景Impala是一个高性能的OLAP查询引擎,与其它SQL-on-
Hadoop
的ROLAP解决方案如Presto、
Spark
SQL等不同的是,Impala对元数据(Metadata
stiga-huang
·
2024-01-28 12:05
Impala
Spark
:Task Locality参考
Datalocalitycanhaveamajorimpactontheperformanceof
Spark
jobs.Ifdataandthecodethatoperatesonitaretogetherthencomputationtendstobefast.Butifcodeanddataareseparated
liuzx32
·
2024-01-28 12:38
Hadoop
的基础操作
Hadoop
的基础操作HDFS是
Hadoop
的分布式文件框架,它的实际目标是能够在普通的硬件上运行,并且能够处理大量的数据。
陆卿之
·
2024-01-28 12:27
大数据
hadoop
大数据
hdfs
浅谈Hive和HBase有哪些区别与联系及适用场景
Hive是运行在
Hadoop
上的一个工具,准确地讲是一个搜索工具。当对海量数据进行搜索时,
Hadoop
的计算引擎是MapReduce。但是对Map
尚学先生
·
2024-01-28 11:19
Hive常见问题汇总
Hive和
Hadoop
的关系Hive构建在
Hadoop
之上,HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的所有的数据都是存储在
Hadoop
中查询计划被转化为MapReduce任务,在
Hadoop
不加班程序员
·
2024-01-28 09:37
Hadoop相关
ETL
hive
hive
hadoop
数据仓库
Spark
的宽依赖和窄依赖
Apache
Spark
中的依赖关系指的是转换操作(transformations)之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西
·
2024-01-28 08:52
Spark
spark
大数据
分布式
Spark
——
Spark
SQL逻辑计划(Logical Plan)、物理计划(Physical Plan)和Catalyst优化器(Catalyst Optimizer)
文章目录TreesRules
Spark
SQL中使用CatalystAnalysis逻辑优化(LogicalOptimizations)物理计划(PhysicalPlanning)代码生成(CodeGeneration
Southwest-
·
2024-01-28 08:18
Spark
Spark
Spark
——
Spark
覆盖分区表中指定的分区
问题描述
Spark
中向分区表写数据的时候,如果写入模式为“overwrite”,那会将整个表覆盖掉;如果写入模式为“ap
Southwest-
·
2024-01-28 08:18
Spark
Spark
Spark
——
Spark
OOM Error问题汇总分析
.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考
Spark
Southwest-
·
2024-01-28 08:17
Spark
Spark
Spark
——
Spark
写MySQL太慢、很慢、非常慢的原因分析及优化方法
文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景:需要将通过
Spark
处理之后的数据写入MySQL,并在在网页端进行可视化输出。
Southwest-
·
2024-01-28 08:17
Spark
Spark
MySQL
Spark
——
Spark
/Hive向量化查询执行原理分析(Vectorization Query Execution)
文章目录什么是向量化查询执行列式存储
Spark
向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中,每次只处理一行数据,每次处理都要走过较长的代码路径和元数据解释,从而导致
Southwest-
·
2024-01-28 08:47
Spark
Spark
Hive
向量化
Spark
——
Spark
缓存临时视图(View)
文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发
Spark
应用程序的时候,如果要缓存某个RDD或Dataset来进行复用
Southwest-
·
2024-01-28 08:47
Spark
Spark
Spark
——
Spark
DataFrame导出为Excel文件
文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后,会生成一些指标,需要导出来给其它同事用,虽说可以将DataFrame直接写成表,然后通过工具(比如Hue)导出为Excel,但是步骤就多了,而且如果要导出的表比较多的话,就更浪费时间了,那么这时候调用第三方插件就
Southwest-
·
2024-01-28 08:17
Spark
spark
Spark
—— JSON对象/数组转成
Spark
Dataset/DataFrame
JSON转DataFrame在日常使用
Spark
处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构,那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-
·
2024-01-28 08:16
Spark
spark
json
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他