E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云存储hdfs分布式系统
Hadoop面试题及参考答案
目录1、什么是Hadoop及其组件2、Hadoop的守护进程3、Hadoop的YARN/
HDFS
/MapReduce分别包含哪些组件,每个组件的职能是什么?
zuolixiangfisher
·
2024-01-29 06:02
Hadoop
hadoop
hdfs
大数据
hadoop面试题
0.思维导图1.
HDFS
1.
HDFS
的架构♥♥
HDFS
主要包括三个部分,namenode,datanode以及secondarynamenode。
韩顺平的小迷弟
·
2024-01-29 06:27
大数据面试题
hadoop
大数据
分布式
【保姆级教程】Windows11下go-zero的etcd安装与初步使用
etcd介绍etcd(读作et-see-dee)是一种开源的分布式统一键值存储,用于
分布式系统
或计算机集群的共享配置、服务发现和调度协调。e
寸_铁
·
2024-01-29 06:56
go
golang
etcd
键值对操作
安装
redis
go-zero
微服务
Hystrix使用入门
对延迟和故障进行控制,保护应用系统;在一个复杂的
分布式系统
中阻止级联故障;快速失败和迅速恢复;在合理的情况下回退和优雅降级;准实时监控告警;二、Hystrix入门案例我们从start.spring.io
文景大大
·
2024-01-29 02:09
实现幂等性:Java 代码示例与关键实践
导言在现代
分布式系统
中,接口的幂等性是确保系统稳定性和数据一致性的重要保证。本文将通过具体的Java代码示例,介绍一些关键实践,帮助开发者更好地理解和实现接口的幂等性。什么是幂等性?
ZKf30FkG
·
2024-01-29 01:01
java
java
开发语言
软件系统架构黄金法则:深入解析
分布式系统
架构
1.背景介绍作为一位世界级人工智能专家、程序员、软件架构师、CTO、世界顶级技术畅销书作者、计算机图灵奖获得者、计算机领域大师,我们将揭开
分布式系统
架构的神秘面纱,探讨软件系统架构黄金法则的核心概念、联系
OpenChat
·
2024-01-29 00:53
系统架构
架构
Spark工作原理
standalone集群,集群中有6个节点左边是Spark的客户端节点,这个节点主要负责向Spark集群提交任务,假设在这里我们向Spark集群提交了一个任务那这个Spark任务肯定会有一个数据源,数据源在这我们使用
HDFS
小崔的技术博客
·
2024-01-28 23:12
大数据学习
spark
大数据
hadoop
HDFS
_DELEGATION_TOKEN 还原及解决方案
HDFS
_DELEGATION_TOKEN这个BUG在很多文章中都出现着,讲了很多原理,但是只给出了官方引用地扯,完全没有给出如何解决,我们线上的业务就有着这样的问题,7天一到马上出现这问题了,官方明明说这个
kikiki4
·
2024-01-28 23:18
数仓治理-小文件治理
小文件治理本文中将介绍Hive中小文件治理的方法和技巧,希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]
HDFS
爱吃辣条byte
·
2024-01-28 23:40
数据治理
大数据
数据仓库
20.2K Star,一个简洁美观、易用的云盘系统
现在的网盘动不动就限速,涨价,非常不爽,今天分享一款开源免费的网盘项目,基于Go语言开发的,简洁美观,支持几乎所有主流的
云存储
服务,并且提供了用户友好的界面和简单的操作,非常适合个人或组织进行文件管理和分享
码个锤子Pro
·
2024-01-28 22:53
工具
云盘
redis cluster水平扩容中的客户端处理逻辑
作为一个分布式K-V存储,rediscluster通过将数据切分为16384个slot进行分布式存储,用公式表示如下:作为一个支持水平扩容的
分布式系统
,redis集群在扩容时通常遵循如下步骤:1.在新节点启动
kakaweb
·
2024-01-28 22:15
redis
2021-08-10
HDFS
Web报错Couldn‘t preview the file.
在查看文件内容时,在红框位置出现报错“Couldn’tpreviewthefile”解决方法第一步:修改
hdfs
-site.xml,添加配置信息dfs.web
hdfs
.enabledtrue第二步:配置浏览器所在系统的
学习是一种信仰_zdy
·
2024-01-28 21:28
大数据
hadoop
大数据
hdfs
HDFS
文件系统的根目录和用户主目录解析
HDFS
文件系统的根目录和用户主目录分别是什么?根据这四个截图,你能得出什么结论?
问君何能尔?心远地自偏
·
2024-01-28 21:57
大数据
Name node is in safe mode
安全模式开启通常是由于
hdfs
文件系统数据完整性缺失造成。所以核心就是想办法让
hdfs
文件系统数据变得完整,相对没有损坏。
大数据东哥(Aidon)
·
2024-01-28 21:27
大数据
hadoop
safemode
safemode
hadoop
safe
mode
Name
node
is
in
safe
记一次
HDFS
Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘
tpreviewthefile.NetworkError:Failedtoexecute‘send’on‘XMLHttpRequest’:Failedtoload‘http://slave1:9864/web
hdfs
一花一世界~
·
2024-01-28 21:55
Linux-Centos
x.x
Hadoop
大数据
hadoop
hdfs
大数据
经验分享
centos
flink架构
Flink是一个
分布式系统
,需要有效的分配和管理计算资源,以便执行流式处理应用程序。
m0_66520412
·
2024-01-28 20:29
flink
架构
大数据
文件上传之大文件分块上传
原则:合久必分,分久必合优势部分:减少了内存占用,可实现断点续传,并发处理,利用带宽,提高效率不足之处:增加复杂性,增加额外计算存储应用场景:
云存储
大文件上传、多媒体平台音视频上传,需断点续传应用注意事项
小安吖~
·
2024-01-28 19:40
文件上传
分块上传
SpringBoot集成阿里
云存储
OSS服务
文章目录前言1、阿里
云存储
OSS是什么?
Eric-x
·
2024-01-28 18:36
Java
SpirngBoot
spring
boot
阿里云
java
springboot+vue实现阿里OSS
云存储
环境:springboot+vue导入依赖:com.aliyun.ossaliyun-sdk-oss3.11.2yml文件配置:#文件上传--输入对应的信息aliyun:oss:...endpoint:...accessKeyId:secretAccessKey:...bucketName:...工具类:importcom.aliyun.oss.OSS;importcom.aliyun.oss.O
Paige Zhou
·
2024-01-28 18:34
实用工具类
阿里云
spring
boot
vue
Zabbix与Prometheus辨析
文章目录Zabbix主要介绍组件构成:主要特点:主要功能:适用场景:使用流程:Prometheus主要介绍数据模型:特点:工作原理:组件:区别Zabbix主要介绍Zabbix是一个基于WEB界面的提供
分布式系统
监视以及网络监视功能的企业级的开源解决方案
微风轻轻起x
·
2024-01-28 18:58
zabbix
prometheus
NoSQL基本原理
CAP原理指
分布式系统
中Consistency(一致性)、Availability(可用性)、Partitiontolerance(分区容错性)。
⑨充满智慧与力量⑨
·
2024-01-28 17:13
机器学习
nosql
数据结构
初识RPC
RPC是什么RPC是远程过程调用(RemoteProcedureCall)的简称,是
分布式系统
中不同节点间的一种通信方式,在互联网时代,尤其是微服务架构愈来愈火的背景下,学习和了解RPC是每一个程序员的必修课
剑指TOP
·
2024-01-28 17:59
4.Doris数据导入导出
导入Doris支持多种数据源导入如S3
HDFS
Kafka本地文件Binlog等官方文档导入的原子性保证Doris的每一个导入作业,不论是使用BrokerLoad进行批量导入,还是使用INSERT语句进行单条导入
夹毛局的程序员
·
2024-01-28 16:27
doris
doris
分布式系统
中,权限设计实践
一、权限控制1、业务背景在复杂的业务系统中,权限管理是最基础的模块,通过各种授权结构模型,管理用户在产品中可访问和可操作的边界,以实现系统和数据安全管理的目的:01-1.png通常在系统的任何层面都会涉及到一定程度的权限管控:页面层:菜单、组件、操作口;网关层:黑白名单管理、流量控制;控制层:平台、服务、API;数据层:数据库、业务表、字段;不同层面的权限管理,用来应对不同场景下的需求,例如:后台
知了一笑
·
2024-01-28 15:50
Doris系列12-数据导入之Broker Load
适用场景:源数据在Broker可以访问的存储系统中,如
HDFS
。数据量在几十到百GB级别。名词解释:Frontend(FE):Doris系统的元数据和调度节点。在导入流程中主要负责导入plan生
只是甲
·
2024-01-28 15:29
大数据处理系统的架构
Lambda架构的主要组成部分包括:批处理层(BatchLayer):存储:使用分布式存储系统(如ApacheHadoop
HDFS
)
demo123567
·
2024-01-28 14:58
大数据
架构
Redis数据一致性
分布式系统
中,可以理解为多个节点中的数据是一致的。
scanklm
·
2024-01-28 14:12
java
Redis
redis
缓存
Golang 的
分布式系统
:架构与实践
1.背景介绍
分布式系统
是现代计算机科学的一个重要领域,它涉及到多个计算机节点之间的协同工作,以实现共同完成某个任务或提供某种服务。
OpenChat
·
2024-01-28 14:58
golang
架构
开发语言
后端
mysql 同步 工具 开源_开源数据同步工具——datax
开源数据同步工具——dataxDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、
weixin_39942572
·
2024-01-28 12:08
mysql
同步
工具
开源
Presto源码阅读——如何获取Hive中的Metadata(HMS+
HDFS
)
Presto源码阅读——如何获取Hive中的Metadata(HMS+
HDFS
)本文的Metadata定义SQLonHadoop系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang
·
2024-01-28 12:38
Presto
Impala元数据简介
SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是,Impala对元数据(Metadata/Catalog)做了缓存,因此在做查询计划生成时不再依赖外部系统(如Hive、
HDFS
stiga-huang
·
2024-01-28 12:05
Impala
开源数据同步工具DataX
DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
快乐江小鱼
·
2024-01-28 12:34
java
开源
java
Hadoop的基础操作
Hadoop的基础操作
HDFS
是Hadoop的分布式文件框架,它的实际目标是能够在普通的硬件上运行,并且能够处理大量的数据。
陆卿之
·
2024-01-28 12:27
大数据
hadoop
大数据
hdfs
66.管理Hive外部表——Sentry
66.1演示环境介绍操作系统:CentOS6.5CM和CDH版本:5.12.1采用root用户操作集群运行正常,Kerberos/
HDFS
/Hive/Impala/Hue服务已与Sentry集成,Hive
大勇任卷舒
·
2024-01-28 11:57
简单介绍----微服务和Spring Cloud
2.什么是SpringCloudSpringCloud是一个用于构建
分布式系统
和微服务架构的开发工具
小白不想秃头
·
2024-01-28 11:43
微服务
spring
cloud
架构
java
后端
spring
mvc
springcloud-eureka
它利用SpringBoot的开发便利性巧妙地简化了
分布式系统
基础设施的开发,如服务发现注册、配置中心、智能路由、消息总线、负载均衡、断路器、数据监控等,都可以用SpringBoot的开发风格做到一键启动和部署
赵恩栋
·
2024-01-28 09:41
【GitHub项目推荐--区块链项目】【转载】
目前,区块链技术尚处于快速发展的阶段,涉及
分布式系统
、密码学、博弈论、网络协议等诸多学科知识,为学习和实践都带来了不小的挑战。
旅之灵夫
·
2024-01-28 09:43
GitHub项目推荐
区块链
HBase入门、基础原理介绍
1.2HBase架构二、HBase的读写删流程2.1HBase的写入流程2.2HBase的读流程2.3HBase的数据删除一、HBase介绍HBase是一个面向列式存储的分布式数据库,HBase底层存储基于
HDFS
幸福右手牵
·
2024-01-28 09:07
hbase
hbase
hadoop
大数据
HBase入门:运行机制
服务器工作原理用户读写数据的过程缓存的刷新StoreFile合并Store的工作原理HLog的工作原理HBase系统架构HBase的系统架构包括客户端、ZooKeeper服务器、Master主服务器、Region服务器HBase一般采用
HDFS
缘友一世
·
2024-01-28 09:07
分布式数据库Hbase探究
hbase
数据库
大数据
mac上搭建hbase伪集群
https://blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+
hdfs
寂夜了无痕
·
2024-01-28 08:15
大数据
macos
hbase
Spring Cloud Config
Dalston.RELEASESpringCloudConfig为
分布式系统
中的外部配置提供服务器和客户端支持。使用ConfigServer,您可以在所有环境中管理应用程序的外部属性。
咔啡
·
2024-01-28 08:56
Spring Cloud 之Config详解
大家好,我是升仔在微服务架构中,统一的配置管理是维护大规模
分布式系统
的关键。SpringCloudConfig为微服务提供集中化的外部配置支持,它可以与各种源代码管理系统集成,如Git、SVN等。
升仔聊编程
·
2024-01-28 08:53
SpringCloud
Java
spring
spring
cloud
spring
后端
Hive面试题
1)数据存储位置Hive存储在
HDFS
。数据库将数据保存在块设备或者本地文件系统中。2)数据更新Hive中不建议对数据的改写。
肿么肥四啊哈
·
2024-01-28 07:34
hive学习笔记
大数据面试题
hive
消息中间件及java线程池
ActiveMQ作为消息代理服务器,允许
分布式系统
中的不同组件通过发送和接收消息进行通信,而不必直接相互依赖或等待对方响应。ActiveMQ支持多
我但行好事莫问前程
·
2024-01-28 07:32
java
kafka
hive面试题
本质上是将SQL转换为MapReduce或者spark来进行计算,数据是存储在
hdfs
上,简单理解来说hive就是MapReduce的一个客户端工具。补充1:你可以说一下HQL转换为MR的任务流程吗?
韩顺平的小迷弟
·
2024-01-28 07:29
大数据面试题
hive
hadoop
数据仓库
RHCE项目:使用LNMP搭建私有
云存储
目录一、准备工作1、关闭防火墙、安全软件2、搭建LNMP环境3、上传软件4、设置nextcloud安装命令权限二、数据库1、设置数据库2、重启数据库三、配置nginx四、安装nextcloud五、内网穿透1、创建内网映射2、linux系统安装花生壳客户端3、重新打开浏览器,输入http://b.oray.com,完成账户登录,激活(SN登录)六、花生壳的域名信任七、测试一、准备工作1、关闭防火墙、
周湘zx
·
2024-01-28 07:58
RHCE
服务器
linux
运维
RHCE
openeuler
【
HDFS
】一天一个RPC系列--updateBlockForPipeline
本文目标是:弄清updateBlockForPipeline这个RPC的作用。弄清updateBlockForPipelineRPC的使用场景,代码里的调用点。一、updateBlockForPipeline的作用其定义在ClientProtocol接口里,是Client与NameNode之间的接口。看其代码注释描述:为一个underconstruction状态下的block获取一个新的GS与ac
叹了口丶气
·
2024-01-28 06:03
HDFS全方位实战
hdfs
rpc
hadoop
【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;
2022-10-2010:43:59,633ERRORorg.apache.hadoop.
hdfs
.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor
叹了口丶气
·
2024-01-28 06:02
HDFS全方位实战
Java语言积累
java
nio
jvm
【
HDFS
】EC写数据时checkStreamerFailures逻辑
本文试图弄清楚以下问题:checkStreamerFailures方法主要目的是做什么的?checkStreamerFailures方法的调用点(调用时机、条件)?checkStreamerFailures及其周边函数的逻辑。RQ1:checkStreamerFailures方法主要目的是做什么的?此方法的目的是在close流或者每次写完一整个stripe时,对streamer做健康判断。因为ce
叹了口丶气
·
2024-01-28 06:02
HDFS全方位实战
hdfs
hadoop
大数据
【
HDFS
】一天一个RPC系列--updatePipeline
建议先阅读【
HDFS
】一天一个RPC系列–updateBlockForPipeline本文目标是弄清楚以下问题:弄清updatePipeline这个RPC的作用。
叹了口丶气
·
2024-01-28 06:27
HDFS全方位实战
hdfs
rpc
hadoop
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他