E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云存储hdfs分布式系统
Spring Cloud Eureka:服务注册与发现
1.介绍SpringCloudEureka1.1什么是SpringCloudEurekaSpringCloudEureka是SpringCloud生态中的一个服务注册与发现组件,用于构建
分布式系统
中的服务注册中心
星光闪闪k
·
2024-02-15 09:41
Java
Spring
spring
cloud
eureka
spring
后端
架构
docker (一)-简介
无论是单个程序还是多个程序组成的复杂服务,或者
分布式系统
,都可以使用dockerrun或dockercompos
小关暗器
·
2024-02-15 09:56
docker
容器
运维
分布式文件系统 SpringBoot+FastDFS+Vue.js
FastDFS+Vue.js一、分布式文件系统1.1.文件系统1.2.什么是分布式文件系统1.3.分布式文件系统的出现1.3.主流的分布式文件系统1.4.分布式文件服务提供商1.4.1.阿里OSS1.4.2.七牛
云存储
良辰美景好时光
·
2024-02-15 05:20
springboot
vue
spring
boot
vue.js
后端
大数据集群环境启动总结
hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动
HDFS
NameNode:hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动
HDFS
DataNode
我还不够强
·
2024-02-14 23:04
HDFS
用户及权限配置
HDFS
用户及权限配置使用linux用户bruce,格式化hadoop的namenode,那么bruce成为
hdfs
的超级用户在bruce用户下运行命令:#创建/user/hadoop目录hadoopfs-mkdir-p
wpheternal
·
2024-02-14 21:42
hadoop笔记
hadoop
hdfs
Hadoop(
HDFS
)的超级用户
Hadoop(
HDFS
)的超级用户超级用户超级用户即运行namenode进程的用户。宽泛的讲,如果你启动了namenode,你就是超级用户。超级用户干任何事情,因为超级用户能够通过所有的权限检查。
zinger.wang
·
2024-02-14 21:12
大数据
hadoop
hdfs
0564-6.1.0-
HDFS
超级用户(Superuser)和
HDFS
管理员(Administrator)的区别
1文档编写目的在前面的文章《0550-6.1-如何将普通用户增加到
HDFS
的超级用户组supergroup》中Fayson介绍过如何将普通用户设置为
HDFS
的超级用户,从而可以让普通用户也可以执行如dfsadmin
Hadoop_SC
·
2024-02-14 21:41
Hadoop实操
HDFS
的超级用户
一.解释原因
HDFS
(HadoopDistributedFileSystem)和linux文件系统管理一样,也是存在权限控制的。
重剑DS
·
2024-02-14 21:41
大数据
hdfs
hadoop
大数据
hive中的Load data 和 insert的区别
OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]local关键字:有,表示从本地文件系统中导入没有,表示从
HDFS
日写BUG八百行
·
2024-02-14 19:10
hive
mysql
大数据
java
数据库
探讨java系统中全局唯一ID实现方案
为什么需要全局唯一ID我们这里引用美团Leaf的场景介绍:在复杂
分布式系统
中,往往需要对大量的数据和消息进行唯一标识。
程序员大为
·
2024-02-14 18:49
java
java实战:Redis分布式锁实现防止用户重复点击
本文将介绍如何使用Redis分布式锁来防止用户在
分布式系统
中重复点击。通过一个基于Redis的分布式锁示例,了解如何在Java应用程序中使用Redis分布式锁来解决用户重复点击的问题。
拥抱AI
·
2024-02-14 12:04
java
redis
分布式
Spring Cloud 路由和消息传递 (消息路由)
SpringCloudBus:一个用于在
分布式系统
中广播事件的工具。消息路由类型消息路由可以根据不同的标准进行分类,包括:目标类型:消息可以路由到特定的
surfirst
·
2024-02-14 11:53
架构
spring
cloud
java
数据库
微服务
基于最终收敛的
分布式系统
设计讨论2
基于最终收敛的
分布式系统
设计讨论2问题描述假如我们有一个service,提供了数据访问和修改的API。比如update()来进行数据的修改,get()来进行数据的访问。
书香门第
·
2024-02-14 07:16
分布式系统设计
AWS
云计算
分布式
云计算
学习总结 - swift适配器 为 Hadoop 的存储层增加对 OpenStack Swift 的支持
虽然文档内所涉及的版本有点旧,但内容很精彩,值得推荐背景在Hadoop中有一个抽象文件系统的概念,它有多个不同的子类实现,由DistributedFileSystem类代表的
HDFS
便是其中之一。
天地不仁以万物为刍狗
·
2024-02-14 07:37
分布式解决方案
hadoop
HDFS
的API封装
FSDataInputStream和FSDataOutputStream:这两个类是
HDFS
中的输入输出流。
Cynicism_Kevin
·
2024-02-14 07:37
大数据
java
hadoop
hdfs
高并发系统的设计(1)
简历上写了有大数据、高并发、高可用、
分布式系统
的架构设计以及研发经验。我把经验写一些。系统的并发量高,怎么办?多上几台服务器,搞个集群!为什么要这么干呢?
Fuly1024
·
2024-02-14 05:32
面试刷题
面试
如何确保消息队列中的数据安全无损:深入探索消息队列的持久性策略
如何确保消息队列中的数据安全无损:深入探索消息队列的持久性策略引言在现代的
分布式系统
中,消息队列扮演着至关重要的角色,它不仅能够解耦系统组件,提高整体的处理能力,还能在高并发环境下保证数据的一致性和可靠性
一休哥助手
·
2024-02-14 04:16
分布式系统
消息
SpringCloud入门概述
1.介绍SpringCloud1.1什么是SpringCloudSpringCloud是一个基于SpringBoot的微服务架构开发工具集,它为开发者提供了一系列开箱即用的工具和库,用于构建
分布式系统
中的微服务架构
星光闪闪k
·
2024-02-14 03:21
Java
Spring
spring
cloud
spring
后端
架构
java
什么是分布式,分布式和集群的区别又是什么?
分布式系统
一定是由多个节点组成的系统。其中,节点指的是计算机服务器,而且这些节点一般不是孤立的,而是互通的。这些连通的节点上部署了我们的节点,并且相互的操作会有协同。
DawidZhu
·
2024-02-14 03:51
数据库
服务器
java
Spring Boot 中使用 RabbitMQ 入门
介绍与安装RabbitMQ是由erlang语言开发,基于AMQP(AdvancedMessageQueue高级消息队列协议)协议实现的消息队列,它是一种应用程序之间的通信方法,消息队列在
分布式系统
开发中应用非常广泛
想吃凤梨酥
·
2024-02-14 03:17
java
rabbitmq
spring
boot
分布式
zookeeper 分布式锁的实现
为什么要用分布式锁MartinKleppmann是英国剑桥大学的
分布式系统
的研究员,之前和Redis之父Antirez进行过关于RedLock(红锁,后续有讲到)是否安全的激烈讨论。
Java架构师成长之路
·
2024-02-14 03:31
linux中du的常见用法和查看文件大小并排序
du-s应用在想知道目录具体有多大的时候du-h这样方便看,常常du-s查询的时候也可以加上-h但是有一种情况例外,就是如下这种查看文件大小并排序前两天我想看下有个目录下(
HDFS
的和linux的用法一样
早点起床晒太阳
·
2024-02-13 23:18
一文彻底搞懂Redis的三种集群模式
所谓的高可用,也叫HA(HighAvailability),是
分布式系统
架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。如果在实际生产中,如
澡澡洗澡澡
·
2024-02-13 22:24
Java开发
redis
数据库
缓存
java
利用 Docker 安装 Hadoop 集群并通过 Java API 访问
HDFS
前言最近刚好在学习Hadoop,在安装过程中遇到了一些小麻烦,正好将此次过程记录并分享出来,希望能对准备学习本块内容的读者们有所帮助。本次操作在Ubuntu中完成,如何安装Ubuntu本文不再赘述。本文所涉及到的代码及配置文件可在微信公众号「01二进制」后台回复「hadoop」获取。在Ubuntu中安装配置Docker使用官方安装脚本自动安装安装命令如下:curl-fsSLhttps://get.
qq_33419925
·
2024-02-13 21:38
docker
hadoop
linux
java
大数据
为什么要用Dubbo
就这样为
分布式系统
的服务治理框架就出现了,Dubbo也就这样产生了。2、Dubbo的整体架构设计有哪些分层?接口服务层(
资深程序员
·
2024-02-13 20:01
解密 ARMS 持续剖析:如何用一个全新视角洞察应用的性能瓶颈?
尽管经过过去十几年的发展,
分布式系统
与之对应的可观测技术快速演进,在一定程度上解决了很多问题,但有一些问题定位起来仍
·
2024-02-13 15:18
阿里云云原生
来吧,展示!Redis的分布式锁及其实现Redisson的全过程
前言分布式锁是控制
分布式系统
之间同步访问共享资源的一种方式。在
分布式系统
中,常常需要协调他们的动作。
前程有光
·
2024-02-13 14:14
hadoop 分布式集群安装与原理
我们分享一套能让您轻松完成集群搭建的方法,包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理,请点击下面连接按笔记顺序进行学习服务器基础环境批量操作多台服务器zookeeper编译hadoop源码高可用(HA)
HDFS
海牛大数据_青牛老师
·
2024-02-13 12:44
【重识云原生】第六章容器6.1.7.1节——Docker核心技术cgroups综述
计算虚拟化技术总述第二章计算第2节——主流虚拟化技术之VMareESXi第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章
云存储
第
江中散人
·
2024-02-13 12:00
云原生-IaaS专栏
linux
cgroup
docker
云原生
进程组
使用LNMP搭建私有
云存储
简介LNMP是指一组通常一起使用来运行动态网站或者服务器的自由软件名称首字母缩写。第一步:安装:[root@server/]#yuminstallnginxmariadb-serverphp*-y在nextcloud官网下载nextcloud-25.0.1(PHP对版本有要求),利用xftp上传到linux的根目录下,切记不要放到root用户下,因为权限问题#解压压缩包[root@server/]
隔壁小木在努力冲
·
2024-02-13 09:36
运维
android
linux
Redis分布式锁
Redis分布式锁是一种在
分布式系统
中协调多个进程对共享资源访问的机制。在Redis中实现分布式锁主要依赖于几个关键的操作原子性。
辞暮尔尔-烟火年年
·
2024-02-13 07:26
Redis
redis
分布式
[AIGC] 上传文件:后端处理还是直接阿里云OSS?
但是,上传文件的方式有很多种,最常见的两种方式是:通过后端处理,或者直接上传至
云存储
服务,如阿里云OSS。那么,哪种方式更好?本文将为您提供一些思考和建议。
程序员三木
·
2024-02-13 06:46
AI
AIGC
阿里云
云计算
AWS入门指南之一:怎样创建免费的AWS账号
这其中会穿插于介绍一些云和
分布式系统
的知识,但是以AWS的实现为主。可能会带有少量的代码,但是主体操作应该会使用AWSConsole和AWSCLI来完成。
书香门第
·
2024-02-13 03:52
云计算
AWS
通过写代码学习AWS DynamoDB(1)
DDB的实现应用了非常多的
分布式系统
的技术,例如SHARD,eventualconsistency,consistencyHash等。
书香门第
·
2024-02-13 03:22
学习
aws
云计算
Apache Ignite 使用SQL模式
作为SQL数据库,Ignite支持所有DML命令,包括SELECT、UPDATE、INSERT和DELETE查询,并且还实现了与
分布式系统
相关的DDL命令子集。
wank1259162
·
2024-02-13 03:21
Apache
Ignite
sql
数据库
java
分区表
分区表:分区表实际上就是对应一个
HDFS
文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。
incover
·
2024-02-12 22:34
分布式环境下,互斥性与幂等性问题,分析与解决思路
传统的集中式系统已经逐渐无法满足要求,
分布式系统
被使用在更多的场景中。
分布式系统
由独立的服务器通过网络松散耦合组成。在这个系统中每个服务器都是一台独立的主机,服务器之间通过
life_niu
·
2024-02-12 20:23
C#系列-C#EF框架实现雪花主键(20)
雪花主键(SnowflakeID)是一种在
分布式系统
中生成唯一ID的算法,它通常是由Twitter的雪花算法演变而来。
管理大亨
·
2024-02-12 19:04
C#系列
c#
开发语言
创新S3存储桶检索:Langchain社区S3加载器搭载OpenAI API
在瞬息万变的数据存储和处理领域,将高效的
云存储
解决方案与先进的AI功能相结合,为处理大量数据提供了一种变革性的方法。
MinIO官方账号
·
2024-02-12 18:52
程序人生
Hadoop
分布式系统
架构-MapReduce-02
1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。Reduce负责“合”,即对map阶段的结果进行全局汇总。MapRedu
一直上上签X
·
2024-02-12 16:41
分布式计算入门
分布式计算是一门计算机科学,主要研究
分布式系统
。一个
分布式系统
包括若干通过网络互联的计算机。这些计算机互相配合以完成一个共同的目标(我们
xmvip01
·
2024-02-12 15:15
一文详解 Java 限流接口实现
在
分布式系统
中,高并发场景下,为了防止系统因突
阿里技术
·
2024-02-12 15:01
java
前端
数据库
限流接口
限流
UUID算法:独一无二的标识符解决方案
引言在
分布式系统
和大数据环境下,唯一标识符的生成和管理是一项关键任务。UUID(UniversallyUniqueIdentifier)算法应运而生,成为了解决重复数据和标识符冲突的有效工具。
qcidyu
·
2024-02-12 08:08
好用的工具集合
标识符生成
Python实现
大数据应用
数据库管理
分布式系统
UUID算法
唯一标识符
UUID算法:独一无二的标识符解决方案
引言在
分布式系统
和大数据环境下,唯一标识符的生成和管理是一项关键任务。UUID(UniversallyUniqueIdentifier)算法应运而生,成为了解决重复数据和标识符冲突的有效工具。
qcidyu
·
2024-02-12 08:08
UUID算法
分布式系统
关注点—“无状态”详解
一、初识“状态”我们首先举个例子。开发Z哥对运维Y弟喊:“Y弟,现在系统好卡,刚上了一波活动,赶紧帮我加几台机器上去顶一下。”Y弟回复说:“没问题,分分钟搞定”。然后就发现数据库的压力迅速上升,DBA就吼了:“Z哥,你丫的搞什么呢?数据库要被你弄垮了”。然后客服那边接框也爆炸了,越来越多的用户说刚登陆后没多久,操作着就退出了,接着登陆,又退出了,到底还做不做生意了。这个案例中的问题,产生的根本原因
Java大生
·
2024-02-12 07:09
Hadoop-MapReduce-Yarn集群搭建
搭建的部署节点图如下:
hdfs
和yarn是两个不同概念,两者搭建不会冲突。注意一点是DataNode和NodeManager必须要部署在同一台机器,它们的比例是1比1关系的。
qq_2368521029
·
2024-02-12 07:44
搭建 Hadoop-3.1.3 HA 集群
本文目录1.集群部署分布规划2.Zookeepr集群安装3.
HDFS
-HAⅠ.配置core-site.xmlⅡ.配置
hdfs
-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ
扛麻袋的少年
·
2024-02-12 07:43
#
Hadoop
hadoop
hdfs
大数据
缓存雪崩问题与应对策略
引言缓存雪崩是一个在
分布式系统
中经常遇到的问题,特别是在缓存大规模失效的情况下。这种现象通常会导致大量请求同时涌入数据库或其他后端系统,使其压力剧增,最终可能导致系统崩溃。
张万森的救赎
·
2024-02-12 07:13
缓存
java
开发语言
Hadoop-HA高可用集群部署
HA严格来说应该分成各个组件的HA机制:
HDFS
的HA和YARN的HA。
魔笛Love
·
2024-02-12 07:13
hadoop
hdfs
big
data
缓存穿透问题与解决方案
引言在
分布式系统
中,缓存技术被广泛应用以提高系统性能和响应速度。然而,缓存穿透是一个常见而严重的问题,特别是在面对大规模请求时。
张万森的救赎
·
2024-02-12 07:11
缓存
java
redis
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他