E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式系统mapreduce
【架构设计模式-1】代理模式
远程对象访问当需要访问位于不同地址空间的远程对象时,比如在
分布式系统
中。代理可以隐藏网络通信的复杂性,让客户端感觉就像在本地访问对象一样。
W Y
·
2024-09-11 10:43
代理模式
系统安全
安全
数据中台建设方案-基于大数据平台(下)
本建设方案满足甲方对于数据计算层建设的基本要求:利用了
MapReduce
、Spar
FRDATA1550333
·
2024-09-11 03:49
大数据
数据库架构
数据库开发
数据库
分布式跟踪服务实战应用指南
已成为了决解复杂系统运行效率问题的关键手段之一,随着企业向微服务化与
分布式系统
的转变,应用复杂度不断提升,监控技术的挑战更为严峻。
CRMEB系统商城
·
2024-09-11 01:38
分布式
MIT6.824 课程-
MapReduce
MapReduce
:在大型集群上简化数据处理概要
MapReduce
是一种编程模型,它是一种用于处理和生成大型数据集的实现。
余为民同志
·
2024-09-11 00:31
6.824
mapreduce
分布式
6.824
【脚手架 第一篇章】介绍一下若依微服务版框架
以下是关于若依框架微服务版(RuoYi-Cloud)的详细介绍:一、概述RuoYi-Cloud是基于SpringCloud和SpringBoot的分布式微服务架构平台,专为构建大型
分布式系统
提供完整的解决方案
蜗牛 | ICU
·
2024-09-10 23:27
脚手架专栏
微服务
架构
云原生
PHP使用rabbitMQ
在PHP中使用RabbitMQ通常是为了处理异步任务、队列、消息推送等场景,特别是在高并发、
分布式系统
中,RabbitMQ提供了可靠的消息队列服务。
每天瞎忙的农民工
·
2024-09-10 23:53
php实战
rabbitMQ
php
rabbitmq
淘宝海量数据库OceanBase:系统架构详解
无论从数据量还是访问量,OceanBase不再能够是一个单机系统,即使一台单机能服务高达几个TB的数据、提供几万QPS的服务能力,因此,
分布式系统
不可避免,然而,内部如何实现拆表(拆库)以及如何实现数据库的事务
weixin_34356555
·
2024-09-10 22:47
数据库
系统架构
大数据
两阶段事务提交
简介分布式事务是指会涉及到操作多个数据库的事务,在
分布式系统
中,各个节点之间在物理上相互独立,通过网络进行沟通和协调。
码农小伙
·
2024-09-10 19:59
事务
java
Redisson与Redis分布式锁
Redis分布式锁Redis分布式锁是一种在
分布式系统
中用于确保多个进程对共享资源互斥访问的机制。
Lill_bin
·
2024-09-10 17:40
java
redis
分布式
数据库
开发语言
云原生
架构
微服务
分布式计算任务调度算法总结
一、影响
分布式系统
性能的因素主要有这些因素影响着
分布式系统
的性能:网络延迟、数据通信效能、计算节点处理能力、任务的分割、无法预算处理时间、任务的颠簸等等。
一条鱼2017
·
2024-09-10 15:55
分布式计算任务调度算法总结
分布式计算任务调度算法总结
中间件的学习理解总结
目录一、定义与作用二、主要类型数据库中间件远程过程调用中间件面向消息的中间件事务处理中间件三、特点与优势独立性高效性可扩展性可靠性四、应用场景企业应用集成
分布式系统
电子商务移动应用开发五、数据库中间件功能细节
DCDDDDcccc
·
2024-09-10 13:14
中间件
学习
Hadoop之
mapreduce
-- WrodCount案例以及各种概念
文章目录一、
MapReduce
的优缺点二、
MapReduce
案例--WordCount1、导包2、Mapper方法3、Partitioner方法(自定义分区器)4、reducer方法5、driver(main
lzhlizihang
·
2024-09-10 07:06
hadoop
mapreduce
大数据
Yarn介绍 - 大数据框架
YARN的概述YARN是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而
MapReduce
等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x
why do not
·
2024-09-09 23:58
大数据
hadoop
浅析大数据Hadoop之YARN架构
YARN提供了资源管理和资源调度等机制1.1原Hadoop
MapReduce
框架对于业界的大数据存储及分布式处理系统来说,Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架,对于Hadoop框架的介绍在此不再累述
haotian1685
·
2024-09-09 22:26
python
数据清洗
人工智能
大数据
大数据学习
深度学习
大数据
大数据学习
YARN
hadoop
Spring Cloud全解析:注册中心之Eureka架构介绍
类似多机房部署,保证服务稳定性A:Availability,可用性C:Consistency,一致性对于任意一个系统只能同时满足两个,一个
分布式系统
不可能同时很好的满足一致性、可用性和分区容错性CA单点集群
拾光师
·
2024-09-09 14:24
springcloud
java
TiDB数据库
它结合了传统关系型数据库(如MySQL)的易用性和
分布式系统
的扩展能力,属于新一代的分布式SQL数据库。
傲雪凌霜,松柏长青
·
2024-09-09 12:43
后端
tidb
数据库
论
分布式系统
的设计与实现
本人任职某运营商解决方案架构师职位,因工作需要考取了软考的系统架构师认证,并顺利的通过了考试一点点心得分享如下:选择题(就是刷,刷到你出肌肉记忆,闭眼就知道选项)案例题(就是背,很多简答题的回答都是公式化的比如看到活动图和状态图就知道它俩有啥区别,刚开始可能会有点恼火,准备的过程可能就像背面试题一样,很多东西是通的)论文题(最讲究技巧和套路的一门考试,相信很多高项的同学都是挂在论文上了,而架构师的
不戴眼镜的朱学长
·
2024-09-09 11:38
系统架构
论文笔记
分布式
python之异步任务
Celery是一个简单、灵活且可靠的
分布式系统
,用于处理大量消息,同时提供操作控制。在Celery中,delay和apply_async是两种常用的方法来调度异步任务。
小鱼爱吃火锅
·
2024-09-09 10:33
Python
python
如何在Java中实现高效的
分布式系统
:从CAP定理到最终一致性
如何在Java中实现高效的
分布式系统
:从CAP定理到最终一致性大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!
省赚客app开发者
·
2024-09-09 08:17
java
开发语言
【Redis】Redis的概念 | 特性 | 应用场景 | 安装 | 客户端
在
分布式系统
中更有优势。如果是单机环境下,直接通过变量存储数据比用Redis更有优势。
翁佳明
·
2024-09-09 07:44
Redis
redis
数据库
缓存
【Java】已解决:com.alibaba.dubbo.rpc.RpcException: No provider available from registry
application.properties)五、注意事项已解决:com.alibaba.dubbo.rpc.RpcException:Noprovideravailablefromregistry一、分析问题背景在
分布式系统
中
屿小夏
·
2024-09-09 05:59
java
dubbo
rpc
深入探讨 RabbitMQ 的整体架构:消息传递的核心机制
深入探讨RabbitMQ的整体架构:消息传递的核心机制引言在现代
分布式系统
中,消息队列(MessageQueue)是实现异步通信和解耦的重要工具。
需要重新演唱
·
2024-09-09 05:27
rabbitmq
架构
ruby
Databend Meta-Service 架构概述
Raft协议的主要组成部分包括:分布式日志(Log)状态机(StateMachine)分布式日志日志主要用于记录
分布式系统
的操作。
Databend
·
2024-09-09 00:22
架构
Hive的优势与使用场景
它利用Hadoop的
MapReduce
或Spark来执行查询,具备高度扩展性,适合大数据处理。2.支持SQL-like查询语言(Hi
傲雪凌霜,松柏长青
·
2024-09-08 17:07
后端
大数据
hive
hadoop
数据仓库
大数据技术之Hadoop(一)
Hadoop概述1.1Hadoop是什么Hadoop是什么1)Hadoop是一个由Apache基金会所开发的
分布式系统
基础架构。2)主要解决,海量数据的存储和海量数据的分析计算问题。
pauls
·
2024-09-08 16:30
深入剖析 RabbitMQ:架构深度解析、原理细节与关键特性全面掌握
旨在为开发者和架构师提供全面的RabbitMQ知识,以助其在
分布式系统
中有效利用该技术。
马丁的代码日记
·
2024-09-08 01:43
开发语言
后端
python实现rpc例子_【转】Python中实现远程调用(RPC、RMI)简单例子
远程调用是
分布式系统
的基础。远程调用一般分为两种,远程过程调用(RPC)和远程方法调用(RMI)。
weixin_39781186
·
2024-09-08 00:41
python实现rpc例子
配置管理 —— SpringCloud Config
概述Config为
分布式系统
提供统一的配置管理工具,应用程序在使用过程中可以像使用本地配置一样方便地添加、访问、修改配置中心的配置Config支持将配置存储在配置中心的本地服务器或Git仓库,通常将配置文件集中放置在一个
低吟不作语
·
2024-09-07 19:00
SpringCloud
spring
cloud
探索Java中的分布式消息队列与事件总线:架构、实现与最佳实践
引言在现代
分布式系统
中,消息队列和事件总线已经成为实现松耦合、高扩展性和高可用性架构的关键组件。无论是微服务架构、事件驱动架构,还是实时数据处理,消息队列和事件总线都扮演着至关重要的角色。
๑҉ 晴天
·
2024-09-07 08:14
分布式
java
分布式
架构
Spark概念知识笔记
最近总结了个人的各项能力,发现在大数据这方面几乎没有涉及,因此想补充这方面的知识,丰富自己的知识体系,大数据生态主要包含:Hadoop和Spark两个部分,Spark作用相当于
MapReduce
MapReduce
kuntoria
·
2024-09-07 05:21
【Hadoop】-
MapReduce
& YARN 初体验[9]
目录提交
MapReduce
程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs,文件内容如下:1.2、在hdfs中创建两个文件夹,分别为/input、/
星星法术嗲人
·
2024-09-07 04:21
hadoop
hadoop
mapreduce
Git、Gitlab以及分支管理
Github用的就是Git系统来管理它们的网站,Github是一个社区,Git是一个服务系统,Github只支持Git
分布式系统
,所以故名成为Github。Git的主要功能包
柠檬树723
·
2024-09-06 17:40
git
gitlab
RPC的实现原理架构
RPC的实现极大地简化了
分布式系统
中的通信,避免了开发人员直接处理底层网络协议和数据序列化。以下是对RPC实现原理和架构的详细讨论。
Flying_Fish_Xuan
·
2024-09-06 16:30
rpc
网络协议
网络
【Kafka专栏 11】深入理解Kafka的网络线程模型:是谁在幕后“操纵”数据流?
致力于探索技术的边界,分享前沿的实践和洞见文章专栏:夏之以寒-kafka专栏专栏介绍:本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景,一步步构建起消息队列和流处理的知识体系,无论是对
分布式系统
感兴趣
夏之以寒
·
2024-09-06 14:16
夏之以寒-kafka专栏
kafka
网络
分布式
网络模型
分布式系统
实战:什么是微服务架构?微服务架构与SOA架构的区别
微服务架构自2014年业界提出“微服务(Microservices)”的概念以来,微服务架构就不断演进,并且日趋火爆。越来越多的企业拥抱微服务,期望通过微服务的架构来解决大型项目的管理与运维。那么什么是微服务?微服务架构与传统的SOA架构有什么区别?何时应该采用微服务架构?如何构建微服务?本章就针对上述提到的问题,来简单介绍下微服务架构。什么是微服务架构微服务架构(MicroservicesArc
程序员小英
·
2024-09-06 13:07
架构
微服务
云原生
标题:**从单体到微服务:轻松搭建高效电商平台**
它从最初的SSM单体架构,升级为集成SpringCloud的
分布式系统
,旨在为你提供一个全面了解从简单到复杂的电商系统演进过程的绝佳实例。
芮伦硕
·
2024-09-06 11:25
DAG (directed acyclic graph) 作为大数据执行引擎的优点
TL;DR-ConceptuallyDAGmodelisastrictgeneralizationof
MapReduce
model.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoop
MapReduce
whicha
joeywen
·
2024-09-06 04:43
分布式计算
Storm
Spark
Storm
杂谈
Storm
spark
DAG
Java 7.1 - 理论 & 算法 & 协议
C:Consistency一致性A:Availability可用性P:Partition分区容错性对于理论计算机科学,CAP定理指出,对于一个
分布式系统
而言,CAP中的三个只能同时满足两个。
没有韭菜的饺子
·
2024-09-06 04:39
java
开发语言
Java 7.4 - 分布式锁
对于单机多线程,我们使用ReentrantLock这类本地锁来控制多个线程对本地共享资源的访问;而对于
分布式系统
,我们使用分布式锁来控制多个服务对共享资源的访问。
没有韭菜的饺子
·
2024-09-06 04:39
八股文
java
分布式
开发语言
Java实战:分布式ID生成方案
在
分布式系统
的设计与开发过程中,如何生成全局唯一、有序且高可用的ID是一个绕不开的核心问题。尤其是在电商、社交网络、金融交易等领域,ID不仅是业务数据的重要标识,还可能直接影响系统的稳定性和扩展性。
拥抱AI
·
2024-09-06 04:39
java
分布式
开发语言
经验笔记:RPC与高性能NIO框架
RPC与高性能NIO框架的经验笔记引言随着互联网技术的发展,
分布式系统
逐渐成为了现代软件架构的标准之一。
漆黑的莫莫
·
2024-09-06 01:21
计算机网络
笔记
rpc
nio
Hadoop组件
Pig:一种高级数据流语言和执行引擎,用于编写
MapReduce
任务。Pig
静听山水
·
2024-09-05 20:14
Hadoop
hadoop
Hadoop-
MapReduce
机制原理
MapReduce
机制原理1、
MapReduce
概述2、
MapReduce
特点3、
MapReduce
局限性4、MapTask5、Map阶段步骤:6、Reduce阶段步骤:7、
MapReduce
阶段图1、
H.S.T不想卷
·
2024-09-05 11:46
大数据
hadoop
mapreduce
大数据
EMR组件部署指南
EMR(Elastic
MapReduce
)是一个大数据处理和分析平台,包含了多个开源组件。
ivwdcwso
·
2024-09-05 00:05
运维
EMR
大数据
开源
运维
利用Spring Boot实现服务降级与熔断机制
在
分布式系统
中,服务降级和熔断是保证系统稳定性的重要机制。服务降级是指在系统负载过高或部分服务不可用时,主动降低服务的可用性等级,以释放资源给关键服务。
微赚淘客机器人开发者联盟@聚娃科技
·
2024-09-04 20:11
spring
boot
java
分布式
B/S架构与C/S架构简介
B/S架构与C/S架构简介1.联系与区别B/S(Browser/Server,浏览器/服务器)架构和C/S(Client/Server,客户端/服务器)架构是两种常见的
分布式系统
架构模式。
像风一样自由2020
·
2024-09-04 13:28
B/S
C/S
架构
【架构-29】RPC
RPC(RemoteProcedureCall,远程过程调用)框架是一种用于实现
分布式系统
中不同节点之间通信和调用的技术框架。一、为什么需要RPC?
W Y
·
2024-09-04 07:44
架构
rpc
网络协议
揭开
分布式系统
的神秘面纱:Java中的分布式链路追踪详解
引言在当今微服务和
分布式系统
日益普及的背景下,系统中各个服务之间的调用关系变得异常复杂。如何有效地监控和诊断这些服务调用链路,成为了每个开发者不得不面对的问题。
๑҉ 晴天
·
2024-09-04 05:32
分布式
java
分布式
开发语言
分布式锁的实现:ZooKeeper 的解决方案
在
分布式系统
中,不同的服务或进程需要访问共享资源时,常常需要一种机制来确保在同一时刻只有一个服务或进程能够访问资源。这种机制被称为分布式锁。
Lill_bin
·
2024-09-04 04:56
java
分布式
zookeeper
云原生
机器学习
算法
数据挖掘
推荐算法
分布式事务
当我们讨论分布式事务时,我们通常涉及到如何在一个
分布式系统
中保证事务的一致性。
懒人w
·
2024-09-03 21:46
#
分布式
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他